Моделирование маршрутов грузовых кораблей при помощи анализа бортовых журналов с использованием NLP-технологий

Почему бы 'Discovery'дать вам 'discoveri', когда 'Discovering'дает вам 'discov'?Недостаток и чрезмерный рост — это два способа, которыми стемминг может пойти не так:Недостаток корня происходит, когда два родственных слова должны быть сведены к одной и той же основе, но это не так. Это ложноотрицательный результат .Overstemming происходит, когда два не связанных между собой слова сводятся к одной и той же основе, даже если это не так. Это ложноположительный результат .Алгоритм стемминга Портера датируется 1979 годом, поэтому он немного устарел. Стеммер Snowball , который также называется Porter2 , является усовершенствованием оригинала и также доступен через NLTK, поэтому вы можете использовать его в своих собственных проектах. Также стоит отметить, что целью стеммера Портера является не создание полных слов, а поиск вариантов форм слова.К счастью, у вас есть другие способы приведения слов к их основному значению, такие как лемматизация, которую вы увидите позже в этом руководстве. Но сначала нам нужно охватить части речи.Пометка частей речиЧасть речи — это грамматический термин, который описывает роли, которые играют слова, когда вы используете их вместе в предложениях. Тегирование частей речи или POS-тегирование — это задача маркировки слов в вашем тексте в соответствии с их частью речи.В английском языке восемь частей речи:Часть речиРольПримерыСуществительноеЭто человек, место или вещьгора, бублик, ПольшаМестоимениеЗаменяет существительноеты, она, мыПрилагательноеДает информацию о том, на что похоже существительноеэффективный, ветреный, красочныйГлаголЯвляется ли действие или состояние бытияучиться, есть, идтиНаречиеДает информацию о глаголе, прилагательном или другом наречииэффективно, всегда, оченьПредлогДает информацию о том, как существительное или местоимение связано с другим словомот, о, вСоединениеСоединяет два других слова или фразытак, потому что иМеждометиеВосклицательный знакай, вау, вауНекоторые источники также включают артикли категорий (например, «a» или «the») в список частей речи, но другие источники считают их прилагательными. NLTK использует определитель слова для обозначения статей.Вот как можно импортировать соответствующие части NLTK, чтобы пометить части речи:>>>>>> fromnltk.tokenizeimportword_tokenize>>>>>> importnltk>>> nltk.pos_tag(words_in_sagan_quote)Все слова в цитате теперь находятся в отдельном кортеже с тегом, представляющим их часть речи. Но что означают теги? Вот как получить список тегов и их значений:>>>>>> nltk.help.upenn_tagset()Список довольно длинный, но вы можете развернуть поле ниже, чтобы увидеть его.POS-теги и их значенияВот сводка, которую вы можете использовать, чтобы начать работу с POS-тегами NLTK:Теги, которые начинаются сИметь дело сJJприлагательныеNNСуществительныеRBНаречияPRPМестоименияVBГлаголыТеперь, когда вы знаете, что означают теги POS, вы можете видеть, что ваши теги были довольно успешными:'pie'был помечен NN, потому что это существительное в единственном числе.'you'был помечен PRP, потому что это личное местоимение.'invent'был помечен VB, потому что это основная форма глагола.Принятые английские слова, такие как 'and'и, 'the'были правильно помечены как союз и определитель соответственно. Это тарабарское слово 'slithy'было помечено как прилагательное, что человек, говорящий по-английски, вероятно, также предположил бы из контекста стихотворения. лемматизацияТеперь, когда вы разобрались с частями речи, вы можете вернуться к лемматизации. Подобно поиску корней, лемматизация сводит слова к их основному значению, но дает вам полное английское слово, которое имеет смысл само по себе, а не просто фрагмент слова, такого как 'discoveri'.Примечание. Лемма — это слово, представляющее целую группу слов , и эта группа слов называется лексемой .Например, если бы вы искали слово «смешивание» в словаре , вам нужно было бы найти запись для «смешивания», но вы бы нашли слово «смешивание» в списке в этой записи.В данном примере «смесь» — это лемма , а «смесь» — часть лексемы . Итак, когда вы лемматизируете слово, вы сводите его к его лемме.Вот как импортировать соответствующие части NLTK, чтобы начать лемматизацию:>>>>>> fromnltk.stemimportWordNetLemmatizerСоздайте лемматизатор для использования:>>>>>> lemmatizer=WordNetLemmatizer()Параметр по умолчанию для posпредназначен 'n'для существительного, но вы удостоверились, что оно "worst"рассматривается как прилагательное, добавив параметр pos="a". В результате у вас получилось 'bad', которое сильно отличается от вашего исходного слова и совсем не похоже на то, что вы получили бы, если бы вы составляли основу. Это потому, что "worst"это превосходная форма прилагательного 'bad', а лемматизация уменьшает превосходную степень, а также сравнительную степень к их леммам.Теперь, когда вы знаете, как использовать NLTK для обозначения частей речи, вы можете попробовать пометить свои слова перед их лемматизацией, чтобы избежать смешения омографов или слов, которые пишутся одинаково, но имеют разное значение и могут быть разными частями речи.ЧанкингВ то время как токенизация позволяет идентифицировать слова и предложения, фрагментация позволяет идентифицировать фразы .Примечание. Фраза — это слово или группа слов, которые работают как единое целое для выполнения грамматической функции . Существительные словосочетания строятся вокруг существительного.Вот некоторые примеры:"Планета"«Наклоняющаяся планета»«Быстро наклоняющаяся планета»Разделение на фрагменты использует теги POS для группировки слов и применения тегов фрагментов к этим группам. Куски не перекрываются, поэтому один экземпляр слова может быть только в одном фрагменте за раз.Вот как можно импортировать соответствующие части NLTK, чтобы разбить их на части:>>>>>> fromnltk.tokenizeimportword_tokenizeУ вас есть список кортежей всех слов в цитате вместе с их тегом POS. Для того, чтобы разбить фрагмент, вам сначала нужно определить грамматику фрагмента.Примечание. Фрагментная грамматика представляет собой комбинацию правил разделения предложений на фрагменты. Он часто использует регулярные выражения или регулярные выражения .Создайте грамматику фрагмента с одним правилом регулярного выражения:>>>>>> grammar="NP: {