NLP: когда машины начинают понимать нас (Часть 2)
1. Введение
В прошлой статье мы с вами изучили теоретические основы обработки естественного языка (NLP) и теперь готовы перейти к практике. В мире NLP выбор подходящего языка программирования и инструментов играет ключевую роль в успешной реализации проектов. Одним из наиболее популярных языков для решения задач в этой области является Python. Его простота, читаемость и поддержка мощных библиотек делают его идеальным выбором для разработчиков.
2. Начало работы с NLP
Для начала работы с обработкой естественного языка идеально подойдут Jupyter Lab и Google Colab, так как они позволяют быстро выполнять и тестировать код по частям.
Перед тем как приступить к написанию кода, необходимо установить несколько ключевых библиотек, которые значительно упростят работу в области NLP:
nltk: Natural Language Toolkit — это основная библиотека для обработки естественного языка на Python, предоставляющая доступ ко множеству инструментов и ресурсов для работы с текстовыми данными.
spaCy: Современная и высокопроизводительная библиотека, идеально подходящая для продвинутой обработки текста, включая функции для токенизации и анализа зависимости.
gensim: Библиотека, используемая для тематического моделирования и работы с моделями на основе тем. Она позволяет эффективно обучать и применять модели, использующие векторные представления слов.
scikit-learn: Широко используемая библиотека ML, которая включает множество алгоритмов для классификации, регрессии и кластеризации. Она также предоставляет инструменты для оценки и выбора моделей.
transformers: Библиотека от Hugging Face, позволяющая работать с современными моделями трансформеров, такими как BERT и GPT. Эта библиотека стала стандартом для многих современных приложений в области NLP.\
TensorFlow/Keras или PyTorch: Это фреймворки для глубокого обучения, которые позволяют разрабатывать и обучать нейронные сети для решения сложных задач в NLP.
Чтобы установить все перечисленные библиотеки, выполните следующую команду в терминале:
pip install nltk
pip install gensim
pip install scikit-learn
pip install transformers
pip install tensorflow
pip install keras
pip install torch torchvision torchaudio
pip install -U pip setuptools wheel
pip install -U spacy
После установки spaCy необходимо загрузить языковую модель:
python -m spacy download en_core_web_sm
python -m spacy download ru_core_news_sm
3. Первые шаги с NLTK
Мы будем использовать предложение:
Хабр — это лучший сайт для написания статей, постов и новостей! Всем обязательно советую данную платформу. Она помогает делиться знаниями и узнавать новое.
3.1 Загрузка и чтение текстовых данных
import nltk
# Загрузка необходимых пакетов
nltk.download('punkt') # Токенизация
nltk.download('stopwords') # Стоп-слова
nltk.download('wordnet') # Лемматизация
nltk.download('omw-1.4') # Дополнительные данные для лемматизации
nltk.download('averaged_perceptron_tagger') # POS-теггирование
# Наш текст, с которым мы будем работать
text = "Хабр — это лучший сайт для написания статей, постов и новостей! Всем обязательно советую данную платформу. Она помогает делиться знаниями и узнавать новое."3.2 Токенизация
Токенизация — процесс разбиения текста на отдельные элементы (токены), такие как слова или предложения.
from nltk.tokenize import sent_tokenize, word_tokenize
# Токенизация на предложения
sentences = sent_tokenize(text, language='russian')
print("Предложения:", sentences)
# Токенизация на слова
words = word_tokenize(text, language='russian')
print("Слова:", words)Вывод:
Предложения: ['Хабр — это лучший сайт для написания статей, постов и новостей!', 'Всем обязательно советую данную платформу.', 'Она помогает делиться знаниями и узнавать новое.'] Слова: ['Хабр', '—', 'это', 'лучший', 'сайт', 'для', 'написания', 'статей', ',', 'постов', 'и', 'новостей', '!', 'Всем', 'обязательно', 'советую', 'данную', 'платформу', '.', 'Она', 'помогает', 'делиться', 'знаниями', 'и', 'узнавать', 'новое', '.']
3.3 Стемминг
Стемминг — процесс приведения слов к их корню (основе), часто без учета языковых правил.
from nltk.stem.snowball import SnowballStemmer
# Создание стеммера для русского языка
stemmer = SnowballStemmer("russian")
# Применение стеммера к словам
stemmed_words = [stemmer.stem(word) for word in words]
print("После стемминга:", stemmed_words)Вывод:
После стемминга: ['хабр', '—', 'это', 'лучш', 'сайт', 'для', 'написан', 'стат', ',', 'пост', 'и', 'новост', '!', 'всем', 'обязательн', 'совет', 'данн', 'платформ', '.', 'она', 'помога', 'дел', 'знан', 'и', 'узнава', 'нов', '.']
3.4 Лемматизция
Лемматизация — процесс приведения слов к их нормальной форме (лемме) с учетом контекста и грамматических правил.
Для русского языка в NLTK лемматизация ограничена, поэтому часто используют библиотеку pymorphy2.
pip install pymorphy2
import pymorphy2
morph = pymorphy2.MorphAnalyzer()
lemmatized_words = [morph.parse(word)[0].normal_form for word in words]
print("После лемматизации:", lemmatized_words)Вывод:
После лемматизации: ['хабр', '—', 'это', 'хороший', 'сайт', 'для', 'написание', 'статья', ',', 'пост', 'и', 'новость', '!', 'весь', 'обязательно', 'советовать', 'данный', 'платформа', '.', 'она', 'помогать', 'делиться', 'знание', 'и', 'узнавать', 'новый', '.']
3.5 Удаление стоп-слов
Стоп-слова — это часто встречающиеся слова, которые обычно не несут смысловой нагрузки (например, «и», «в», «на»).
from nltk.corpus import stopwords
# Получение списка стоп-слов для русского языка
stop_words = set(stopwords.words('russian'))
# Фильтрация слов
filtered_words = [word for word in lemmatized_words if word.lower() not in stop_words and word.isalpha()]
print("После удаления стоп-слов:", filtered_words)Вывод:
После удаления стоп-слов: ['хабр', 'хороший', 'сайт', 'написание', 'статья', 'пост', 'новость', 'обязательно', 'советовать', 'данный', 'платформа', 'помогать', 'делиться', 'знание', 'узнавать', 'новый']
3.6 Part-of-Speech (POS) теггирование
POS-теггирование — процесс определения грамматической категории (части речи) для каждого слова в тексте.
NLTK имеет ограниченную поддержку русского языка для POS-теггирования. Поэтому используем библиотеку natasha.
pip install natasha
from natasha import Doc, MorphVocab, NewsEmbedding, NewsMorphTagger, Segmenter
# Инициализация компонентов
segmenter = Segmenter()
embedding = NewsEmbedding()
morph_tagger = NewsMorphTagger(embedding)
morph_vocab = MorphVocab()
# Обработка текста
doc = Doc(text)
doc.segment(segmenter)
doc.tag_morph(morph_tagger)
# Вывод результатов
for token in doc.tokens:
token.lemmatize(morph_vocab)
print(f"{token.text} -> {token.lemma} ({token.pos})")Пример вывода:
Хабр -> хабрый (PROPN) — -> — (PUNCT) это -> это (PART) лучший -> хороший (ADJ) сайт -> сайт (NOUN) для -> для (ADP) написания -> написание (NOUN) статей -> стать (NOUN) , -> , (PUNCT) постов -> пост (NOUN) и -> и (CCONJ) новостей -> новость (NOUN) ! -> ! (PUNCT) Всем -> весь (PRON) обязательно -> обязательно (ADV) советую -> советовать (VERB) данную -> данный (ADJ) платформу -> платформа (NOUN) . -> . (PUNCT) Она -> она (PRON) помогает -> помогать (VERB) делиться -> делиться (VERB) знаниями -> знание (NOUN) и -> и (CCONJ) узнавать -> узнавать (VERB) новое -> новый (ADJ) . -> . (PUNCT)
3.7 Примеры кода и упражнения
Напишем функцию, которая принимает текст на русском языке и выполняет следующие операции:
Токенизация предложений и слов.
Лемматизация слов.
Удаление стоп-слов.
Возвращает очищенный список слов.
def preprocess_text(text):
# Токенизация на слова
words = word_tokenize(text, language='russian')
# Лемматизация
lemmatized_words = [morph.parse(word)[0].normal_form for word in words]
# Удаление стоп-слов и знаков пунктуации
filtered_words = [word for word in lemmatized_words if word.lower() not in stop_words and word.isalpha()]
return filtered_words
# Применение функции
clean_words = preprocess_text(text)
print(clean_words)Вывод:
['хабр', 'хороший', 'сайт', 'написание', 'статья', 'пост', 'новость', 'обязательно', 'советовать', 'данный', 'платформа', 'помогать', 'делиться', 'знание', 'узнавать', 'новый']
4. Работа со spaCy
4.1 Загрузка и обработка текста с помощью пайплайнов
import spacy
# Загрузка модели для русского языка
nlp = spacy.load('ru_core_news_sm')
# Обработка текста
doc = nlp(text)4.2 Токенизация, лемматизация, POS-тегирование в spaCy
for token in doc:
print(f"Слово: {token.text}, Лемма: {token.lemma_}, Часть речи: {token.pos_}")Вывод:
Слово: Хабр, Лемма: хабр, Часть речи: PROPN Слово: —, Лемма: —, Часть речи: PUNCT Слово: это, Лемма: это, Часть речи: PART Слово: лучший, Лемма: хороший, Часть речи: ADJ Слово: сайт, Лемма: сайт, Часть речи: NOUN Слово: для, Лемма: для, Часть речи: ADP Слово: написания, Лемма: написание, Часть речи: NOUN Слово: статей, Лемма: стать, Часть речи: NOUN Слово: ,, Лемма: ,, Часть речи: PUNCT Слово: постов, Лемма: пост, Часть речи: NOUN Слово: и, Лемма: и, Часть речи: CCONJ Слово: новостей, Лемма: новость, Часть речи: NOUN Слово: !, Лемма: !, Часть речи: PUNCT Слово: Всем, Лемма: всем, Часть речи: PRON Слово: обязательно, Лемма: обязательно, Часть речи: ADV Слово: советую, Лемма: советую, Часть речи: ADJ Слово: данную, Лемма: данную, Часть речи: ADJ Слово: платформу, Лемма: платформа, Часть речи: NOUN Слово: ., Лемма: ., Часть речи: PUNCT Слово: Она, Лемма: она, Часть речи: PRON Слово: помогает, Лемма: помогать, Часть речи: VERB Слово: делиться, Лемма: делиться, Часть речи: VERB Слово: знаниями, Лемма: знание, Часть речи: NOUN Слово: и, Лемма: и, Часть речи: CCONJ Слово: узнавать, Лемма: узнавать, Часть речи: VERB Слово: новое, Лемма: новый, Часть речи: ADJ Слово: ., Лемма: ., Часть речи: PUNCT
4.3 Вывод глаголов в начальной форме
verbs = [token.lemma_ for token in doc if token.pos_ == 'VERB']
print("Глаголы в тексте:", verbs)Вывод:
Глаголы в тексте: ['советовать', 'помогать', 'делиться', 'узнавать']
4.4 Синтаксический анализ и визуализация деревьев зависимостей
from spacy import displacy
# Выбор предложения для визуализации
sentence = list(doc.sents)[0]
# Визуализация зависимостей
displacy.render(sentence, style='dep', jupyter=True, options={'compact': True, 'distance': 100})Вывод:
4.5 Извлечение сущностей
Напишем функцию, которая извлекает все сущности типа ORG (организации) из нашего текста.
def extract_organizations(text):
doc = nlp(text)
orgs = [ent.text for ent in doc.ents if ent.label_ == 'ORG']
return orgs
# Применение функции
organizations = extract_organizations(text)
print("Организации в тексте:", organizations)Вывод:
Организации в тексте: ['Хабр']
5. Заключение
В данной статье мы рассмотрели ключевые этапы обработки текста на русском языке с использованием библиотек NLTK и spaCy. Мы научились:
Токенизировать текст на предложения и слова.
Применять стемминг и лемматизацию для приведения слов к их базовым формам.
Удалять стоп-слова, не несущие смысловой нагрузки.
Проводить POS-теггирование для определения частей речи слов в тексте.
Распознавать именованные сущности, такие как имена собственные и организации.
Выполнять синтаксический анализ для выявления структуры предложений.
В следующей части мы углубимся в сложные техники обработки естественного языка, включая: алгоритмы Word2Vec, GloVe и FastText, методы классификации текста и многое другое.
