Анализ повторяемости инцидентов
Привет, Хабр!
Эта статья не будет полезна матерым дата-сатанистам, но может быть полезна менеджерам, которые хотят отследить повторяемость похожих задач, или как я — похожих технических неполадок.
Здесь начинаем разбирать анализ текстовых данных. По-разному «от руки» написанных отчетов о причинах возникновения инцидентов.
Незначительные ошибки в системе или нестабильное соединение от одного из провайдеров, могут на первый взгляд казаться мелочами. Однако, если такие «маленькие» проблемы возникают с завидной регулярностью, это уже тревожный сигнал. Постоянные технические неполадки со стороны провайдера или регулярные проблемы с банковскими партнерами — это повод задуматься и пересмотреть условия сотрудничества.
Сегодня о том, как я пытаюсь выявлять паттерны возникновения Инцидентов, другими словами, искать мелкие Проблемы.
Дано:
Есть BI-система, хранящая информацию обо всех отчетах.
Отчет довольно простой — форма с полями. Единственное интересующее нас поле называется »14. Причина молнии» и содержится в столбце 14 (как неожиданно) .xlsx файла.
Найти:
На выходе я хочу видеть три столбца:
1 столбец содержит порядковый номер проблемы;
2 столбец содержит название проблемы;
3 столбец содержит все номера схожих проблем.
Пускай Питончик будет возвращать мне result.csv файл, выводить на дашборд будем в другой раз.
Решение:
Поскольку нас интересует сущностное сравнение («проблемы сети» = «проблема с сетью»), шаги следующие:
Нам нужно убрать лишние слова, оставив лишь существительные, прилагательные, глаголы и наречия;
Срезать стоп-слова (иметь возможность убирать лишние слова, пускай хранятся в текстовом файле);
Срезать приставки, суффиксы — достаточно лемматизировать слова;
Есть еще пункт, который я пока не реализовал — добавить поиск по ключевым словам. Они будут лежать в том же репозитории, txt-файлом. Нам следует научить скрипт тому, что ключевые слова важнее остальных совпадений, чтобы была возможность влиять на агрегацию важных для нас инцидентов.
Теперь по порядку:
Нам потребуются библиотеки:
import os
import pandas as pd
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity
from natasha import (
Segmenter,
MorphVocab,
NewsEmbedding,
NewsMorphTagger,
Doc
)»os» для работы с операционной системой.
»pandas» для работы с данными в формате DataFrame.
»TfidfVectorizer» и »cosine_similarity» из »sklearn» для обработки текста и вычисления схожести.
»natasha» для лемматизации текста на русском языке.
Загружаем явным образом стоп-слова:
def load_stopwords(filepath):
with open(filepath, 'r', encoding='utf-8') as file:
stopwords = file.read().splitlines()
return set(stopwords)Эта функция открывает файл с заданным filepath, читает стоп-слова (одно на строку) и возвращает их в виде множества для быстрого поиска.
Вводим функцию лемматизации текста:
Эта функция принимает текст, сегментирует его на токены, тегирует их морфологическими тегами, лемматизирует каждый токен, исключает стоп-слова и возвращает лемматизированный текст.
def lemmatize_text(text, morph_vocab, segmenter, morph_tagger, stopwords):
doc = Doc(text)
doc.segment(segmenter)
doc.tag_morph(morph_tagger)
lemmas = []
for token in doc.tokens:
token.lemmatize(morph_vocab)
if token.lemma not in stopwords:
lemmas.append(token.lemma)
return ' '.join(lemmas)Основная функция анализа схожих проблем (указанных причин инцидента):
def analyze_similar_problems(file_path, stopwords_path, output_path='result.csv'):
df = pd.read_excel(file_path)
df = df.dropna(subset=[df.columns[1], df.columns[13]])Здесь данные загружаются из .xlsx файла с помощью pandas. Затем удаляются строки, в которых отсутствуют номера инцидентов или описания причин (столбцы 2 и 14). Во втором столбце у нас порядковый номер молнии, как правило, это четырехзначное число, в 14 — сам текст.
Загружаем стоп-слова из указанного файла с помощью функции load_stopwords.
stopwords = load_stopwords(stopwords_path)Инициализируем необходимые компоненты Natasha для сегментации и лемматизации текста и Лемматизация текста в 14-м столбце.
segmenter = Segmenter()
morph_vocab = MorphVocab()
emb = NewsEmbedding()
morph_tagger = NewsMorphTagger(emb)df['Лемматизированный текст'] = df[df.columns[13]].apply(
lambda text: lemmatize_text(str(text), morph_vocab, segmenter, morph_tagger, stopwords)
)Теперь для каждого текста вызывается функция lemmatize_text, результат сохраняем в новом столбце Лемматизированный текст.
Основная магия: преобразование текста в векторы с использованием TF-IDF и вычисление косинусного расстояния между всеми парами записей.
vectorizer = TfidfVectorizer()
tfidf_matrix = vectorizer.fit_transform(df['Лемматизированный текст'])
cosine_similarities = cosine_similarity(tfidf_matrix, tfidf_matrix)Создается объект «TfidfVectorizer», который преобразует лемматизированный текст в матрицу TF-IDF.
С помощью cosine_similarity вычисляется косинусное расстояние между всеми парами текстов в TF-IDF матрице.
Далее создаём пустой DataFrame для хранения результатов:
result_df = pd.DataFrame(columns=['Порядковый номер', 'Название проблемы', 'Схожие проблемы'])Заполнение таблицы результатами:
Для каждой строки в исходном DataFrame сравниваются косинусные схожести с другими строками. Если схожесть выше заданного порогового значения (0.5), номер инцидента добавляется в список схожих проблем. Затем для каждой строки создается запись в »result_df» с указанием номера проблемы, названия проблемы и номеров схожих проблем.
for i in range(len(df)):
similarities = []
for j in range(len(df)):
if i != j and cosine_similarities[i][j] > 0.5:
similarities.append(df.iloc[j, 1])
result_df = pd.concat([result_df, pd.DataFrame({'Порядковый номер': [df.iloc[i, 1]],
'Название проблемы': [df.iloc[i, 13]],
'Схожие проблемы': [',
'.join(map(str, similarities))]})], ignore_index=True)Полученный DataFrame »result_df» сохраняется в файл «result.csv»:
result_df.to_csv(output_path, index=False)Этот блок кода запускает функцию »analyze_similar_problems», если скрипт выполняется напрямую. Путь к файлу данных и путь к файлу стоп-слов передаются в качестве аргументов функции:
if __name__ == '__main__':
file_path = 'your_data.xlsx'
stopwords_path = 'russian_stopwords.txt'
analyze_similar_problems(file_path, stopwords_path)В результате получаем файл »result.csv» с корректным результатом. Прямо сейчас дальнейшая работа с ним устроена так: я копирую содержимое и добавляю в гугл-табличку, по которой и сужу о том, пора ли бить тревогу.
Ответ:
Данный скрипт позволяет довольно быстро, хоть и вручную, получить ответ на простой вопрос: «а такое у нас уже случалось?» при разборе очередного инцидента технического характера.
Следующим шагом станет анализ инцидентов и отклонений онлайн (раз в сутки подгружать из базы описания проблем) и выведением на дашборд таблицы, ранж в которой можно применять по «количеству» и «времени».
P.S.: Пока писал статью, понял, что еще хочу добавить: поиск по ключевым словам, которые будут считаться для скрипта важнее, чем простая повторяемость, чтобы инциденты с такими словами сразу попадали в верхнюю часть списка.
