Анализ Корана при помощи AI19.08.2016 07:03

Прошу прощение за возможно «желтый» заголовок, потому срау перехожу к сути. В ходе работы потребовалось протестировать систему осуществляющую качественный анализ текста по различным классификаторам, таким как пол, сентимент (настроение), возраст и прочее. В качестве одного из тестируемых образцов решил взять суру из корана, а потом проанализировал весь текст манускрипта.

Watson

Изначально возникло желание «пропустить» Коран через небезызвестный Watson, тем более, что сервис позволяет анализировать текст на арабском языке. Первая сура Watson’ом была отвергнута, т.к. содержала совсем мало текста, поэтому решено было использовать вторую. Результаты оказались информативными, но не совсем то, что требовалось, поскольку Watson не дает оценки по сентименту, полу и возрасту.

Обработав суру Al Baqarah, Watson представил числовые значения основных характеристик автора текста, которые можно посмотреть в JSON формате.

Абсолютный интроверт (практически замкнутый), с узким эмоцианальный диапазоном, выраженной импульсивностью. Готов пробывать что-то новое. Дисциплинированный и обязательный. Альтруизм, скромность, сочувствие и доброта не обнаружены. Высокая степень доверчивости. Выражает острую потребность в любви, гармонии, близости и организованности распорядка. Придает значение традициям и достижениям в рамках общепринятых социальных стандартов. Не заинтересован в помощи другим и получении наслаждения от жизни.

Любопытно то, что практически все характеристики предоставленные «Ватсоном» возведены в абсолют, что редко встречалось при анализе других текстов, иначе говоря, Watson редко демонстрирует такую высокую степень уверенности в полученных результатах.

Помимо числовых значений, Watson еще предоставляет и небольшое текстовое описание полученных результатов, в так называемом «human readable format». Сам факт наличия такого описания удобен, но мало интересен, а вот процесс его генерации немного неожиданный. Код отвечающий за создание текста реализован на стороне клиента, на JavaScript — Выделяются наиболее яркие черты, ранжируются и каждой присваевается идентификатор. Потом сторятся предложения вида:

switch (intervalFor(valuesList[0].percentage)) {
    case 0:
        sentence = format(tphrase('You are relatively unconcerned with both %s and %s'), term1, term2) + '.';
    break;
    case 1:
        sentence = format(tphrase("You don't find either %s or %s to be particularly motivating for you"), term1, term2) + '.';
    break;
}

uClassify

Очередной условно бесплатный сервис, использующий технологии машинного обучения для анализа текста по выбранным классификаторам. Выбор пал на него по двум причинам — высокие результаты на тестовых выборках и наличие требуемых классификаторов. Более того, отсутствие ограничения на минимальное количество слов для анализа, что позволяет проанализировать каждую отдельно взятую суру.

К сожалению uClassify работает только с текстом написанном на Английском языке, поэтому анализу подвергся текст корана в Английском переводе. Опираясь на информацию из разных источников, я выбрал наиболее точный, широко признанный и часто используемый вариант перевода.

Начал с классификатора сентимент, который демонстрирует общее настроение повествования — негативное или позитивное.

Сура	1	2	3	4	5	6	7
Негатив	9%	76%	71%	76%	60%	60%	54%
Позитив	91%	24%	29%	24%	40%	40%	46%

На графике ниже отчетливо заметно, что текст Корана начинается крайне позитивно, а потом интенсивно устремляется в негатив, причем негативные настроения сохраняются на протяжении всего текста, лишь незначительно ослабевая ближе к окончанию, когда настроение повествования приближается к нейтральному (негатив 54%).

Вполне закономерно и то, что негативное настроение превалирует на протяжении всего текста, тем более если учесть тот факт, что первая сура несоизмеримо мала по обьему, в сравнении с каждой последующей.

Если предположить, что текст Корана писался не одним человеком, а несколькими и проанализировать гендерный классификатор, то получается не менее интересная «картина»:

Сура	1	2	3	4	5	6	7
Мужчина	20%	49%	48%	60%	69%	54%	47%
Девушка	80%	51%	52%	40%	31%	46%	53%

Корреляция между двумя массивами данных отчетливо заметна даже визуально, а именно 0.7839422223, что говорит о прямой связи между классификаторами пола и настроенем текста.

Эпилог

Конечно это всего лишь цифры, графики и формулы.

Комментарии (1)

• rule

  19 августа 2016 в 04:12

  +2

  ↑

  ↓

  А интересно, это можно рассматривать как оскорбление чувств верующих? Они в своём большинстве конечно не знаю об AI, но очень не любят, когда их писания анализируют. А вообще интересно было бы с новым заветом сравнить, типа кто позитивней :-)