[Перевод] Как анализировать тональность твитов с помощью машинного обучения на PHP19.12.2017 18:48

Всем доброго!

Что ж, как и обещали, делимся с вами очередным материалом, который мы изучали в рамках подготовки нашего курса по PHP. Надеемся, что он окажется для вас и интересным, и полезным.

Вступление

В последнее время кажется, что все и каждый говорят о машинном обучении. Ваши ленты в социальных сетях забиты сообщениями об ML, Python, TensorFlow, Spark, Scala, Go и т. д .; и если у нас с вами есть что-то общее, то вы можете поинтересоваться, а что насчет PHP?

Да, как насчет машинного обучения и PHP? К счастью, кто-то был достаточно сумасшедшим, чтобы не только задать этот вопрос, но и разработать универсальную библиотеку машинного обучения, которую мы можем использовать в нашем следующем проекте. В этом посте мы рассмотрим PHP-ML — библиотеку для машинного обучения на PHP — и мы напишем класс анализа тональности, который мы сможем позже использовать для нашего собственного чата или твит-бота. Основными задачами этого поста являются:

• Изучение общих понятия, касающиеся машинного обучения и анализа тональности текста
• Обзор возможностей и недостатков PHP-ML
• Определение задачи, которую мы будем решать.
• Доказательство того, что попытка машинного обучения на PHP не является абсолютно безумной целью (опционально)

Что такое машинное обучение?

Машинное обучение — это подмножество области исследований искусственного интеллекта, которое фокусируется на предоставлении «компьютерам возможности учиться, не будучи точно запрограммированным». Это достигается с помощью общих алгоритмов, которые могут «учиться» из определенного набора данных.

Например, одним из распространенных способов использования машинного обучения является классификация. Алгоритмы классификации используются для размещения данных в разных группах или категориях. Некоторые примеры приложений классификации:

• Почтовые спам-фильтры
• Пакеты сегментации рынка
• Системы защиты от мошенников

Машинное обучение — общий термин, который охватывает множество универсальных алгоритмов для разных задач. Есть два основных типа алгоритмов, классифицированных по тому, как они учатся — обучение с учителем и обучение без учителя.

Обучение с учителем

В обучении с учителем мы тренируем наш алгоритм с использованием обучающих данных в виде входного объекта (вектора) и желаемого выходного значения; алгоритм анализирует данные обучения и создает так называемую целевую функцию, которую мы можем применить к новому, немаркированному набору данных.

В оставшейся части этого поста мы сосредоточимся на обучении с учителем, просто потому, что оно наглядней и легче проверять отношения; имейте в виду, что оба алгоритма одинаково важны и интересны; иные утверждают, что обучение без учителя более полезно, поскольку оно исключает необходимость обучающих данных.

Обучение без учителя

Этот тип обучения, напротив, работает без обучающих данных с самого начала. Мы не знаем желаемых результирующих значений набора данных, и мы позволяем алгоритму делать выводы только по выборке; обучение без учителя особенно удобно для выявления скрытых закономерностей в данных.

PHP-ML

Представляю вам PHP-ML, библиотеку, которая утверждает, что является новым подходом к машинному обучению на PHP. Библиотека реализует алгоритмы, нейронные сети и инструменты для предварительной обработки данных, перекрестной проверки и извлечения признаков.

Я буду первым, кто заметит, что PHP — необычный выбор для машинного обучения, поскольку сильные стороны языка не очень хорошо подходят для реализаций машинного обучения. Тем не менее, не все приложения для машинного обучения должны обрабатывать петабайты данных и делать массивные вычисления — для простых приложений нам должно хватить PHP и PHP-ML

Лучший вариант использования, который я могу представить для этой библиотеки прямо сейчас, — это реализация классификатора, будь то что-то вроде спам-фильтра или даже анализа тональности текста. Мы собираемся определить проблему классификации и поэтапно выработать решение, чтобы узнать, как мы можем использовать PHP-ML в наших проектах.

Задача

Чтобы проиллюстрировать процесс внедрения PHP-ML и добавить некоторое машинное обучение в наши приложения, я хотел найти интересную задачу для решения и лучший способ продемонстрировать классификатор — создание класса анализа тональности твитов.

Одним из ключевых требований, необходимых для создания успешных проектов машинного обучения, является достоверный исходный набор данных. Наборы данных имеют решающее значение, поскольку они позволят нам обучать наш классификатор по уже классифицированным примерам. Поскольку в последнее время в средствах массовой информации вокруг авиакомпаний произошел значительный шум, что может подойти лучше, чем твиты от клиентов авиакомпаний?

К счастью, данные в виде набора твитов уже доступны нам благодаря Kaggle.io. С помощью этой ссылки вы можете скачать базу данных твиттера US Airline Sentiment с их сайта.

Решение

Давайте начнем с изучения набора данных, над которым мы будем работать. Необработанный набор данных имеет следующие столбцы:

• tweet_id
• airline_sentiment
• airline_sentiment_confidence
• negativereason
• negativereason_confidence
• airline
• airline_sentiment_gold
• name
• negativereason_gold
• retweet_count
• text
• tweet_coord
• tweet_created
• tweet_location
• user_timezone

И выглядит как в примере:

Файл содержит 14 640 твитов — для нас это достаточный набор данных. Теперь, имея такое количество доступных нам столбцов, у нас есть больше данных, чем нам нужно для нашего примера; для практических целей нас интересуют только следующие столбцы:

• text
• airline_sentim

Где text  — свойство, а airline_sentiment — цель. Остальные столбцы можно отбросить, поскольку они не будут использоваться для нашего упражнения. Начнем с создания проекта и инициализации сборщика, используя следующий файл:

{
    "name": "amacgregor/phpml-exercise",
    "description": "Example implementation of a Tweet sentiment analysis with PHP-ML",
    "type": "project",
    "require": {
        "php-ai/php-ml": "^0.4.1"
    },
    "license": "Apache License 2.0",
    "authors": [
        {
            "name": "Allan MacGregor",
            "email": "amacgregor@allanmacgregor.com"
        }
    ],
    "autoload": {
        "psr-4": {"PhpmlExercise\\": "src/"}
    },
    "minimum-stability": "dev"
}

composer install

Если вам нужно введение в Composer, см. здесь.

Чтобы убедиться, что мы установили все правильно, давайте создадим быстрый скрипт, который будет загружать наш файл данных Tweets.csv и убедимся, что он содержит нужные нам данные. Скопируйте следующий код как reviewDataset.php в корень нашего проекта:

getSamples() as $sample) {
    print_r($sample);
}

Теперь запустим скрипт reviewDataset.php, и посмотрим на результат:

Array( [0] => 569587371693355008 )
Array( [0] => 569587242672398336 )
Array( [0] => 569587188687634433 )
Array( [0] => 569587140490866689 )

Пока что это не выглядит полезным, не так ли? Давайте посмотрим на класс CsvDataset, чтобы лучше понять, что происходит внутри:

columnNames = array_slice($data, 0, $features);
        } else {
            $this->columnNames = range(0, $features - 1);
        }

        while (($data = fgetcsv($handle, 1000, ',')) !== false) {
            $this->samples[] = array_slice($data, 0, $features);
            $this->targets[] = $data[$features];
        }
        fclose($handle);
    }

Конструктор CsvDataset принимает три аргумента:

• Путь к исходному CSV-файлу
• Целое число, определяющее количество свойств в нашем файле
• Логическое значение, указывающее, является ли первая строка заголовком

Если посмотреть немного внимательнее, мы увидим, что класс делит CSV-файл на два внутренних массива: образцы и цели. Образцы содержат все функции, предоставляемые файлом, а цели содержат известные значения (отрицательные, положительные или нейтральные).

Исходя из вышесказанного, мы можем видеть, что формат, которым должен следовать наш CSV-файл, выглядит следующим образом:

| feature_1 | feature_2 | feature_n | target |

Нам нужно будет создать чистый набор данных только с теми столбцами, с которыми нам нужно продолжать работать. Давайте назовем этот скрипт generateCleanDataset.php:

Array
(
    [0] => @AmericanAir That will be the third time I have been called by 800-433-7300 an hung on before anyone speaks. What do I do now???
)
Array
(
    [0] => @AmericanAir How clueless is AA. Been waiting to hear for 2.5 weeks about a refund from a Cancelled Flightled flight & been on hold now for 1hr 49min
)

getSamples() as $sample) {
    $samples[] = $sample[0];
}

fit($samples);
$vectorizer->transform($samples);

fit($samples);
$tfIdfTransformer->transform($samples);

getTargets());

getTrainSamples();
$trainingLabels     = $randomSplit->getTrainLabels();

$testSamples = $randomSplit->getTestSamples();
$testLabels      = $randomSplit->getTestLabels();

classifier = new NaiveBayes();
    }
    public function train($samples, $labels)
    {
        $this->classifier->train($samples, $labels);
    }
}

classifier->predict($samples);
    }
}

predict($testSamples);

Accuracy: 0.73651877133106%