«Яндекс» провел исследование, как изменилась лексика русского языка с первой половины XX века

image-loader.svg

22 ноября в день рождения создателя «Толкового словаря живого великорусского языка» Владимира Даля «Яндекс» опубликовал результаты исследования о том, как изменилась лексика русского языка с первой половины XX века, а также составил список 100 уходящих и ушедших слов из обращения старых слов.
Для первоначальной базы данных для сравнительного исследования специалисты «Яндекса» использовали текущие публикации и комментарии различных блогеров на «Яндекс.Дзене» и старинные дневниковые записи из собрания центра «Прожито» при Европейском Университете в Санкт-Петербурге, сделанные авторами с 1900 года по 1940 год.

В результате сравнительного анализа текстов «Яндекс» сформировал два списка из тысячи слов в каждом.

В первом списке собраны слова, частотность которых в употреблении снизилась по крайней мере в десять раз за последний век.

Во втором списке перечислены новые слова в лексиконе, которые ни разу не встретились в дневниковых записях первых сорока лет прошлого века или которые изменили контекст своего употребления позже.

Для поиска слов, у которых изменилось основное значение, «Яндекс» проверял, насколько изменился их контекст употребления с помощью машинного обучения и алгоритма word2vec, получив векторы связей слов с другими словами в каждом из двух корпусов, а потом находил слова, векторы которых в двух корпусах сильно отличаются.

image-loader.svg
Примеры слов, которые ни разу не встретились в дневниковых записях первых сорока лет XX века.

Для поиска слов, которые не ушли, но сильно поменяли свое основное значение «Яндекс» сравнивал лексические окружения каждого слова в двух корпусах и проверял, насколько изменились контексты их употребления.

image-loader.svgПримеры слов, которые в дневниковых записях первых сорока лет XX века и в статьях и комментариях в современных блогах употребляются в основном разных смыслах.

Только зарегистрированные пользователи могут участвовать в опросе. Войдите, пожалуйста.

Вы поняли фразу «Шалый филистер ходко фрондировал, а рамольный рутинёр пустяшно считал его орателем»?

66.67% Нет 4

33.33% Ой, тут какой то вздор и воркотня 2

Проголосовали 6 пользователей.

Воздержавшихся нет.

© Habrahabr.ru