В МТИ нейросеть научилась расшифровывать забытые языки
В Массачусетском технологическом институте разработали нейросеть, которая поможет лингвистам расшифровать давно забытые языки.
В мире насчитываются десятки мертвых языков, о лексике, грамматике и синтаксисе которых нет информации. На таких языках сохранилось совсем немного текстов, и обычным алгоритмам машинного перевода, к примеру, тем, которые использует Google Translate, этой информации недостаточно. У некоторых из них даже отсутствуют привычные разделители, такие как пробелы и знаки препинания.
Однако исследователи из Лаборатории компьютерных наук и искусственного интеллекта (CSAIL) продемонстрировали систему, которая может автоматически расшифровывать утерянный язык, не требуя для этого глубоких знаний о нем самом и о его связи с другими языками. Более того, система может сама определять отношения между языками. Так, она подтвердила недавние исследования, предполагающие, что иберийский язык на самом деле не связан с баскским.
Работа системы строится на базовых принципах лингвистики. К примеру, специалисты, которые изучали древние языки, делали вывод, что буква «p» в словах со временем может поменяться на «b». Алгоритм дешифрования учится встраивать звуки языка в многомерное пространство, где различия в произношении отражены как расстояние между соответствующими векторами. Возникают шаблоны изменения языка. Модель может сегментировать слова на древнем языке и сопоставлять их с аналогами на современном, родственном ему.
Алгоритм позволяет оценить близость между двумя языками; фактически, при тестировании на известных языках он может даже точно определять языковые семьи. Команда применила свой алгоритм к иберийскому языку с учетом возможной родственности с баскским, а также с менее вероятными кандидатами из романских, германских, тюркских и уральских семей. Хотя баскский и латынь были ближе к иберийскому, чем другие языки, они оказались слишком разными, чтобы считаться родственными.
Подход с расшифровкой на основе родственных слов предполагается расширить. Он будет включать определение семантического значения слов. К примеру, в тексте можно идентифицировать все ссылки на людей или места, а затем изучить их в свете известных исторических свидетельств, чтобы распознать, какое значение имело то или иное отмеченное слово. Подход может применяться без каких-либо обучающих данных на исследуемом древнем языке.
См. также:
