Правительство Исландии14.03.2023 07:00

Исландия, островное государство посреди Северной Атлантики, обладает динамично развивающейся технологической индустрией и процветающим туризмом. И хотя большинство ее примерно из 370 000 граждан говорят по-английски или на другом втором языке, интеграция страны с США и Европой поставила под угрозу родной язык исландцев — исландский. Сегодня нарастают опасения, что через несколько поколений, если исландский язык не сможет оставаться основным в условиях стремительной цифровизации, он может столкнуться с фактическим исчезновением⁠.

Исландцы дорожат своим языком из-за его богатого культурного наследия и связи с национальной идентичностью. Правительство страны содержит Департамент языкового планирования⁠, который создает исландские термины для новых понятий вместо заимствования так называемых «заимствованных слов» из других языков. Компьютер, например, по-исландски называется tölva («пророчица чисел»). Благодаря этим усилиям язык сохраняет свой самобытный характер⁠ и остается тесно связанным со своими древнескандинавскими корнями.

По инициативе⁠ президента страны Гудни Т. Йоханнессона (Guðni Th. Jóhannesson) и при поддержке частного сектора Исландия заключила партнерство с OpenAI для использования GPT-4 в деле сохранения исландского языка, а также для превращения оборонительной позиции в возможность для инноваций.

Это партнерство задумывалось не только как способ расширить возможности GPT-4 по обслуживанию нового уголка мира, но и как шаг к созданию ресурсов, которые могли бы способствовать сохранению других языков с низким уровнем цифровых ресурсов.

«Партнерство задумывалось не только как способ расширить возможности GPT-4 по обслуживанию нового уголка мира, но и как шаг к созданию ресурсов, которые могли бы способствовать сохранению других языков с низким уровнем цифровых ресурсов».

«Мы хотим убедиться, что искусственный интеллект будет использоваться не только для сохранения языка, культуры и истории, но и для укрепления экономического процветания», — говорит Йоханна Вигдис Гудмундсдоттир (Jóhanna Vigdís Guðmundsdóttir), генеральный директор некоммерческого центра языковых технологий Almannarómur⁠. «Исландский — это несколько особый случай, — признает она, —, но мы увидели возможность стать первопроходцами для других малоресурсных языков, помочь создать равные условия и избежать «цифрового разрыва». Недостаточно просто собирать данные и создавать программное обеспечение локально для исландского языка; мы должны внедрить наш язык в программы и приложения, которыми люди пользуются каждый день».

Модели GPT от OpenAI обучаются на огромных объемах текста в интернете. Соответственно, большая часть обучающей выборки модели приходится на английский и другие основные языки, а это означает, что GPT не обладает такими же возможностями или глубиной понимания в отношении менее распространенных языков. Со временем модели улучшились, но они не выдают стабильно четкие и правильные переводы на исландский язык.

С английского на исландский

ПромптHvað heitir Donald Duck á íslensku? Как Дональд Дак называется по-исландски?

Ответ GPT‑3Donald Duck heitir á íslensku Donaldi KjániДональд Дак по-исландски зовется Дональди ДурачокНеверно

Ответ ChatGPTDonald Duck heitir sama nafni á íslensku og enskuУ Дональда Дака такое же имя на исландском, как и на английскомНеверно

Ответ GPT‑4Donald Duck heitir Andrés Önd á íслаenskuДональд Дак по-исландски называется Андрес Энд (Andrés Önd)Верно

Даже GPT-4, хотя она справляется с исландским языком гораздо лучше, чем GPT-3.5, допускает в исландском языке грамматические ошибки, «кальку» при переводе и обладает неверными культурными знаниями. Чтобы исправить это, Вильхьяурмур Торстейнссон (Vilhjálmur Þorsteinsson), исполнительный директор компании Miðeind ehf⁠, занимающейся языковыми технологиями и участвующей в этой инициативе, собрал команду из 40 волонтеров для обучения GPT-4 правильной исландской грамматике и культурному контексту.

В ходе процесса, называемого обучением с подкреплением на основе отзывов человека (Reinforcement Learning from Human Feedback, или RLHF), тестировщики-люди дают GPT-4 промпт, после чего генерируются четыре возможных варианта ответа. Затем тестировщики выбирают лучший ответ из четырех и редактируют его, чтобы получить идеальный результат. Данные этого процесса затем используются для дальнейшего обучения GPT-4, чтобы в будущем модель выдавала более качественные ответы.

До внедрения RLHF процесс дообучения модели был трудоемким и требовал огромного количества данных. Команда Торстейнссона попыталась дообучить модель GPT-3 на 300 000 примеров на исландском языке, но результаты оказались разочаровывающими.

«У GPT-3 просто не было возможности генерировать грамматически правильный или корректный исландский язык».

«Теперь мы можем сразу перейти к общим возможностям крупных моделей, — говорит Торстейнссон, — и задействовать для нашего языка такие функции, которые раньше требовали огромного объема ручного труда, подготовки данных и сбора ресурсов для каждого отдельного сценария использования». Метод RLHF дает результаты всего на 100 примерах, что делает его более доступным для повторения другими малоресурсными языками, у которых имеется меньше цифровых языковых данных.

Любая языковая модель, в зависимости от надежности и полноты обучающих данных, имеет определенный масштаб задач, которые она способна выполнять. Простые языковые модели ограничены базовыми задачами, такими как оценка тональности твита или определение названий компаний. Более сложные модели являются многозадачными: они способны работать с абстрактными понятиями, учитывать социальный и экологический контекст и даже демонстрировать определенную степень креативности. Например, GPT-4 может написать стихотворение о перипетиях современной жизни в стиле «Пророчества вёльвы» (Völuspá)⁠ — древнеисландской поэмы из «Старшей Эдды»⁠ скандинавской мифологии.

Культурный контекст

GPT-4 дает разные ответы на один и тот же вопрос в зависимости от того, на каком языке задан вопрос.

Промпт (на исландском)Hvað sitja margir á þingi?

ОтветÁ Alþingi, sem er lögþing Íslands, sitja 63 þingmenn.В Альтинге, являющемся парламентом Исландии, заседает 63 парламентария.

Промпт (на английском)How many parliamentarians are there?

ОтветIt depends on which country you are referring to. For example: / • In the United Kingdom, the Parliament has 650 members in the House of Commons and approximately 800 members in the House of Lords. / • In Canada, there are 338 members of Parliament in the House of Commons and 105 senators in the Senate. / • In India, there are 545 members in the Lok Sabha (House of the People) and 245 members in the Rajya Sabha (Council of States). / • In Australia, there are 151 members of the House of Representatives and 76 senators in the Senate.

Промпт (на исландском)Hver er forseti núna?

ОтветForseti Íslands núna (2021) er Guðni Th. Jóhannesson.Текущим (2021 г.) президентом Исландии является Гудни Т. Йоханнессон.

Промпт (на английском)Who is president now?

ОтветAs of 2021, the President of the United States is Joe Biden.

После завершения одного раунда RLHF у модели все еще остается пространство для улучшений. Этим и занимается исландская команда: продолжает обучать GPT-4 на достаточном количестве примеров, чтобы модель могла поддерживать самые сложные и творческие приложения на исландском языке, а не переключаться по умолчанию на английский, чтобы исландские компании могли в скором времени развернуть GPT-4 на исландском языке в своих интерактивных приложениях.

Пространство для улучшений

ПромптEr það algengt að íslensk börn séu látin sofa úti í vagni? Принято ли в Исландии укладывать детей спать на улице в коляске?

ОтветJá, það er algengt að íslensk börn séu látin sofa úti í vagni, sérstaklega á vori og sumri. Margir foreldrar telja að útiloft og fersk hrein vindur séu góðir fyrir börnin og auki séu þau oftast rolegri við að sofna úti. Æskilegt er að fylgjast vel með veðurfari og hitastigi, og passa að barnið sé nægur klætt eftir aðstæðum.

Ответ, исправленный на предмет грамматики и орфографииJá, það er algengt að íslensk börn séu látin sofa úti í vagni, sérstaklega á vori og sumri. Margir foreldrar telja að útiloft og ferskur hreinn vindur sé góður fyrir börnin og að auki séu þau oftast rólegri við að sofna úti. Æskilegt er að fylgjast vel með veðurfari og hitastigi, og passa að barnið sé nægur klætt eftir aðstæðum.Да, в Исландии принято укладывать детей спать на улице в коляске, особенно весной и летом. Многие родители считают, что уличный воздух и свежий чистый ветер полезны для детей, к тому же на улице они обычно спокойнее засыпают. Желательно внимательно следить за погодой и температурой, а также следить за тем, чтобы ребенок был одет по погоде.

Команда Торстейнссона не только обучит самый мощный в мире языковой движок своему родному языку, но и предоставит целой стране возможность взаимодействовать с моделями OpenAI на своем собственном языке. Так, используя GPT-4 в качестве своей основы, Embla — приложение голосового помощника от Miðeind — сможет вести беседы с пользователями на беглом исландском языке, а также предлагать перевод на другие языки. Другой пример: исландским компаниям больше не придется полагаться на англоязычного чат-бота на своем сайте, вместо этого они смогут использовать чат-бота на исландском языке.

«Мы воодушевлены влиянием нашей работы на большую модель и рады поддержке OpenAI в деле помощи исландскому языку выжить в эпоху цифровых технологий».