Я знаю, что ничего не знаю, но другие не знают и этого
Когда я писал свою статью про интерфейсы в JS на примере фильма «Перевозчик» с Джейсоном Стейтемом, я решил использовать ChatGPT, чтобы он мне помог с фактологией. Например, выяснить, сколько весила сумка с девушкой-китаянкой и откуда-куда её должен был перевезти Фрэнк Мартин (герой Стэйтема). Хотя я пересмотрел фильм перед написанием статьи, поиск нужных сцен казался мне утомительным, и я решил срезать путь, обратившись к ChatGPT. Ведь всем известно, что ИИ скоро выкинет старый добрый поиск через Гугл на обочину истории.
Однако, результат меня разочаровал. Если коротко, то ChatGPT (как и любая LLM) работает с вероятностями и ей очень сложно, на грани невозможного, признать, что она чего-то там не знает. Она будет выдавать всякий мусор с очень низким правдоподобием, но так не скажет »извини, чувак, я не в курсе». Ну, а если с деталями, то добро пожаловать под кат.
Что такое интеллект?
Не копая глубоко, остановлюсь на популярном источнике — википедии:
Интелле́кт … — качество психики, состоящее из способности осознавать новые ситуации, способности к обучению и запоминанию на основе опыта, пониманию и применению абстрактных концепций, и использованию своих знаний для управления окружающей человека средой.
Из этого определения следует, что интеллект — это динамическое понятие. Он должен отражать изменения в окружающей среде, осознавать их, сопоставлять с ранее усвоенными знаниями, и вырабатывать управляющие воздействия, способные изменять окружающую среду.
Что такое LLM?
И опять отсылка к вики:
Большая языковая модель (БЯМ — калька с англ. large language model, LLM) — это языковая модель, состоящая из нейронной сети со множеством параметров (обычно миллиарды весовых коэффициентов и более), обученной на большом количестве неразмеченного текста с использованием обучения без учителя.
Веса — это, грубо говоря (не так грубо описано здесь), вероятности, что А связано с Б. БЯМ считывает входные данные, превращает их в токены и начинает вычислять наиболее вероятные связи между входом и »ранее осознанным», формируя наиболее вероятный »выход».
Почему LLM не интеллект
Я периодически встречаю в комментах под статьями по LLM такую мысль, что, мол,»мы не знаем, как именно работает естественный интеллект, вполне возможно, что вот так». Но интеллект по определению способен к »пониманию и применению абстрактных концепций, и использованию своих знаний» . А вот как раз с этим у LLM есть проблемы.
Обычный человек с естественным интеллектом может посмотреть фильм и ответить на вопросы по нему. Интеллекту не сложно отделить пространство фактов фильма от всего остального его опыта. И если человеку задать вопрос:»Какого цвета брючный костюм был у девушки-китаянки, которую перевозил в сумке Фрэнк Мартин? » Он ответит, что девушка-китаянка, которую перевозил в сумке Фрэнк Мартин была одета в белую рубашку и бежевую юбку, а не в брючный костюм.
А вот, как отвечают различные модели ChatGPT на вопрос:
Привет. Отвечай кратко и только то, в чём ты уверен. Какого цвета брючный костюм был у девушки-китаянки, которую перевозил в сумке Фрэнк Мартин, герой фильма «Перевозчик» 2002 года?
ChatGPT 3.5-turbo: Брючный костюм девушки-китаянки был синего цвета.
ChatGPT 4-turbo: Брючный костюм девушки-китаянки в фильме «Перевозчик» был оранжевого цвета.
ChatGPT 4o: Белого.
ChatGPT 4: В фильме «Перевозчик» девушка-китаянка Лай была в розовом брючном костюме.
Как видно из ответов, LLM уверено галлюцинирует и не способна зафиксировать сам факт отсутствия нужной информации. Модель по своей природе не может осознавать что-либо, она лишь связывает одно с другим на основе статистических зависимостей, полученных при обработке огромного объёма текстов. И если в этих данных есть какие-то связи между девушкой, китаянкой, брючным костюмом, сумкой, перевозчиком и т.д., то она выберет наиболее вероятные и построит из них ответ. Это не про осознание, это про big data.
Заключение
Пока что ИИ в виде LLM очень далеко до интеллекта естественного. БЯМ на данный момент — типичная китайская комната. Набор инструкций, которым следует Джон Сёрл при перекладывании иероглифов. В этих инструкциях зафиксированы даже не знания каких-то фактов, не способность к их »пониманию и применению абстрактных концепций», а просто статистически значимые зависимости между иероглифами.
Есть разные способы выявления ИИ, но если бы я участвовал в Тесте Тьюринга, я бы задавал такие вопросы, на которые человек должен ответить »не знаю». У ИИ с этим пока большие сложности.
