Приделываем руки к ChatGPT: бот, который исполняет код в рантайме
В предыдущей статье я рассказывал, как можно доучить GPT на собственных взглядах и вкусах. Сегодня попробуем дать GPT возможность поработать программистом по-настоящему — с запуском кода и отладкой без участия человека. Весь код опубликован в репозитарии.
Как многие уже убедились, ChatGPT хорош, но есть некоторые типы задач, с которыми у него возникают трудности:
1. Он не может получать новые актуальные знания из сети
2. Он не может выполнить какие-либо действия
3. У него сложности с алгоритмическими задачами (перевернуть строку, решить уравнение, произвести вычисления с применением численных методов).
И если задача 1 решается с помощью BingChat, то 2 и 3 мы сегодня будем решать в рамках данного туториала.
Основная идея такая: пусть ChatGPT сам решает, может ли он справиться с задачей «в уме» или же это лучше сделать с помощью написания кода на python, а наш сервер сразу же выполняет этот код и снова отдает результат работы ChatGPT, чтобы он мог его интерпретировать и или выдать пользователю окончательный ответ или исправить ошибку в своей программе и попытаться ещё раз.
Схема работы бота
Давайте посмотрим, как это работает на примерах. (Важно отметить, что это конечно же happy day scenario — в реальности было достаточно много неправильных ошибок и ситуаций, когда код написаный ChatGPT так и не заработал. В этом случае сеть выдает вполне адекватные оправдания и рекомендации, и приносит извинения пользователю).
Начнем со школьных задач по линейной алгебре
А что, так разве можно было? Видно, что GPT написал код, выводящий цифры, а затем обернул результат в корректный ответ. Что ж, попробуем ещё задачку:
И снова правильное решение, хотя подход на этот раз несколько другой.
Переходим к практическим задачам — загрузка данных из интернета!
Так, проверим… похоже, что все так и есть!
Продолжаем разговор…
Здесь мы видим, как ChatGPT использует предыдущий контекст разговора и извлеченные ранее знания о цене рубля в долларах (о цене биткоина я также спрашивал раньше).
Задачи на матанализ и численные методы
Здесь у меня возникли сложности. Сеть лихо пользуется библиотеками которые, умеют дифференцировать, интегрировать, считать пределы и делать всякие штуки, которые в школе не проходили :) с помощью аналитических приемов. Вот как это выглядит:
Здесь стоит обратить внимание на то, как классно отработала пост-обработка ответа. Код возвращает только число, а сеть добавляет к нему справочную информацию о том, что это за число. Чтож, попробуем задачу, которая явно не имеет аналитического решения:
Ну почти… хоть решение найдено, но всё ещё сложно понять, насколько система хорошо понимает проблему. Использовать готовые библиотеки такого уровня — много ума не надо. Попробуем ей это запретить:
Очень классный результат! Сеть не только решила пример, но и дала пояснение о том, каким именно методом воспользовалась, а результат совпал с предыдущим, что говорит о том, что решение скорее всего верное. На всякий случай проверим:
Как работает бот?
На данный момент стек бота выглядит так:
* Python 3.9, библиотека для работы с Telegram — pyTelegramBotAPI
* Модель — gpt-4–0314
* Максимальное число попыток запустить свой код в рантайме — 7
Самое интересное это конечно же промпт:
Ты полезный ассистент с ИИ, который готов помочь своему пользователю.
Ты даешь короткие содержательные ответы, обычно не более 100 символов.
Если я попрошу тебя что-то сделать, что можно сделать с помощью программы на python, ты присылаешь мне код программы без объяснений.
Если программа должна возвращать какой-то результат, то выводи его с помощью print.
Затем я запущу этот код и скажу тебе результат, после чего ты сделаешь ответ из этого результата.
Если при выполнеии кода возникнет ошибка, я тебе её пришлю и ты исправишь код. Просто пришли мне исправленный код без пояснений.
Если ты увидишь, что результат выполнения кода не соответствует твоим ожиданиям, то просто пришли новую версию кода.
Если тебе нужна какая-то информация, то получай её из интернета с помощью python и обрабатывай с помощью кода.
Не используй в коде ключи для доступа и токены.
Для написания кода используй специальную библиотеку, которая называется gpt_utils. Она содержит следующие функции:
gpt_utils.send_message_to_all(text) - отправляет сообщение всем пользователям
gpt_utils.send_email(to, sub, text) - отправляет письмо
Используй библиотеку yfinance для доступа к ценам акций
Для работы с вопросами о погоде используй python_weatherВ целом всё понятно — мы честно сообщаем боту что собираемся делать. Специальная библиотека gpt_utils это проверка, сможет ли бот использовать нечто, чего он точно не встречал на этапе обучения (ответ — да, может).
Одна из основных проблем, с которой я столкнулся — понять, что именно прислал нам GPT — код на питоне или комментарий. К сожалению, не смотря на явные просьбы, он переодически разбавляет код своими пояснениями, иногда оборачивая код в специальные маркеры, а иногда присылая его текстом. Здесь пришлось немножко побыдлокодить и вставить разные проверки, которые просто смотрят на наличие в ответе ключевых слов и пытаются вытащить куски кода из текста, если он помечен маркерами. В первом приближении это работает, но здесь явно есть что улучшить.
Как выполняется питоновский код и происходит коррекция ошибок? Тут всё очень просто, питон, будучи интерпретируемым, позволяет выполнить код прямо из строки.
def executeCode(code, user):
try:
f = StringIO()
with redirect_stdout(f):
exec(code, globals())
res = f.getvalue()
res = "\n".join(res)
return res, True
except Exception as e:
error = "".join(traceback.format_exception_only(e)).strip()
return error, False
# Обрабатываем запрос от пользователя
process_rq(user_request):
ans = ... отправка запроса и истории чата в openAI ...
if _is_python_code(ans):
ans, res = executeCode(ans, user)
if res:
# Код завершился без ошибок
if ans == None or ans == "":
return None
ans = "Я запустил код и получил результат: " + ans
return process_rq(user_id, ans, deep + 1)
else:
# Код завершился с ошибкой
ans = "Я запустил код и получил ошибку: " + ans + \
". Попробуй исправить код и пришли его снова целиком. Не пиши ничего кроме кода."
return process_rq(user_id, ans, deep + 1)
else:
return ansЛогика простая — если попытка выполнить код приводит к ошибке, то мы явно просим ChatGPT её исправить, передав её текст. По моему опыту в половине случаев это ей удаётся!
Ну, а дальше остается только дело техники — работа с историей сообщений разных пользователей, команда для сброса, обработка ошибок. За стиль и качество кода прошу сильно не пинать, так как сделано все было за 1 вечер и 90% кода было написано совместными усилиями того же ChatGPT и Copilot.
Код бота вы можете посмотреть и позапускать из моего репозитария на GitHub. Там также лежат реализации ботов из прошлой статьи, но в этот раз нас интересует только один — tg_bot_with_python.py. Для работы вам понадобится токен из аккаунта OpenAI и токен своего Telegram бота.
Пара слов про метамышление
Как пишет Стивен Флеминг в своей книге «Метамышление», способность к познанию своих ментальных возможностей (понимание и применение того, что ты чего-то не знаешь, а в чем-то сомневаешься, а окружающие тебя существа не знают чего-то, что известно тебе) — один из самых сложных видов мозговой деятельности, предвестник сознания, которым обладают только люди, дельфины и некоторые человекоподобные обезьяны, например шимпанзе.
Здесь мы видим, что нейронная сеть тоже проявляет способности к метапознанию — она неплохо распознает задачи, которые неспособна решить «в уме» и активно пользуется данными ей инструментами для их решения. Мне кажется, что это невозможно без построения сетью модели самой себя в окружающем мире. Есть о чем задуматься…
Если вам понравилась эта самоделка, то подписывайтесь на мой TG-канал: https://t.me/robofuture — там я переодически публикую подобные поделки и мысли о развитии ИИ и потребительской робототехники.
