Реально Бесконечное (лето) RuGPT3.5: Генерация новеллы на ходу нейросетью10.08.2023 09:16

Что это за мировая линия?

Я уж было подумал, что эпоха локальных трансформерных нейросетей ушла, оставив после себя невеликое наследие (можно пересчитать на пальцах), однако пару недель назад RuGPT3.5 от сбера вышла в открытый доступ и, за неимением сильных генеративных моделей для русского языка, показалась мне удачным шансом для реализации давней идеи.

Оглавление:

Статья, будет практически на треть короче, если не читать примеры в выпадающих спойлерах. В противном случае получится лонгрид, так что я буду разбавлять текст левыми пикчами, просто держу в курсе.
Те, кого я заинтересовал, приглашаются под кат.

Живы ли сейчас открытые GPT?

Для ознакомления с принципом работы архитектуры GPT советую прочитать этот подробный разбор: GPT-2 в картинках, и этот: GPT-3

Что мы имеем из ванильных моделей:

• GPT-1 (2018) (Context: 512) — Работала не очень хорошо (длинные тексты генерировались плохо), но при файнтюнинге на отдельных задачах эта модель могла выполнять несложные задания.

• GPT-2 (2019) (Context: 1024) — стала лучше, научилась писать длинные связные тексты и даже решать задачи при помощи prompt engineering без обучения.

• GPT-3 (2020) (Context: 2048) — Стала в 10 (!) раз больше, и настолько крутой, что даже научилась писать рабочий программный код.

• RuGPT3, RuDialoGPT3, (Context: 512! ) — и множество других дообученных версий GPT3 под русский язык было обучено и выложено Сбером в открытый доступ (В свое время я даже эссе по истории, общаге и паре спецов написал исключительно ими).
  Но был у них один небольшой нюанс. Небольшой он настолько же, как их контекст, длиной 512 токенов. (это как у самой первой GPT, да).
  Просто выяснилось, что если тренировать модель, рассчитанную на 2048 контекст кусками текста по 512, то она немного отупеет.

Свято место пусто не бывает, кто-то должен был начать это монетизировать. Этим занялись сами создатели архитектуры — OpenAI, которые решили пойти против своего названия и запустить сайт, с чат интерфейсом своей новой версии GPT3, дообученной на контексте разметки чата — ChatGPT. В первый день её выхода в открытый тест я зарегал temp phone number и был разочарован. Он работал ничуть не лучше ванильной GPT3 на английском, а русский язык был вообще машинным переводом на входе и выходе.

После выхода ChatGPT3.5 с закрытыми исходниками долгое время была видимость того, что развитие отечественной индустрии энтузиастами умрёт вместе с рождением ChatGPT4. OpenAI стали продавать API частным компаниям и получать деньги на дальнейшую разработку.

Менее чем через год стали заметны продвижения в пользовательских моделях.

YaML 100b (2022)(Context: ?) — нечто жидкое, сопоставимое с плевком в лицо. Модель о которой неизвестно ничего, хоть она и в опен сорс… Так как весит сие чудо 250 гб! А их ещё нужно на видеокарту выгрузить, в общем, своеобразный прикол от всеми любимой компании. Всё что о ней известно, ограничивается одной статьёй, самого Ya:
Яндекс выложил YaLM 100B — сейчас это крупнейшая GPT-подобная нейросеть в свободном доступе.

LLama 2 (2023) (Context: 4096) — Самый сок, совсем недавно вышедшая модель, которая запустила множество процессов. Стали появляться десятки кастомных маленьких моделей.
HF сейчас наполнен чат-ботами на базе LLama, дообученных пользователями за сущие часы для выполнения конкретных задач. Вот только в русский язык эта модель не могла вообще (в данных для обучения его было менее 1%). Дообучение тут не поможет. В то время как ChatGPT стабильно работает на разных языках.

Сбер же недавно анонсировали GigaChat, которую все посчитали рофлом и распилом денег, доступы в ЗБТ давали очень неторопливо.
Я попал в первые 10к человек после блогеров и компаний, и как и ожидалось, GigaChat был тупой. Далее я за ним не следил.
Сейчас вроде уже идёт ОБТ и каждый желающий может потыкать «чисто русский ChatGPT», но совсем недавно случился неожиданный поворот событий. Они выложили в опен сорс чекпоинт, на котором основан GigaChat: Сбер открывает доступ к нейросетевой модели ruGPT-3.5. Скорее всего, стала очевидна неликвидность GigaChat как нового, отечественного API для создания ботов, и они решили дать разработчикам потрогать удовольствие создания чат-бота на базе голых весов, а не API, и если подобная стратегия сработает, то они смогут распространять подобные модели под коммерческой лицензией для компаний, которым нужен «свой, независимый чат-бот». Своего рода превращение услуги в товар.

Не привязанная к разметке диалога и вопросно/ответной системе эта модель является всё той-же продолжалкой теста как и RuGPT3, только без кастрированного контекста (он составляет 2048 токенов, так сказать, догнали оригинал)

Знакомство с RuGPT3.5

Для начала нужно запомнить, что в оригинале наша новая подруга весит 50 гигаметров, однако такое количество видеопамяти мне не по карману. Благо добрые люди уже конвертировали сеть, уменьшив битность каждого из её нейронов, сжав её тем самым в 4 раза! Размер 4х битной модели составляет около 7 гигов.

Теперь мы можем запустить её в бесплатном Google Colab на NVIDIA Tesla T4 16Gb и получить, пусть и менее точный, но практически полный опыт готовки её в домашних условиях.

pip install transformers auto-gptq gradio >> nul

Устанавливаем необходимые библиотеки и переходим к скачиванию и выгрузке на видеокарту самой нейросети.

from transformers import AutoTokenizer
from auto_gptq import AutoGPTQForCausalLM
import gradio as gr

model_name = 'fffrrt/ruGPT-3.5-13B-GPTQ'
model_basename = 'gptq_model-4bit-128g'

tokenizer = AutoTokenizer.from_pretrained(model_name, use_fast=True)
model = AutoGPTQForCausalLM.from_quantized(model_name,
        model_basename = model_basename,
        use_safetensors=True,
        trust_remote_code=True,
        device="cuda:0",
        use_triton=False,
        quantize_config=None)

Теперь у нас есть model и tokenizer, как в старые добрые времена GPT2/3.

Простые тесты

Если вы не знаете кто такие эти ваши top_k, top_p, temperature и no_repeat_ngram, но знаете единственный богоугодный язык (он же английский), то можете наверстать или вспомнить всё по ссылке:
Using different decoding methods for language generation with Transformers

Параметры генерации

Предлагаю испытать модель на том, что ей должно быть как кровь родное — литературные тексты. Возьму я, однако, не самый простой кусок: Это будет перегруженный контекст «Зова Ктулуху» Лавкрафта

Пример с Зовом Ктулуху

Получилось ниже среднего. Думаю, даже старая rugpt3 справилась бы на том-же уровне. В конце видно явное зацикливание и несвязность. Дадим модели второй шанс. Попробуем максимально открытый контекст, но приближенный к нашей основной теме — диалоги персонажей, преимущественно разных полов.

Диалог Ани и Васи в песочнице, когда Аню забирает мама.

Анна: Ты правда не вернёшься?

Я должен уйти, всем будет так лучше, ответил Василий.

Но мне будет плохо без тебя, я не смогу жить без тебя, — заплакала Анна.

Я вернусь, — сказал Василий.

Анна: Я буду ждать тебя, я буду ждать тебя всегда, я буду любить тебя, я всегда буду любить тебя.

Василий: Я вернусь, я обязательно вернусь.

В этот момент в комнату вошла мать Анны.

Мать Анны: Анна, что ты наделала?

Анна (плача): Я люблю его.

Я люблю его, — сказала Анна.

Она подошла к Василию, обняла его и поцеловала.

После этого Василий и Анна вышли из дома и пошли по дороге

Получилось плоско, мда. Ну, как отечественный фильм для зомбоящика покатит.

Ладно, переходим к нашему герою

Игре, которая состоит на 99% из дженерик текста, писанного анончиками, игра, которая получила любовь простых игроков, будучи нишевым произведением про маскотов имиджбордов — Бесконечное Лето.

Но, как оно обычно и бывает — есть один нюанс.

Почему Лето не Бесконечное?

Так как в нём всего 7 дней, а название игры это обман и провокация.

1. Качаем игру из стима

2. Делаем вид, что мы разработчик модов, а значит можем лезть в файлы игры.

3. Распаковываем файлы RenPy при помощи Unrpyc (github)

4. Вручную превращаем сценарии RenPy в текст (парсим регулярками (regex))

5. Получаем сценарий игры в виде текстового документа.

За неделю пассивного перечитывания и редактуры я выполнил пункт 3 (ну, почти)
Результат проделанной работы тут: https://github.com/CodeDruidX/Everlasting-Summer-txt

Делал я это, увы, практически год назад и вообще изначально рассчитывал поиграться этим с RuGPT3, но она была для этого слишком глупа.
Последние события же сподвигли меня найти этот репозиторий и продолжить свои опыты, результатами которых я с вами и хочу подлиться.

В этой статье мы будем тестировать RuGPT3.5, как генератор истории для визуальной новеллы (буду честен, просто новеллы, ни разу не визуальной). Хотелось бы дообучить RuGPT3.5 на этом наборе текста и добиться адекватного результата, в лучшем случае — интегрировать генератор сценария прямо в RenPy, и получить готовый продукт с минимальными затратами.

Как выглядит сценарий?

.rpy — это файлик на питоне, где от питона остался только синтаксис циклов\ветвлений.
Реплики персонажей выглядят как:
» (id) Привет, как дела!» — где id является идентификатором героя — он определяет имя и его стиль в графическом окне.

В моем случае все эти конструкции были превращены в обычный текст:
«Я: Привет, как дела!»

Для визуальных элементов, в общих чертах, используется что-то вроде »(id)-в-костюме пионера-смотрит-вперед». Это мы всё пока-что убираем, в надежде на светлое будущее.

Промпт, который мы будем использовать в спойлере ниже.

Начало 2-ого дня — Осторожно, длинный текст

А вот что было дальше, нам расскажет нейросеть, окей? Кстати, отвечаю на ваш немой вопрос — да, у этой модели отличный текстовый NSFW, в этом её никто не ограничивал.
Примеров с ним я приводить не буду, просто держу в курсе, да и к этому мы ещё вернёмся.

Подготавливаем функционал

cfg={
"K":50,
"P":0.92,                 # Конфигурация модели
"temperature":0.2,
"uningram":4
}

def editcfg(name,val):    # Функция, которую будет вызывать  Gradio
  print(name,val)         #         для изменения настроек в cfg
  global cfg
  cfg[name]=val

def gen(text,tokens=10):  # Обёртка для простой генерации заданного количества токенов
  encoded_input = tokenizer(text, return_tensors='pt').to('cuda:0')
  #print(encoded_input.input_ids[:,-1900:].shape)
  output = model.generate(
      input_ids=encoded_input.input_ids[:,-1900:],
      max_new_tokens=tokens,
      do_sample=True,
      top_k=cfg['K'],
      top_p=cfg['P'],
      temperature=cfg['temperature'],
      #num_beams=4,
      no_repeat_ngram_size=cfg['uningram'],
      pad_token_id=tokenizer.eos_token_id,
      # num_return_sequences=5,
      # do_sample=True
  )

  return tokenizer.decode(output[0], skip_special_tokens=True)

Теперь у нас есть интуитивно понятная функция gen (), которая просто продолжает переданную в неё строку.
Вы можете заметить что я беру 1900 последних токенов, обрезая все предыдущие, это нужно для того, что-бы с большой вероятностью уложиться в 2048 и не словить случайно Out Of Memory, который случается если контекст перегружен и не влазит в видеопамять (а у нас её в обрез)

Тесты в лабораторных условиях

Тестируем продолжение имеющегося у нас текста, никакого черри пикинга или редактуры — все свежевыжатое из модели (кроме NSFW, тут уж извините):

Куча тестов с комментариями

Генерация каждого из них занимала от 5 до 10 секунд — весьма шустро.

Набрасываем Gradio Webui

def complete_with_gpt(text):
    text=gen(text,30)
    return text

with gr.Blocks() as demo:
    gr.Markdown("# Ever novel")
    textbox = gr.Textbox(placeholder="Верни контекст на место!", value=prompt)
    btn = gr.Button("Ожидать")
    gr.Markdown("---")
    with gr.Row():
      K=gr.Number(label="top_K",value=cfg["K"],minimum=1)
      P=gr.Number(label="top_P",value=cfg["P"],minimum=0,maximum=1)
      T=gr.Number(label="Temperature",value=cfg["temperature"],minimum=0)
      U=gr.Number(label="Unique ngram len",value=cfg["uningram"],minimum=0)
      APPLY=gr.Button(value="Применить")

    APPLY.click(fn=lambda x: editcfg("K",x),inputs=K)
    APPLY.click(fn=lambda x: editcfg("P",x),inputs=P)
    APPLY.click(fn=lambda x: editcfg("temperature",x),inputs=T)
    APPLY.click(fn=lambda x: editcfg("uningram",x),inputs=U)
    btn.click(fn=complete_with_gpt, inputs=textbox, outputs=textbox, queue=False)

demo.launch(debug=True)

как элегантно!

Интерфейс из себя представляет текстовое поле огромной длины, на нижнем конце которого генератор и его параметры — вроде стильно.

Ещё парочка заключительных тестов ваниллы.

Тесты

Я осознал свою ошибку: «Ольга Дмитриева:» токенизируется 5 токенами, и не проходит по минимальной длине уникального блока текста (равной 4), однако этот костыль необходим — что будет если его ослабить:

Результат удручает

Что за?!

Результаты опыта

1. — И самый важный: Ванильная модель противится сценарному стилю повествования.
   Она пытается генерировать литературный текст, где имена не повторяются, а прямая речь либо сведена к необходимому минимуму, либо просто полностью переходит в косвенную.

2. На текущий момент модель точно нельзя заставить писать .rpy файл, для отправки его непосредственно в движок игры.

3. Тут нельзя притвориться что всё хорошо, ну никак. Она периодически теряет нить повествования. Но эта проблема прямо и непосредственно связана с разметкой и стилем.

Поможет ли дообучение (fine-tuning)?

Да — поможет. Заставить модель генерировать другую разметку — не язык ей менять.
Для начала: полный файл текста игры, до момента с выбором рута в 4 дне находится ТУТ

Наш файл представляет из себя:
225к букв
36к слов
4.5к строк

Пишем вызов стандартного transformers.Trainer, и натравливаем этого зверька на нашу модель. Примера ради, запущу 3 эпохи обучения.

import torch
from transformers import TextDataset, DataCollatorForLanguageModeling

train_path = 'train_dataset.txt'
train_dataset = TextDataset(tokenizer=tokenizer,file_path=train_path,block_size=64)
data_collator = DataCollatorForLanguageModeling(tokenizer=tokenizer, mlm=False)

from transformers import Trainer, TrainingArguments

training_args = TrainingArguments(
    output_dir="./finetuned",
    overwrite_output_dir=True,
    num_train_epochs=3,
    per_device_train_batch_size=10,
    auto_find_batch_size=True,
    per_device_eval_batch_size=1,
    warmup_steps=10,
    gradient_accumulation_steps=10
    )

trainer = Trainer(
    model=model,
    args=training_args,
    data_collator=data_collator,
    train_dataset=train_dataset,
    optimizers = (torch.optim.AdamW(model.parameters(),lr=1e-5), None)
)
trainer.train()

Вот уже и одна эпоха обучилась, пойду приготовлю кофе. Если серьёзно — то времени потраченного жаль. Квантованная модель (с пониженной битностью) ломается во время обучения стандартным тренером и превращается в битую гадость, которая потом отказывается работать, обнаруживая в своих тензорах крайние значения.

RuntimeError: probability tensor contains either `inf`, `nan` or element < 0

Нужно сказать, что ситуация эта меня отправила в тупик. Над решением проблемы я бился всю ночь, и в итоге лёг спать в 9:00 с пустыми руками (или выводом модели, тут как вам угодно).

Отчаявшись я сам задал пару вопросов на форумах и получив ответ об отсутствии такой возможности успокоился.
Остаётся вариант покупки платной A100 в колабе за 900 деревянных в месяц, но даже её 40 гигов не хватит для полной загрузки нейросети.

Уходит красиво

Статья бы и осталась в таком виде, если бы спустя день мне не написал чел, сказав что никто не запрещал натренить LoRA, в случае с Quantized сетями — QLoRA, соответственно.
Я, как человек знакомый с Лорами только в контексте модов на чекпоинты Stable-Diffusion удивился, но был весьма заинтересован.

Сейчас начнётся подготовка, и поверьте, она заняла больше всего времени.
Нам понадобится репозиторий GptQlora, и немного настойчивости.

!pip install auto-gptq gradio
!git clone -b peft_integration https://github.com/PanQiWei/AutoGPTQ.git && cd AutoGPTQ
!pip install .[triton]
%cd ..
#!git clone https://github.com/timdettmers/bitsandbytes.git
!pip install bitsandbytes
!git clone https://github.com/qwopqwop200/gptqlora
%cd gptqlora
!pip install git+https://github.com/huggingface/transformers.git
!pip install git+https://github.com/huggingface/peft.git
!pip install git+https://github.com/huggingface/accelerate.git
!pip install -r requirements.txt
!pip install protobuf==3.20.*
%cd ..
!python -m bitsandbytes

Разворачиваем исключительно проверенные и стабильные зависимости.

Скачиваем нейросеть в текущую папку

!pip install huggingface_hub
from huggingface_hub import snapshot_download
snapshot_download(repo_id="gurgutan/ruGPT-13B-4bit",local_dir=r"./ruGPT-3.5")

P.S. Я скачал тут репозиторий gurgutan/ruGPT-13B-4bit, вместо fffrrt/ruGPT-3.5–13B-GPTQ. В нём кроме .safetensors есть простой .bin (gptqlora ищет конкретно .bin), а менять код библиотеки, я на данный момент не рассчитывал.

Ритуал с бубном

Пытаемся начать обучение с единичной выборкой и 100 эпох

!python /gptqlora/gptqlora.py –learning_rate 0.0001 --model_path /ruGPT-3.5 --max_train_samples 1 --max_steps 100

Кто-то нажал Ctrl+C и завершил процесс и это был не я — честно.
Идём смотреть на место завершения в файле библиотеки gptqlora.py

Выполнение отменяется по ходу работы 282 строки. Во время обычной загрузки основной модели — это мы легко отделались… В начале статьи мы уже делали это вручную.
Как оказалось, она переполняет оперативную память. Добавляем в набор аргументов с 282 по 292 строку этот флаг:

model = AutoGPTQForCausalLM.from_quantized(
        ...
        low_cpu_mem_usage=True, #Пониженное использование RAM
        ...

Всё запустилось! — жду летающие помидоры в комментариях)

Держу в курсе, дальше в gptqlora.py будет вноситься ещё больше изменений, так что я просто приложу готовый файл. Итоговый вид gptqlora.py

Пробуем запустить с датасетом по умолчанию — Alpaca.

Успех. Обучение завершилось за 2.5 минуты.

Видим, что создался некий .bin, размером 800 мб.

Адаптируем старый код под LoR адаптер и проверим жизнеспособность такой задумки…

Новый код с поддержкой LoRA

import torch
from transformers import AutoTokenizer
import auto_gptq
from auto_gptq import AutoGPTQForCausalLM, get_gptq_peft_model
from auto_gptq.utils.peft_utils import GPTQLoraConfig
#import gradio as gr

model_name = 'fffrrt/ruGPT-3.5-13B-GPTQ'
model_basename = 'gptq_model-4bit-128g'

tokenizer = AutoTokenizer.from_pretrained(model_name, use_fast=True)
model = AutoGPTQForCausalLM.from_quantized("/ruGPT-3.5",
        low_cpu_mem_usage=True,
        device_map='auto',
        trust_remote_code=True,
        inject_fused_attention = True,
        inject_fused_mlp = False,
        use_triton=True,
        warmup_triton=False,
        trainable=True)
peft_config = GPTQLoraConfig(
    inference_mode=True,
)
mo
    
            
© Habrahabr.ru