В строю ChatGPT клонов, которые можно крутить локально прибыло. Встречайте gpt4all
Новости из мира больших языковых моделей продолжают радовать день за днём. «Стенфордский подход» к fine tuning’у (это когда одну LLM дообучают по данным, полученным из другой LLM) продолжает давать жизнь новым интересным проектам.
В прошлый раз это была Dolly, в этот раз это gpt4all. В отличие от Alpaca, которую дотренировали всего на ~54k примерах из ChatGPT, эту модель тренировали на 437k примерах За основу взяли всё ту же LLaMA.
Поиграться с моделькой просто — клонируем проект с гитхаба, качаем файл модели (с российских IP адресов что-то недоступно, но там же есть magnet линки и торренты), подкладываем и запускаем. На гитхабе всё подробно расписано.
Качаем, запускаем, делимся впечатлениями.
Ссылки:
И еще, на закуску. Буквально на днях вышла еще одна очень интересная серия моделей — Cerebras-GPT. Доступны веса от 111M до 13B. Их ключевое преимущество — лицензия Apache 2.0 и более оптимальное обучение
https://www.cerebras.net/blog/cerebras-gpt-a-family-of-open-compute-efficient-large-language-models/
