Первая языковая модель, которую наконец можно использовать в коммерческих целях — Dolly 2.0
Если помните недавнюю серию новостей, череда альпакоподобных моделей (Alpaca, gpt4all, Vicuna) страдала двумя основными недостатками:
все они были основаны на несвободной LLaMa
файнтюнинг, для понимания моделью промптов в стиле instruction following, проводили на не самых свободных данных, полученных на моделях OpenAI
Среди этого карнавала было одно* приятное исключение — Dolly, которая была лишена первого недостатка, но всё еще были вопросы по датасету. Вчера эту ситуацию исправили. За последние пару недель Databricks закраудсорсили силами своих собственных 5 000 сотрудников чистый датасет. Плюс в качестве базовой модели перешли с gpt-j-6B на Pythia 12b от всё той же Eleuther.ai
Модель доступна на hugging face. Тут есть достаточно простые инструкции как её можно закрутить в Paperspace, но производительность пока не очень. В самое ближайшее время ожидаем её квантирование и, возможно, оптимизацию для запуска в средах типа llama.cpp для машин без GPU. Плюс есть пара hugging face spaces, где эта модель уже крутится и с ней можно пообщаться — тыц, тыц и тыц (могут быть недоступны на момент чтения)
Источник: https://www.databricks.com/blog/2023/04/12/dolly-first-open-commercially-viable-instruction-tuned-llm
* Да, я знаю, что еще готовится еще одно, силами комьюнити open-assistant.io и материнской компанией проекта — LAION. Но пока единственное демо, которое нам представили, основано на всё той же несвободной лламе.
