Демократизация больших языковых моделей продолжается. Встречайте Dolly
Не успела прошуметь предыдущая новость https://habr.com/ru/news/t/723638/ так на горизонте замаячили новые альпакоподобные, натренированные по такому же принципу.
В этот раз, ребята из databricks взяли за основу не какую-то там полу-проприетарную Llama с непонятной лицензией, а вполне себе опенсорсовую gpt-j-6B от EleutherAI. Получилась эдакая instruction-following модель в стиле ChatGPT, но уже пригодная к использованию в коммерческих продуктах.
Веса в databricks пока не выложили, но это не беда. Энтузиасты уже повторили. C моделькой можно поиграться в гугл коллабе (если у вас есть план, на бесплатном не хватает RAM) https://colab.research.google.com/drive/1O1JjyGaC300BgSJoUbru6LuWAzRzEqCz? usp=sharing
Ждем, надеюсь должна скоро появится в средах типа llama.cpp / alpaca.cpp чтобы можно было поиграться и на домашнем компьютере без видеокарты.
Ссылки:
Простым языком для тех, кто ничего не понял: появляется всё больше моделей, в стиле ChatGPT, которые не просто дополняют текст, а следуют инструкциям. Некоторые из этих моделей можно покрутить на своём домашнем компьютере или арендованном сервере уже сейчас. Проблема моделей Альпака и Ллама из предыдущей новости в том, что их лицензия под большим вопросом. А тут натренировали вполне себе open source модель.
