RedPajama — open source LLaMa
Группа исследователей из разных организаций и университетов (Together, ontocord.ai, ds3lab.inf.ethz.ch, crfm.stanford.edu, hazyresearch.stanford.edu, mila.quebec) работает над созданием open source альтернативы модели LLaMa и уже опубликовали датасет, релевантный тому, который использовался для создания последней.
Несвободная, но хорошо сбаллансированная LLaMa использовалась в качестве основы для таких проектов как Alpaca, Vicuna и Koala. В других известных проектах (Dolly, Dolly v2, gpt4all) в качестве основы для файньюнинга использовались свободные, но достаточно старые по современным меркам модели серий gpt-j и gpt-neo.
Следующим шагом будет создание самой модели, что потребует серъезных вычислительных мощностей. Но с учётом всеобщего интереса к этой теме, это лишь вопрос времени.
Источник: https://www.together.xyz/blog/redpajama
