Stability AI открыла исходный код своей языковой модели StableLM
Компания Stability AI опубликовала на GitHub исходный код своей языковой модели StableLM под лицензией Apache License 2.0. Альфа-версия модели StableLM доступна с 3 млрд и 7 млрд параметров для коммерческих или исследовательских целей. Разработчики пообещали выложить в скором времени модели StableLM с количеством параметров от 15 до 65 млрд.
В Stability AI пояснили, что StableLM основана на более ранних языковых моделях на базе EleutherAI, которые включают в себя GPT-J, GPT-NeoX и пакет Pythia. Нейросеть была обучена на расширенном в три раза наборе данных с открытым исходным кодом The Pile с 1,5 триллионами токенами контента из ряда источников, включая Wikipedia, Stack Exchange и PubMed.
Демо-версия рабочей модели чат-бота StableLM доступна всем желающим на платформе Hugging Face.
