Разработчик TikTok будет обучать свою языковую модель на чипах Huawei
Если сможет их купить в достаточном количестве.
Владеющая социальной сетью TikTok китайская компания ByteDance, как сообщает Reuters, намеревается создать большую языковую модель, обучаемую преимущественно с использованием ускорителей вычислений Huawei. Более того, ByteDance уверенно движется к созданию собственных ускорителей для аналогичных целей. Пока же решено использовать ускорители Huawei Ascend 910B для обучения новейшей языковой модели ByteDance.
Источник изображения: Reuters
В принципе, у компании уже есть опыт использования этих ускорителей, но они до сих пор использовались для решения менее ресурсоёмких задач — например, для выполнения предсказаний. Впрочем, новая модель ByteDance всё равно будет уступать по своим параметрам уже используемой модели Doubao, как поясняют источники. В этом году ByteDance заказала более 100 000 ускорителей Ascend 910B, но по состоянию на июль получила менее 30 000 штук. Разработчики TikTok стали одними из крупнейших покупателей ускорителей Huawei, хотя они же закупают в Китае больше всего ускорителей NVIDIA H20, которые доступны местным клиентам компании в условиях американских санкций. ByteDance одновременно является крупнейшим пользователем облачного сервиса Microsoft, предоставляющего доступ к вычислительным ресурсам на базе ускорителей NVIDIA за пределами Китая.
