Партнерства OpenAI в сфере данных09.11.2023 08:00

Мы запускаем инициативу OpenAI Data Partnerships, в рамках которой будем сотрудничать с организациями для создания публичных и частных наборов данных с целью обучения моделей ИИ.

Современные технологии искусственного интеллекта осваивают навыки и познают аспекты нашего мира — людей, наши мотивации, взаимодействия и способы общения — путем анализа данных, на которых они обучаются. Чтобы в конечном итоге создать ОИИ (AGI), который будет безопасным и полезным для всего человечества, мы хотим, чтобы модели ИИ глубоко понимали любые предметные области, отрасли, культуры и языки. Для этого требуется как можно более широкий набор обучающих данных.

Интеграция вашего контента может сделать модели ИИ более полезными для вас, улучшив их понимание вашей сферы деятельности. Мы уже сотрудничаем со многими партнерами, которые стремятся представить данные своей страны или отрасли. Например, недавно мы объединили усилия с правительством Исландии⁠ и компанией Miðeind ehf⁠, чтобы улучшить способность GPT-4 говорить на исландском языке за счет интеграции их курируемых наборов данных. Мы также начали сотрудничество с некоммерческой организацией Free Law Project⁠, которая стремится сделать юридические знания более доступными, включив свою обширную коллекцию правовых документов в процесс обучения ИИ. Мы знаем, что есть множество других организаций, которые также хотят внести свой вклад в будущее исследований в области ИИ и одновременно раскрыть потенциал своих уникальных данных.

Партнерства в сфере данных призваны позволить большему количеству организаций участвовать в формировании будущего ИИ и извлекать выгоду из использования моделей, которые лучше адаптированы под их нужды благодаря включению важного для них контента.

Какие данные мы ищем

Нас интересуют крупномасштабные наборы данных, отражающие человеческое общество и недоступные в настоящее время для свободного публичного просмотра в интернете. Мы можем работать с любыми модальностями, включая текст, изображения, аудио и видео. Мы особенно заинтересованы в данных, отражающих человеческие намерения (например, развернутые тексты или диалоги, а не разрозненные фрагменты), на любых языках, по любым темам и в любых форматах.

Мы можем работать с данными практически в любом виде и готовы использовать наши собственные технологии ИИ нового поколения, чтобы помочь вам оцифровать и структурировать информацию. Например, у нас есть первоклассная технология оптического распознавания символов⁠ (OCR) для оцифровки файлов вроде PDF, а также автоматического распознавания речи⁠ (ASR) для транскрипции устной речи. Если данные требуют очистки (например, содержат много автоматически сгенерированных артефактов или ошибок транскрипции), мы готовы поработать с вашей командой, чтобы привести их в наиболее полезный вид. Мы не ищем наборы данных, содержащие конфиденциальную или личную информацию, либо данные, принадлежащие третьим лицам; при необходимости мы можем помочь вам удалить такие сведения.

Варианты партнерства

В настоящее время мы предлагаем два варианта сотрудничества и в будущем можем расширить их список:

• Архив с открытым исходным кодом: мы ищем партнеров для создания открытого набора данных, предназначенного для обучения языковых моделей. Этот датасет будет общедоступным для каждого, кто использует его для обучения моделей ИИ. Мы также планируем изучить возможность его применения для безопасного обучения собственных дополнительных открытых моделей. Мы верим, что открытый исходный код играет важную роль в экосистеме.
• Частные наборы данных: мы также готовим частные датасеты для обучения проприетарных моделей ИИ, включая наши базовые модели, а также дообученные и кастомные решения. Если у вас есть данные, которые вы бы хотели сохранить в тайне, но при этом вы хотите, чтобы наши модели ИИ лучше понимали вашу предметную область (или вы просто хотите оценить потенциал своих данных для этой цели), этот формат партнерства станет оптимальным. Мы будем обращаться с вашими данными с тем уровнем конфиденциальности и средств контроля доступа, который вы предпочитаете.

В целом мы ищем партнеров, которые хотят помочь нам научить ИИ понимать наш мир, чтобы приносить максимум пользы абсолютно каждому. Вместе мы сможем приблизиться к созданию ОИИ (AGI), который принесет пользу всему человечеству.