Илон Маск хотел сделать OpenAI коммерческой13.12.2024 00:00

Честно говоря, меня удивляет, что у ИИ-сообщества уходит столько времени на осмысление базовых концепций. Это не звучит невероятно сложно. Высокоуровневое связывание большого количества глубоких сетей кажется правильным подходом, или, по крайней мере, ключевой частью правильного подхода. █​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​

Вероятность того, что DeepMind создаст сильный искусственный интеллект, увеличивается с каждым годом. Возможно, через 2–3 года она не превысит 50%, но она наверняка перешагнет отметку в 10%. Учитывая их ресурсы, это не кажется мне безумным.

В любом случае, я понял, что гораздо лучше переоценить конкурентов, чем недооценить.

Это не значит, что мы должны бросаться нанимать слабых специалистов. Я согласен, что этим ничего хорошего не добьешься. Что нам нужно сделать, так это удвоить усилия по поиску лучших людей в мире, сделать все возможное, чтобы привлечь их к нам, и привить компании чувство крайней срочности.

Для OpenAI будет важно добиться чего-то значимого в ближайшие 6–9 месяцев, чтобы показать, что мы настроены серьезно. Это не обязательно должен быть грандиозный прорыв, но его должно быть достаточно, чтобы ключевые специалисты по всему миру обратили на нас внимание.

█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​

Несколько моментов:

• Дело вовсе не в том, что как только мы разберемся с «концепциями», мы сразу получим ИИ. Другие проблемы, которые предстоит решить, включают обучение без учителя, перенос обучения и непрерывное обучение (lifetime learning). У нас также пока все довольно плохо с языком. Это не значит, что в ближайшие годы в этих вопросах не будет заметного прогресса, но нельзя сказать, что между нами и полноценным ИИ человеческого уровня стоит лишь одна проблема.
• Мы не можем создать ИИ сегодня, потому что нам не хватает ключевых идей (компьютеры тоже могут быть слишком медленными, но мы пока не можем этого сказать). Мощные идеи создаются лучшими умами. Массивные кластеры помогают и их очень стоит заполучить, но они играют менее важную роль.
• Мы сможем достичь конвенционально значимого результата в ближайшие 6–9 месяцев просто потому, что люди, которые у нас уже есть, очень хороши. Достижение прорыва, изменяющего правила игры в отрасли, будет сложнее, рискованнее и займет больше времени. Но у нас есть вполне разумный план и для этого.

Это первый из наших двухнедельных отчетов. Цель состоит в том держать вас в курсе дел и помочь нам извлечь максимум пользы из ваших визитов.

Вычислительные мощности:

• Вычислительные мощности используются двумя способами: для быстрого проведения одного крупного эксперимента и для одновременного запуска множества экспериментов параллельно.
• 95% прогресса обеспечивается возможностью быстро проводить крупные эксперименты. Полезность запуска множества экспериментов гораздо ниже.
• В былые времена большой кластер мог помочь вам запускать больше экспериментов, но он не мог помочь быстро запустить один крупный эксперимент.
• По этой причине академическая лаборатория могла конкурировать с Google, поскольку единственным преимуществом Google была возможность запускать много экспериментов. Это не такое уж большое преимущество.
• В последнее время появилась возможность объединять сотни графических процессоров (GPU) и сотни центральных процессоров (CPU) для проведения эксперимента, который в 100 раз масштабнее того, что возможно на одной машине, при сопоставимых затратах времени. Это стало возможным благодаря работе множества различных групп. В результате минимально необходимый для конкурентоспособности кластер теперь в 10–100 раз больше, чем раньше.
• В настоящее время каждый эксперимент с Dota использует более 1000 ядер, и это только для небольшого варианта 1v1 и на чрезвычайно малых политиках нейронных сетей. Нам потребуется больше вычислительных мощностей просто для того, чтобы выиграть в варианте 1v1. Чтобы выиграть полноценную игру 5 на 5, нам придется проводить меньше экспериментов, но каждый эксперимент будет как минимум на порядок масштабнее (возможно, даже больше!).
• TLDR: Имеют значение размер и скорость наших экспериментов. Раньше большой кластер не позволял никому быстро запускать более крупный эксперимент. Сегодня большой кластер позволяет нам запустить крупный эксперимент в 100 раз быстрее.
• Чтобы иметь возможность реализовать наши проекты даже в теории, нам нужно увеличить количество наших GPU в 10 раз в течение следующих 1–2 месяцев (у нас достаточно CPU). Мы обсудим детали на нашей личной встрече.

Dota 2:

• Мы решим версию игры 1v1 через 1 месяц. Фанатам игры версия 1v1 небезразлична.
• Сейчас мы находимся в точке, где *один эксперимент* потребляет тысячи ядер и где добавление распределенных вычислительных мощностей повышает производительность.
• Вот классное видео, на котором наш бот делает кое-что довольно изобретательное: https://www.youtube.com/watch? v=Y-vxbREX5ck&feature=youtu.be&t=99.

Быстрое обучение новым играм:

• Идет работа над инфраструктурой
• Мы реализовали несколько базовых моделей (базовых линий)
• В фундаментальном плане мы находимся не там, где хотели бы, и принимаем меры для исправления ситуации.

Робототехника:

• Текущий статус: Алгоритм HER (https://www.youtube.com/watch? v=Dz_HuzgMzxo) может очень быстро научиться решать множество низкоразмерных задач робототехники, которые раньше не поддавались решению. Он неочевиден, прост и эффективен.
• Через 6 месяцев мы выполним хотя бы одно из следующего: сборка кубика Рубика одной рукой, вращение ручки (https://www.youtube.com/watch? v=dDavyRnEPrI), вращение китайских шаров (https://www.youtube.com/watch? v=M9N1duIl4Fc) с использованием алгоритма HER и метода переноса симуляции в реальный мир (sim2real) [например, https://blog.openai.com/spam-detection-in-the-physical-world/].
• Вышеперечисленное будет развернуто на роборуке: [Ссылка на Google Drive] [это видео управляется человеком, а не алгоритмом. Чтобы посмотреть видео, необходимо войти в аккаунт OpenAI].

Самообучение (Self-play) как ключевой путь к AGI:

• Самообучение в многоагентных средах — это магия: если вы помещаете агентов в среду, то независимо от того, насколько они умны (или не умны), среда обеспечит им точный уровень сложности, преодолеть который можно, только перехитрив конкурентов. Так, например, если у вас есть группа детей, им будет интересно общаться друг с другом; то же самое справедливо и для совокупности сверхъинтеллектов сопоставимого уровня. Таким образом, «решением» для самообучения является становление все более и более умным, без каких-либо ограничений.
• Самообучение позволяет нам получить «нечто из ничего». Правила соревновательной игры могут быть простыми, но лучшая стратегия игры в нее может быть чрезвычайно сложной. [мотивирующий пример: https://www.youtube.com/watch? v=u2T77mQmJYI].
• Обучение агентов в симуляции развивать отличную ловкость с помощью соревновательной борьбы, например борьбы (реслинга). Вот видео роботов в форме муравьев, которых мы тренировали бороться:
• Текущая работа над самообучением: обучение агентов созданию языка [гифки по адресу https://blog.openai.com/learning-to-cooperate-compete-and-communicate/]. Агенты что-то «делают», но это все еще незавершенная работа.

У нас есть еще несколько классных небольших проектов. Обновления будут представлены по мере получения значимых результатов.

Спасибо, это отличное обновление.

Хорошо. Давайте найдем наименее затратный способ гарантировать, что вычислительные мощности не станут узким местом…

Мы обычно решаем, что задачи сложны, потому что умные люди долго и безуспешно над ними работали. Легко подумать, что это справедливо и в отношении ИИ. Однако пятилетний прогресс показал, что самые ранние и простые идеи об ИИ — нейросети — были верны с самого начала, и нам просто потребовалось современное железо, чтобы заставить их работать.

Исторически сложилось так, что прорывы в области ИИ неизменно происходили на моделях, обучение которых занимает от 7 до 10 дней. Это означает, что аппаратное обеспечение определяет границы потенциальных прорывов в ИИ. Это утверждение больше относится к человеческой психологии, чем к самому ИИ. Если эксперименты длятся дольше этого срока, трудно удерживать все состояния в голове, итеративно улучшая систему. Если эксперименты короче, вы просто берете модель побольше.

Прогресс в области ИИ — это не столько гонка железа, сколько физика — не гонка ускорителей частиц. Но если наши компьютеры работают слишком медленно, никакая изобретательность не приведет к созданию AGI — точно так же, как если ускоритель частиц окажется слишком маленьким, у нас не будет шансов понять, как устроена вселенная. Достаточно быстрые компьютеры являются необходимым компонентом, и все прошлые неудачи могли быть вызваны тем, что компьютеры были слишком медленными для AGI.

До совсем недавнего времени не было способа использовать множество графических процессоров (GPU) вместе для ускорения экспериментов, поэтому академические круги обладали теми же «эффективными вычислительными мощностями», что и индустрия. Но в начале этого года Google задействовала на два порядка больше вычислительных мощностей, чем обычно, для оптимизации архитектуры классификатора — задачу, которая обычно требует уймы времени исследователей. А несколько месяцев назад Facebook опубликовала статью, показывающую, как обучать большую модель ImageNet с почти линейным ускорением на 256 GPU (при наличии специально сконфигурированного кластера с высокоскоростными интерконнектами).

За последний год Google Brain продемонстрировала впечатляющие результаты, потому что у них на порядок или два больше GPU, чем у кого-либо еще. По нашим оценкам, у Brain около 100 тыс. GPU, у FAIR — около 15–20 тыс., а DeepMind выделяет по 50 GPU на исследователя под исследовательские задачи и арендовала 5 тыс. GPU у Brain для AlphaGo. Судя по всему, когда люди запускают нейросети в Google Brain, это съедает квоты всех сотрудников в DeepMind.

Нам все еще не хватает нескольких ключевых идей, необходимых для создания AGI. Как использовать понимание «вещи А» системой для изучения «вещи Б» (например, могу ли я научить систему считать, затем умножать, а затем решать текстовые задачи)? Как создавать любознательные системы? Как обучить систему обнаруживать глубокие первопричины всех видов явлений — действовать как ученый? Как создать систему, которая адаптируется к новым ситуациям, на которых ее не обучали напрямую (например, требование применить знакомые концепции в незнакомой ситуации)? Но если дать достаточно оборудования для проведения соответствующих экспериментов за 7–10 дней, история показывает, что правильные алгоритмы будут найдены — точно так же, как физики быстро поняли бы, как устроена вселенная, будь у них достаточно большой ускоритель частиц.

Есть все основания полагать, что железо для глубокого обучения будет ускоряться в 10 раз каждый год в течение следующих четырех-пяти лет. Мир привык к сравнительно неторопливому темпу закона Мура и не готов к кардинальным изменениям возможностей, которые принесет это аппаратное ускорение. Это ускорение произойдет не из-за уменьшения транзисторов или более высокой тактовой частоты; оно произойдет потому, что, подобно мозгу, нейронные сети по своей сути параллелизуемы, и для их поддержки создается новое высокопараллельное железо.

В течение следующих трех лет робототехника должна быть полностью решена, ИИ должен решить давнюю недоказанную теорему, соревнования по программированию должны стабильно выигрываться системами ИИ, и должны появиться убедительные чат-боты (хотя тест Тьюринга никто проходить не должен). Всего через четыре года каждый эксперимент, запускаемый на ночь, будет практически использовать столько вычислительной мощности, что появится реальный шанс проснуться с готовым AGI (при наличии правильного алгоритма), а разработка самого алгоритма произойдет в течение еще 2–4 лет экспериментов с этими вычислениями в соревновательной многоагентной симуляции.

Чтобы заниматься созданием безопасного AGI, OpenAI необходимо:

• Демонстрировать лучшие результаты в области ИИ каждый год. В частности, по мере экспоненциального улучшения аппаратного обеспечения мы будем получать кардинально лучшие результаты. Наши проекты по DOTA и кубику Рубика покажут впечатляющие результаты для текущего уровня вычислений. Проекты следующего года будут еще более масштабными, и то, что реально осуществимо, зависит в первую очередь от доступных нам вычислительных мощностей.
• Увеличить наш кластер с 600 GPU до 5000 GPU как можно скорее. В качестве верхнего предела это потребует капитальных затрат (capex) в размере $12 млн и операционных расходов (opex) в размере $5–6 млн в следующем году. Каждый год нам придется экспоненциально увеличивать расходы на аппаратное обеспечение, но у нас есть основания полагать, что AGI в конечном итоге может быть создан на оборудовании стоимостью менее $10 млрд.
• Увеличить штат сотрудников: с 55 (июль 2017 г.) до 80 (январь 2018 г.), до 120 (январь 2019 г.) и до 200 (январь 2020 г.). Мы научились организовывать нашу текущую команду, и теперь узким местом является количество умных людей, тестирующих идеи.
• Получить подавляющее аппаратное преимущество. 4-чиповая плата, которую , по его словам, может построить за 2 года, фактически является TPU 3.0 и (при достаточных объемах) позволит нам быть практически на равных с Google по вычислениям. Дизайн Cerebras намного опережает оба варианта, и если они реальны, то эксклюзивный доступ к ним поставит нас далеко впереди конкурентов. У нас есть структурная идея, как это сделать при более детальной проработке, лучше обсудить это в звонке.

Пункт 2, 3 и 4 в конечном итоге потребуют больших объемов капитала. Если мы сможем обеспечить финансирование, у нас появится реальный шанс заложить исходные условия, при которых родится AGI. Возросшие потребности в финансировании будут идти рука об руку с возросшими масштабами результатов. Нам следует обсудить варианты получения соответствующего финансирования, так как это важнейший элемент, находящийся вне нашего прямого контроля.

Прогресс на этой неделе:

• Мы победили нашего лучшего тестового игрока в матчах 1v1 (он входит в топ-30 игроков Северной Америки в 1v1 и обыгрывает топ-игрока 1v1 примерно в 30% случаев), но бота также можно обыграть с помощью нестандартной (странной) игры. Мы работаем над пониманием этих эксплойтов и борьбой с ними.
  • Повтор из субботы, вот первый матч, где мы победили нашего лучшего тестового игрока: https://www.youtube.com/watch? v=FBoUHay7XBI&feature=youtu.be&t=345
  • Каждый дополнительный день обучения делает бота сильнее и уязвимее к эксплойтам.
• Робот приближается к решению кубика Рубика.
  • Улучшенная симуляция кубика, управляемая человеком дистанционно: .
• Наша защита от состязательных примеров (adversarial examples) начинает работать на ImageNet.
  • Мы полностью решим проблему состязательных примеров к концу августа.

█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​

█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​

█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​

Они сделают все возможное, чтобы заполучить то, что мы разрабатываем. Возможно, это еще одна причина изменить курс.

[Ссылка на новостную статью]

На 100% согласен. Мы считаем, что путь должен быть следующим:

1. Некоммерческая организация по исследованию ИИ (до конца 2017 г.)
2. Коммерческая организация по исследованию ИИ + аппаратному обеспечению (начиная с 2018 г.)
3. Государственный проект (когда: ?)

█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​

-gdb

Давай поговорим в субботу или воскресенье. У меня есть предварительный план действий, который я хотел бы с вами обсудить.

█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​ Сможете ли вы встретиться или созвониться завтра после обеда?

Пора сделать следующий шаг для OpenAI. Это пусковое событие.

Звучит неплохо. Три места по обыкновенным акциям (ты, Грег и Сэм) должны избираться владельцами обыкновенных акций. Они де-факто будут вашими, за маловероятным исключением того, что вы со временем потеряете доверие огромного процента держателей обыкновенных акций или добровольно отойдете от дел компании.

Я считаю, что раунд инвестиций в привилегированные акции серии A (с супербольшинством у меня) должен дать право назначить четыре (а не три) места. Я бы не рассчитывал назначать их немедленно, но, как я уже говорил, я недвусмысленно получу первоначальный контроль над компанией, однако это быстро изменится.

Примерная цель — выйти на совет директоров из 12 человек (скорее из 16, если этот совет действительно будет решать судьбу мира), где каждый член совета глубоко разбирается в технологиях, обладает хотя бы базовым пониманием ИИ и сильными и здравыми моральными принципами.

Помимо четырех от серии A и трех по обыкновенным акциям, в совет директоров, вероятно, войдет по представителю от каждого нового ведущего инвестора/союзника. Однако конкретные новые члены совета могут быть добавлены только в том случае, если все действующие члены совета, кроме одного, согласны. То же самое касается и исключения членов совета.

Будут также независимые члены совета, которых мы захотим добавить и которые не связаны с инвесторами. Действуют те же правила: для добавления или удаления требуется согласие всех директоров, кроме одного.

Я очень устал и не хочу все усложнять, но это кажется примерно правильным. На уровне совета из шестнадцати человек у нас будет 7/16 голосов, и мое влияние составит 25%, что является моим минимальным уровнем комфорта. Мне кажется, это вполне разумно. Если все остальные, кого мы просили войти в наш совет, действительно настроены против нас, мы, вероятно, должны проиграть.

Как уже упоминалось, мой опыт работы с советами директоров (при условии, что они состоят из хороших, умных людей) показывает, что они рациональны и разумны. По сути, никогда не бывает реальной жестокой битвы, где отдельное голосование совета имеет решающее значение, так что это почти наверняка (очень на это надеюсь) не будет иметь значения.

В заключение хочу сказать, что я был очень впечатлен качеством дискуссии с вами по поводу акций и совета директоров. У меня очень хорошие предчувствия по этому поводу.

Дайте знать, если вышеизложенное кажется разумным.

Илон

Илон, Сэм,

Этот процесс стал для нас с Грегом разговором с самыми высокими ставками за всю нашу жизнь, а в случае успеха проекта окажется, что это были самые высокие ставки, которые когда-либо видел мир. Кроме того, для всех нас это очень личный разговор.

Вчера, когда мы обдумывали наше окончательное согласие (даже соглашение о ненасильственном переманивании сотрудников), мы поняли, что совершили ошибку. У нас есть несколько важных опасений, о которых мы не говорили ни с одним из вас. Мы молчали, потому что боялись: боялись испортить отношения, упасть в ваших глазах или потерять вас как партнеров.

Существует вероятность, что наши опасения окажутся неразрешимыми. Мы очень надеемся, что это не так, но понимаем, что точно потерпим неудачу, если не обсудим их все прямо сейчас. И мы надеемся, что сможем преодолеть их все и продолжить совместную работу.

Илон

Мы очень хотим работать с вами. Мы верим, что если мы объединим усилия, наши шансы на успех в этой миссии будут максимальными. Наша потенциальная выгода будет наибольшей. В этом нет никаких сомнений. Наше желание работать с вами настолько велико, что мы готовы отказаться от доли в капитале, личного контроля, сделать себя легко увольняемыми — на что угодно, лишь бы работать с вами.
Но мы поняли, что легкомысленно подошли к осмыслению последствий контроля для мира. Поскольку это казалось излишне самонадеянным, мы всерьез не задумывались о последствиях успеха.

• Текущая структура предоставляет вам путь, в конце которого вы получаете единоличный абсолютный контроль над ОИИ (AGI). Вы заявляли, что не хотите контролировать финальный ОИИ, но в ходе этих переговоров вы показали нам, что абсолютный контроль чрезвычайно важен для вас.
  • В качестве примера вы сказали, что вам необходимо быть генеральным директором (CEO) новой компании, чтобы все знали, кто здесь главный, хотя вы также заявляли, что ненавидите быть CEO и предпочли бы им не быть.
• Таким образом, мы опасаемся, что по мере того, как компания будет делать реальные успехи на пути к ОИИ, вы предпочтете сохранить свой абсолютный контроль над ней вопреки нынешним намерениям. Мы не согласны с вашим утверждением, что наша способность уйти — это наша величайшая сила, потому что, когда компания действительно встанет на путь к ОИИ, она станет гораздо важнее любого отдельного человека.
• Цель OpenAI — сделать будущее прекрасным и избежать диктатуры ОИИ. Вы опасаетесь, что Демис может создать диктатуру ОИИ. Мы тоже. Поэтому плохая идея — создавать структуру, в которой вы могли бы стать диктатором, если захотите, тем более что мы можем создать другую структуру, исключающую такую возможность.

У нас есть еще несколько мелких опасений, но мы считаем полезным упомянуть их здесь:

• В случае если мы решим купить Cerebras, у меня есть сильное ощущение, что это будет сделано через Tesla. Но зачем делать это так, если мы могли бы сделать это изнутри OpenAI? В частности, есть опасение, что у Tesla есть обязательство перед акционерами максимизировать их доход, что не совпадает с миссией OpenAI. Так что общий результат может в итоге оказаться не оптимальным для OpenAI.

• Мы считаем, что некоммерческая организация OpenAI преуспела благодаря тому, что в ней были и вы, и Сэм. Сэм выступал в качестве подлинного противовеса вам, что было чрезвычайно плодотворно. Мы с Грегом, по крайней мере пока, гораздо хуже справляемся с ролью противовеса вам. Мы чувствуем, что это подтверждается даже данными переговорами, в ходе которых мы были готовы замести вопросы долгосрочного контроля над ОИИ под ковер, в то время как Сэм стоял на своем.

Сэм:

Когда мы с Грегом заходили в тупик, у вас всегда находился ответ, который оказывался глубоким и верным. Вы чрезвычайно глубоко и тщательно обдумывали пути решения этой проблемы. Мы с Грегом понимаем техническую реализацию, но не знаем, как структурные решения проявят себя в течение следующего месяца, года или пяти лет.
Но мы не смогли полностью доверять вашим суждениям на протяжении всего этого процесса, потому что мы не понимаем вашу функцию полезности.

• Мы не понимаем, почему титул CEO так важен для вас. Ваши заявленные причины менялись, и трудно по-настоящему понять, что вами движет.
• Действительно ли ОИИ — ваша главная мотивация? Как она связана с вашими политическими целями? Как менялся ваш мыслительный процесс с течением времени?

Грег и Илья:

У нас было немало собственных промахов во время этих переговоров, и мы перечислим некоторые из них здесь (Илон и Сэм, я уверен, вам будет что добавить…):

Здесь накопилось столько багажа, что, по нашему мнению, нам очень важно встретиться и все обсудить. Наше сотрудничество не увенчается успехом, если мы этого не сделаем. Можем ли мы все четверо встретиться сегодня? Если каждый из нас скажет правду и разрешит все проблемы, созданная нами компания с гораздо большей вероятностью выстоит перед лицом мощнейших сил, с которыми ей придется столкнуться.

Грег и Илья

Ребята, с меня хватит. Это последняя капля.

Либо займитесь чем-то самостоятельно, либо продолжайте работу OpenAI как некоммерческой организации. Я больше не буду финансировать OpenAI, пока вы твердо не пообещаете остаться, иначе я просто выгляжу дураком, который по сути бесплатно спонсирует создание вами стартапа.

Дискуссии окончены.

Если честно, это не ультиматум с требованием принять то, что обсуждалось ранее. Это больше не обсуждается.

Я по-прежнему с энтузиазмом отношусь к некоммерческой структуре!

OpenAI находится на пути к неизбежному провалу по сравнению с Google. Очевидно, необходимы немедленные и радикальные меры, иначе все, кроме Google, будут сброшены со счетов.

Я рассмотрел вариант с проведением ICO и не буду его поддерживать. На мой взгляд, это просто приведет к колоссальной потере доверия к OpenAI и всем, кто связан с этим ICO. Если что-то кажется слишком хорошим, чтобы быть правдой, так оно и есть. На мой взгляд, это было неразумное отвлечение внимания.

Единые пути, которые я вижу — это масштабное расширение OpenAI и масштабное расширение Tesla AI. Возможно, оба направления одновременно. Первое потребует значительного увеличения объема пожертвований и привлечения в наш совет директоров людей с безупречной репутацией. Текущая ситуация в совете директоров очень слабая.

Я назначу время, чтобы мы могли поговорить завтра. Если честно, я очень уважаю ваши способности и достижения, но я не доволен тем, как велись дела. Именно поэтому в последние месяцы мне было трудно вовлекаться в дела OpenAI. Либо мы все исправим, и мое участие значительно возрастет, либо нет — и тогда мое участие упадет практически до нуля, а я публично сокращу свои связи с организацией. Я не хочу оказаться в ситуации, когда восприятие моего влияния и времени не соответствует действительности.

Привет, Илон!

Спасибо за содержательное письмо. Меня всегда впечатляло твое умение видеть общую картину, и я полностью согласен с тем, что мы должны изменить траекторию, чтобы достичь наших целей. Давай поговорим завтра, в 16:00 или позже — любое время подойдет.

По моему мнению, наилучшее будущее обеспечит масштабное расширение OpenAI. Наша цель и миссия фундаментально верны, и по мере приближения ОИИ это станет нашим главным преимуществом.

Фандрайзинг

Наши переговоры по сбору средств показывают, что:

• Мы с Ильей способны убедить авторитетных людей в том, что ОИИ действительно может появиться в ближайшие ≤10 лет
• У этих людей есть аппетит к пожертвованиям
• У этих людей есть огромный аппетит к инвестициям

Я уважаю твое решение по поводу идеи ICO, которое совпадает с эволюцией наших собственных мыслей. Сэм Альтман работал над структурой сбора средств, которая не опирается на публичное размещение акций, и нам будет интересно услышать твой отзыв.

Из числа тех, с кем мы общались, следующие люди на данный момент являются моими главными кандидатами в члены совета директоров. Мы также будем рады услышать твои предложения по кандидатурам, которых нет в этом списке, и подумать, как к ним подступиться.

Следующие 3 года
В течение следующих 3 лет мы должны построить 3 вещи:

• Кастомное железо для ИИ (например, компьютер)
• Масштабный дата-центр для ИИ (вероятно, с несколькими итерациями)
• Лучшую команду разработчиков ПО, сочетающую разработку алгоритмов, публичные демонстрации и безопасность

Мы больше всего говорили о кастомном оборудовании для ИИ и дата-центре. Что касается программного обеспечения, у нас есть надежный путь (самообучение в конкурентной среде со множеством агентов), который был подтвержден Dota и AlphaGo. Мы также выделили небольшое, но конечное число ограничений в современном глубоком обучении, которые препятствуют обучению на основе человеческого опыта. И мы верим, что находимся на уникальной траектории решения вопросов безопасности (по крайней мере в общих чертах) в течение следующих трех лет.
Мы хотели бы масштабировать численность сотрудников следующим образом:

• Начало 2017 года: ~40
• Конец 2018 года: 100
• Конец 2019 года: 300
• Конец 2020 года: 900

█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​

Моральное превосходство
Наш главный инструмент — моральное превосходство. Чтобы сохранить его, мы должны:

• Всеми силами стремиться оставаться некоммерческой организацией. ИИ потрясет устои общества, и наш фидуциарный долг должен принадлежать человечеству.
• Уделять больше внимания проблеме безопасности и контроля, а не ограничиваться фиговым листком, который вы замечали в других институтах. Неважно, кто победит, если все погибнут. В связи с этим мы должны транслировать подход «лучше красный, чем мертвый» — мы пытаемся создать безопасный ОИИ и не готовы уничтожать мир в отчаянной гонке ради этого.
• Взаимодействовать с правительством, предоставляя надежные, непредвзятые политические советы — мы часто слышим, что они не доверяют рекомендациям таких компаний, как █​█​█​█​█​█​█​█​█​█​█​█​.
• Восприниматься как место, которое приносит общественную пользу исследовательскому сообществу и побуждает других игроков оставаться честными и открытыми, подавая личный пример.

Прошедшие 2 года
Мне было бы интересно услышать, как ты оцениваешь нашу работу за последние два года с учетом выделенных ресурсов. На мой взгляд:

• За последние пять лет было две крупные демонстрации работающих систем: AlphaZero [DeepMind] и Dota 1v1 [OpenAI]. (Существует большое количество прорывов в «возможностях», популярных среди практиков, главными из которых я бы назвал: ProgressiveGAN [NVIDIA], неконтролируемый перевод [Facebook], WaveNet [DeepMind], Atari/DQN [DeepMind], машинный перевод [Илья в Google — теперь в OpenAI], генеративно-состязательная сеть [Иан Гудфеллоу в аспирантуре — теперь в Google], вариационный автоэнкодер [Дюрк в аспирантуре — теперь в OpenAI], AlexNet [Илья в аспирантуре — теперь в OpenAI].) По этому показателю мы выглядим очень хорошо.
• Мы очень быстро росли в 2016 году, а в 2017 году выстроили рабочую структуру управления. Теперь мы готовы к масштабному росту при наличии ресурсов. Сейчас мы теряем людей из-за зарплат, но практически только из-за них. Я возобновляю стиль рекрутинга, который использовал в первые дни, и верю, что смогу превзойти те результаты.
• У нас самая плотная концентрация талантов в этой сфере, и за нами закрепилась соответствующая репутация.
• Мы не поощряем написание научных статей, поэтому принятие статей конференциями — это не тот показатель, на который мы ориентируемся. Что касается графика ICLR, присланного Андреем, я ожидал бы, что наше соотношение (принятые статьи)/(поданные авторами статьи) окажется самым высоким в отрасли.

— gdb

Звучит неплохо

Наверное, сможем встретиться в среду вечером в Сан-Франциско

17 дек. 2018 г., в 15:42, Сэм Альтман написал (а):

Моя оценка вероятности того, что OpenAI станет значимым конкурентом для DeepMind/Google без резкого изменения в исполнении и ресурсах, равна 0%. Не 1%. Хотел бы я, чтобы это было не так.

Даже привлечение нескольких сотен миллионов не поможет. Здесь нужны миллиарды в год немедленно, иначе можно забыть об этом.

К сожалению, будущее человечества находится в руках .
[Ссылка на статью]

█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​█​

OpenAI напоминает мне Безоса и Blue Origin. Они безнадежно отстают от SpaceX и ситуация только ухудшается, но из-за своего эго Безос безумно считает, что это не так!

Я очень надеюсь, что ошибаюсь.
Илон