«Аппаратная лотерея», или почему одни технологические идеи успешны, а другие терпят неудачи
Выстрелит идея или нет, зависит не от ее крутости, а от возможности реализовать ее на имеющемся «железе». Так ли это, разбираемся в нашей статье.
Неравномерность технологического прогресса
История говорит о том, что научный прогресс несовершенен. Интеллектуальные традиции и имеющийся инструментарий могут настраивать ученых против определенных идей. Это часто приводит к инерции в распознавании перспективных направлений исследований.
Кстати, такую неравномерность развития можно наблюдать в машинном обучении и нейронных сетях. До распространения GPU люди не применяли нейронные сети, поскольку на CPU они ложатся плохо.
Еще один важный нюанс. Если отклониться от проторенной дорожки исследовательских идей и выделить на это дополнительные инвестиции, то это удорожает процесс разработки. А это, в свою очередь, означает, что выгоды от прогресса в области вычислений будут все более неравномерными.
Connection Machine — суперкомпьютер, самый мощный в мире до 1993 года (59,7 Гфлопс)
Connection Machine был одним из немногих примеров аппаратного обеспечения, отклоняющегося от процессоров общего назначения, в 1980–90-х годах. Разработка обошлась в 1,47 млн долларов. Суперкомпьютер пользовался большой популярностью среди ученых благодаря своей способности обрабатывать огромные объемы данных и производить сложные вычисления. После первоначального финансирования со стороны DARPA компания Thinking Machines в конечном итоге обанкротилась, а суперкомпьютер передали в Музей компьютерной истории в Калифорнии. Тем не менее он успел повлиять на развитие отрасли в следующем десятилетии.
Что означает «Hardware lottery»
Большинство считает, что исследовательские идеи добиваются успеха благодаря тому, что превосходят альтернативные варианты. Это не совсем так. Под термином «аппаратная лотерея» автор статьи »The Hardware Lottery» предполагает, что некоторые алгоритмические идеи оказываются успешными и выигрывают потому, что они совместимы с имеющимся программным и аппаратным обеспечением. В то время как другие не менее жизнеспособны, но они остаются позади, поскольку для них не существует оборудования.
Аналитическая машина Чарльза Бэббиджа (1840 год). Она так и не была построена, потому, что ему было трудно изготовить детали с нужной точностью
Рассмотрим ситуацию: у нас есть аппаратное обеспечение, которое нельзя назвать гибким, и его дорого разрабатывать. Вполне понятно, что раз идею можно реализовать на существующем оборудовании, то она закономерно имеет все шансы стать успешной. Именно такой и бывает первая реакция после прочтения статьи Сары Хукер «Hardware lottery». На самом деле этот момент спорный.
Почему надо смотреть шире
Критика статьи сводится к тому, что автор показывает неполную картину. Не только оборудование влияет на успешность технологической идеи. Все используемые технологии основываются на других базовых идеях. А это касается не только аппаратного обеспечения, но и языков программирования. Если идею нельзя воплотить в реальность на существующих фреймворках, то придется туго.
Кроме того, нужно смотреть на альтернативы и ветки развития технологии. К примеру, искусственный интеллект и нейросети получили феноменальные инвестиции. Если бы была альтернатива получше, то такой технологии пришлось бы продемонстрировать свое превосходство, причем с меньшими финансовыми затратами.
И опять же мы забываем про рынок, конкуренцию, опыт предпринимателя, инвестиции, маркетинг. Это лишь часть факторов, которые повлияют на то, будет ли реализована технологическая идея.
Какие выводы для человечества
Джордж Гилдер, американский инвестор, описал компьютерный чип как «написание миров на песчинках». Производительность алгоритма в корне зависит от аппаратного и программного обеспечения, на котором он работает. И этот ландшафт становится все более неоднородным. «Аппаратная лотерея» никуда не исчезла.
Прогресс в сфере технологий — это результат оптимизации. И сразу добиться оптимального варианта мы не можем, так как это требует больших затрат для проверки неудачных гипотез. Вот почему нужны промежуточные шаги.
Но ситуацию можно сгладить. Во-первых, технологии могут быть с более общим применением, а не под конкретные сценарии. Во-вторых, нельзя забывать об альтернативных направлениях исследований, которые могли бы подстраховать в случае чего.
Полный текст статьи читайте на Компьютерра
