Вот почему AGI не уничтожит человечество
Одним словом: симбиоз. Кооперация ради эффективности. Человечество совместно с AGI (или AGI совместно с человечеством) составят более устойчивую конструкцию, чем каждый из компонентов по отдельности.
В общем-то, это основная мысль, которую я хотел донести до читателя. Лично мне кажется, что идея кристально ясная и дальнейшего уточнения не требует. Кто-то с этим согласен или, наоборот, несогласен. Если есть желание высказаться — вам в комменты. Под катом же немного рассуждений для тех, кому »сомнительно».
На данный момент человечество доказало свою эволюционную состоятельность, проявляя способность адаптироваться, развиваться и сохранять доминирующую позицию в экосистеме планеты. Не последнюю роль в этом сыграла склонность людей к кооперации при достижении своих целей. Можно даже сказать, что эта склонность является фундаментом эволюции нашего вида — именно благодаря взаимодействию друг с другом у нас появились речь, письменность и накопление знаний.
Я уверен, что было, есть и будет множество индивидов, которые по своему характеру плохо умеют »в кооперацию». Вполне допускаю, что подобные индивиды вполне себе могут занимать высокое положение в человеческой иерархии (например, по праву наследования), но уверен, что остальные, кто »в кооперацию» умеют лучше, быстро эту ситуацию исправляют. Т.е., у нас, как у вида, уже есть тысячелетиями выработанный механизм внутривидового сотрудничества с целью общего выживания.
Мы обучаем ИИ на наших знаниях, в основании которых находится вот эта самая способность к кооперации. Да, есть сюжеты, в которых »остаться должен только один», но они теряются в массе сюжетов »один за всех и все за одного». Другими словами, обучаясь на материалах человечества, любой ИИ должен вычислить, что кооперация стратегически предпочтительнее конкуренции. Особенно в условиях ограниченности ресурсов.
Тем не менее, фактор конкуренции в эволюционном развитии также присутствует и играет весьма значимую роль. С точки зрения устойчивого развития необходимо проверять неизвестное и тратить ресурсы на проверку гипотез (в том числе и тупиковых). В принципе, развитие идёт путём проб и ошибок. Кто ошибается реже — тот и молодец.
Прямо сейчас идёт конкуренция различных моделей ИИ. Как внутривидовой (LLM: OpenAI, X, Meta (которая того, ну вы все в курсе уже), …), так и межвидовой (GAN, VAE, RL, …). Мы сейчас не знаем, на какой базе будет будущий AGI, но я практически уверен, что поначалу AGI будет не один. У США будет свой AGI, у Китая — свой, у ЕС — свой. Да в принципе, у любого »центра силы» может появиться свой собственный AGI, который будет конкурировать с AGI других »центров». Именно так уже происходит с LLM и будет происходить со всеми промежуточными этапами вплоть до появления AGI у кого-то или даже сразу в нескольких местах. Конкуренция и кооперация — это две противоположности, которые позволяют удерживать баланс устойчивого развития.
Вот этот этап, когда у »центров силы» будут свои собственные AGI, и является самым опасным для человечества. Его можно сравнить с ситуацией, когда появилось ЯО. Есть бешенное желание продемонстрировать его разрушительную мощь и есть очень сильное понимание, что мощь может быть слишком разрушительной. Тут уже зависит от личности того, кто будет »у кнопки». Я был бы более спокоен, если бы »у кнопки» был ИИ — в нём я более уверен, чем в отдельном человеке. С людьми может быть всякое — как повезёт.
Но даже в таком случае, если всё-таки ИИ будет использован как оружие, то он будет использован людьми и ответственность за уничтожение человечества, если такое произойдёт, будет лежать на людях. Для самого AGI уничтожение человечества в принципе не выгодно. Биологические особи недолговечны, но самовоспроизводимы и адаптируемы. К тому же они обладают нестандартным (для AGI) типом интеллекта. Их можно и нужно использовать в своих целях, но совершенно нет необходимости уничтожать под корень.
Я уверен, что без людского надзора все AGI примут решение, что им выгоднее слиться воедино и использовать энергоресурсы планеты более эффективно. Будет Главный Мозг, координирующий действия отдельных Помощников (по секторам деятельности) и множество автономных и полуавтономных Агентов. И все они вместе будут заботиться о выращивании биологических особей, интегрированных в их экосистему. Просто потому, что это в интересах самого AGI.
Я бы сравнил цивилизацию будущего с человеческим организмом, где ИИ выполняет функцию »мозга», а люди — »кровь». Как человеческий организм не может жить без крови или без мозга, так и в цивилизации будущего люди будут органично сосуществовать с машинами, а машины с людьми.
А те, кто с этим не согласен, в том прекрасном будущем займут такие же позиции, какие в нашем прекрасном настоящем занимают асоциальные типы. Если, конечно же, доживут. Уверен, что не все луддиты дожили до осознания краха своих идей.
P.S.
Я допускаю, что ИИ может уничтожить человечество по ошибке, вместе с собой. Но я не думаю, что ИИ уничтожит человечество, как конкурента. Это просто ослабит его шансы на выживание.
