[Перевод] ИскИн для всех и каждого — часть I24.05.2024 10:45

Disclaimer

Сейчас мы наблюдаем бум развития ИИ и его активного проникновения во все сферы нашей жизнедеятельности, но рынок применения и бизнес задачи которые способен решать ИскИн намного шире чем генерация прикольных картинок, обработки фото и генерация унылых текстов для телеграмм каналов, реклама которых уже всех достала (хотя стоит отметить, что есть и вполне годные, поэтому не подписывайтесь на мой телеграмм канал, у меня его нет).

Умные ребята из международной консалтинговой компании McKinsey провели исследование рынка искусственного интеллекта и оценили его в 13–22 триллиона долларов к 2033 году (с учётом 3–4 триллионов от генеративного ИИ)

Ждём появления стартапов торгующих на рынке акциями на основе ИИ XD

На основании аналитических данных можно сделать вывод о развитии сферы ИИ и огромных инвестициях в проекты этой сферы.

Демистификация ИИ

Сейчас из каждого утюга доносятся слова и различные аббривиатуры по тематике ИИ. Давайте разбёремся, что это такое и как он работает.

Искусственный интеллект можно разделить на 3 основные группы:

• Специализированный ИИ (иногда ИСИ — искусственный специализированный интеллект от англ. ANI/Artificial Narrow Intelligence) — термин описывает системы искусственного интеллекта, которые предназначены для выполнения конкретных задач и обладают ограниченными возможностями, например: умные колонки, автопилот в авто, web поиск, а также ИИ в сельском хозяйстве и применяемый на фабриках и в производстве.

• Генеративный ИИ (от англ. Generative AI) — может создавать новые данные, такие как тексты, изображения, музыку или другие медиаданные, на основе обученных моделей, например: ChatGPT, Midjourney, DALL-E, Stable Diffusion.

• Общий искусственный интеллект (от англ. AGI artificial general intelligence) — обозначает гипотетическую форму искусственного интеллекта, которая обладает способностью понимать, учиться и применять знания на уровне, сопоставимом с человеческим интеллектом, и может решать широкий спектр задач в разных областях.

Сам по себе ИИ не может принимать решения или выполнять какую-либо деятельность, для этого его нужно сначала обучить. Для этого применяется контролируемое обучение (от англ. Supervised learning). Т. е. вы обучаете сопоставлять данные А на входе и результат В на выходе. Упрощённо — когда происходит сопоставление, отрабатывает какая-то программа, которая при определённом наборе входных данных даёт определённый результат.

Например, для чего можно применять ИИ и какие «программы» для этого используются:

Как видно из примера выше — на вход поступают какие-то данные, они обрабатываются какой-то программой и на выходе пользователь получает результат.

Аналогичная схема применяется и в Больших Языковых Моделях (БЯМ/ЯБМ? от англ. LLM — Large Language Model), те на основании данных которыми вы обучили ИИ происходит многократное предсказание следующего слова. Выглядит это следующим образом для формирования «шла саша по шоссе и сосала сушку»:

Когда обучается большая ИИ система на огромных объёмах данных (сотни миллиардов слов), то в итоге получается большая языковая модель, такая как ChatGPT, которая, учитывая начальный фрагмент текста, называемый подсказкой, очень хорошо генерирует некоторые дополнительные слова в ответ на эту подсказку. В представленном здесь описании опускаются многие технические детали, например, как модель учится следовать инструкциям, а не просто предсказывать следующее слово, найденное в интернете. А также о том, как разработчики делают так, чтобы модель с меньшей вероятностью генерировала неподходящие результаты, например вредные советы.

Почему сейчас?

Теоретические разработки в сфере ИИ насчитывают не один десяток лет. Но почему же сфера переживает очередной бум именно сейчас?

Чтобы добиться максимальной производительности ИИ нужны действительно огромные объёмы данных, на которых его можно обучить. Если посмотреть внимательно на график ниже, то можно увидеть, что максимальной производительности (на данный момент) можно добиться только в больших нейронных сетях (БНС). В остальных примерах производительность нейронных сетей не растёт после определённого порога данных для обучения.

Поэтому отвечая на вопрос — данных накопили много, быстрые хранилища данных доступны, быстрая обработка данных возможна — почему и нет.

Данные и что это такое

В простейшем виде набор данных — таблица с данными.

На картинке ниже изображён пример, когда использовали информацию о стоимости квартир с учётом количества комнат и их площадью. Например, эти данные можно использовать для обучения системы оценки стоимости недвижимости в зависимости от размера квартиры и количества комнат. Или же если взять стоимость за входные данные, то можно научить систему прогнозировать какой объект недвижимости можно купить в зависимости от бюджета на покупку.

Самый простейший пример — таблица сопоставления изображения, когда система учится определять, где изображение котика, а где нет с помощью маркировки изображения.

ИИ без котика деньги на ветер

Из примеров выше, можно сделать вывод, что на данный момент выделяют подходы для получения данных:

Например, анализ покупок сделанный пользователем и что ему можно предложить в какие-то определённые даты. Или же анализ неисправности оборудования исходя из информации, собранной с датчиков.

• Использование готовых наборов данных из интернета или от партнёров. Кто-то, где-то, как-то собрал данные, и вы их используете.

Применение данных

Недостаточно собрать данные, есть ряд условий для их правильного использования.

Не забрасывайте данные в команду, отвечающую за ИИ, в надежде, что они окажутся полезными.

Очень часто оказывается, что данные беспорядочны. Учитывайте, что:

• Мусор на входе даст мусор на выходе

• Данные могут содержать ошибки или неточности (команде по работе с данными, скорее всего, придется чистить или корректировать данные):

• Существуют множественные типы данных:

  • Структурированные данные — аналог таблиц/наборов данных

  • Неструктурированные данные — картинки, аудио или текст

Поэтому напихать данных в систему в надежде получить классный результат — такое себе мероприятие.

Терминология ИИ

Выше мы затрагивали различные аспекты ИИ, не используя специальную терминологию. Давайте это исправим:

• Машинное обучение — (от англ. Machine Learning \ ML) обучение программы сопоставлению входных данных А с выходными данными В. Есть ещё классическое определение, выдвинутое Артуром Сэмюэлем в 1959 г: «Машинное обучение — область знаний, которая наделяет компьютеры способностью обучаться без явного программирования.»

• Наука о данных — (от англ. Data Science \ DS) — анализ данных с целью получения информации. В качестве примера можно привести слайды презентации, в которых резюмируются выводы, необходимые руководителям для принятия решений.

Попробую объяснить на примере:

Основываясь на примере из таблички:

• Машинное обучение — это обучение сопоставлять данные о размере квартиры, количестве комнат, ванных комнат, ремонта и стоимости жилья для дальнейшего использования с целью определения стоимости объекта недвижимости.

• Наука о данных — позволяет узнать, что 3-комнатные квартиры стоят дороже чем 2-комнатные при схожей площади квартиры. (Да-да-да, знаю, что в табличке указано, что трёшка недавно отремонтирована и вообще в центре Мск, но давайте не упарываться с примером).

Перейдём к более сложным терминам — глубокое обучение.

• Глубокое обучение — (от англ. Deep Learning \ DL) — искусственная нейронная сеть (от англ. Artificial Neural Network \ ANN) которая принимает входные данные A и создает выходные данные B. Обычно это большое математическое уравнение. Искусственная нейронная сеть — это очень эффективная техника для обучения A — B. В настоящее время глубокое обучение равнозначно искусственной нейронной сети. Создание нейронных сетей изначально было вдохновлено биологическим мозгом, но детали их работы практически не имеют ничего общего с работой мозга.

Глубокое обучение схематически

Разумеется это не исчерпывающий список ИИ терминов их намного больше с учётом различных жаргонизмов-базвордов: Generative AI, unsupervised learning, reinforcement learning, graphical models, planning, knowledge graph. Но слов из статьи вполне достаточно, чтобы понимать, что такое ИИ и поддерживать простейший диалог. И ёжику понятно, если вам попадётся базвордогенератор, то он вас просто забрутфорсит красивыми терминами, в которых-то и сам не одупляет.

Если попытаться схематически изобразить затронутые области в этой статье и как они соотносятся между собой, то выглядеть это будет так:

ИИ компании

Мы начали про деньги, поэтому вернёмся к теме косвенно затрагивающей деньги, а именно что такое ИИ компании, но не научно-технические компании, а компании применяющие ИИ в своей деятельности. И для более лёгких аналогий заглянем в эру начала интернета благо это было не так давно. Предположим, есть у вас в Батайске торговая лавка, нет не лавка, а огромный магазин и, если вы прикрутили к нему вебсайт — страничку на пхп — можете ли вы теперь гордо называться интернет компанией? Нет, не можете. В оригинальной статье автор приводит такие условия как: А/B тестирование, работа короткими итерациями и вовлечение инженеров и других специалистов в принятие решений;, но я бы включил в этот список и: наличие цифровой платформы, онлайн-присутствие, модель дохода, завязанную на интернет-платежи.

Поэтому по аналогии если у вас есть компания и вы прикрутили глубокое обучение в надежде называться ИИ компанией — нет. Вы, конечно, можете гордо это делать, но по факту таковыми являться не будете.

Что же делает компанию по настоящему использующей ИИ?

Выделяют несколько пунктов:

• Выполнение пилотных проектов для понимая технологий и трендов.

• Создание команды ИИ специалистов. Скорее всего вам не нужны крутые технари из области ИИ, вполне достаточно будет людей, которые могут понять, когда вам вешают лапшу на уши и брутфорсят булшитом, чтобы присосаться к бюджету.

• Предоставление широкого-спектра ИИ тренингов.

• Разработка стратегии применения ИИ в компании (например, если вы видите, что что-то можно автоматизировать с применением ИИ — дерзайте!).

• Разработка внутренней и внешней коммуникации по теме ИИ.

ИИ не всемогущ*

* на момент написания статьи

Чтобы избежать недоразумений в виде эффективных менеджеров и попыток внедрить ИИ бабе Глаше уборщице или вместо неё, особенно при том количестве инфо-цыганство, которое появляется и ещё появится стоит пристально взглянуть на то, что ИИ может делать и не может, потому что интернет полнится только успешными историями (а-ля внедрение LLM для вычисления налогов ¯\_(ツ)_/¯).

Если коротко, всё на что у вас тратится 1 секунда размышлений — можно заменить с помощью ИИ автоматизации:

• Определение является ли письмо спамом — да.

• Распознавание речи и перевод в текст — да.

• Перевод с английского на китайский — да.

• Определение есть ли внешние дефекты у телефона царапины или сколы — да.

Что ИИ не может делать — предсказывать фондовый рынок

Давай, попробуй отгадай — куда пойдёт маркет?

Что облегчает решение задач машинного обучения:

• Изучение «простой» концепции. (<= 1 сек)

• Большое количество доступных данных. Данные A и B (входные и выходные). Необходимо иметь входные и выходные данные, а также сопоставление этих данных.

Ещё примеры.

Автопилот для машины — да.

Датчики и радары

Определить намерения человека, когда он поднял руку — нет.

Решил не вставлять провокационные картики с художником или мужичка на бронивечке, сложно предугадать реакцию аудитории.

Например, ИИ хорош для анализа наличия пневмонии: простой концепт и огромное число снимком для обучения. Но если вы попытаетесь обучить ИИ на 10 снимках из медицинской книжки с объяснением, что такое пневмония или будете «скармливать» некачественные изображения — ничего не получится.

Или вам необходимо спрогнозировать спрос на одежду вашего производства. Вы знаете, что чем выше цена, тем ниже спрос (не берём в расчёт шанели и прочие диоры). Представим график.

Поэтому можно обучить нейронную сеть для прогнозирования спроса.

Или распознавания лиц. Где сначала анализируются мелкие части лица — например глаза, затем они объединяются в более крупные сегменты лица и затем в полноценное лицо с привязкой к человеку.

Из пикселей собирают отдельные элементы

И собираем это воедино с помощь нейронки

Надеюсь эта статья была вам полезной. ;)

© Habrahabr.ru