Новинки в мире нейросетей: Brain2Music, NerF, Pika Labs и многое другое

Рассказываем о новинках в мире нейросетей за месяц. Новые технологии воссоздают музыку по МРТ мозга, угадывают пароли по звуку и имеют политические взгляды. Сегодня мы посещаем самый странный зоопарк, создаём видеоролики по текстовому описанию и разбираемся в тонкостях озвучки видео.

Новинки в мире нейросетей: Brain2Music, NerF, Pika Labs и многое другое

ДАРЬЯ ТИХОМИРОВА

Автор-фрилансер

Что почитать

«Brain2Music: как нейросеть распознаёт мелодии по МРТ мозга», Хабр

Приготовьтесь: учёные из Google, Осакского университета, NICT и Araya Inc. провели эксперимент, в котором записали музыку, которую человек воспроизводит в мозгу, по результатам фМРТ‑сканирования. Больше примеров — в оригинальной статье на GitHub, кратко об эксперименте рассказал пользователь mr-pickles.

Новинки в мире нейросетей: Brain2Music, NerF, Pika Labs и многое другое
В левой колонке приводится оригинальная мелодия, в трёх колонках справа — результат работы нейросети

«Японский супермаркет начал снимать посетителей, чтобы показывать им таргетированную рекламу», Inc.

Система генеративного ИИ получает данные о том, какие витрины вы рассматривали дольше всего, на какие товары обращали внимание и что держали в руках. На основе этих данных генерируется аватар, который предлагает вам приобрести товары, потенциально интересные именно вам.

«Искусственный интеллект может удалённо отслеживать набор текста по звукам клавиатуры», DSM

Технология из шпионских фильмов ожила: с точностью до 95% ИИ понимает, что было напечатано на клавиатуре, по звуку клавиш. Предварительно нейросеть нужно обучить на звуках конкретной клавиатуры — для теста группа учёных использовала MacBook Pro.

Новинки в мире нейросетей: Brain2Music, NerF, Pika Labs и многое другое
Так нейросеть видит различия между звуком набранной клавиши и его передачей через Zoom

«У языковых моделей есть политические взгляды — исследование», Tproger

Учёные из Вашингтонского университета, Университета Карнеги-Меллона и Сианьского университета Цзяотун изучили 14 языковых моделей на предмет их политических взглядов, реакции на дезинформирующие тексты и попробовали их «перевоспитать». Рафаил Агазода рассказал, какие модели оказались наиболее консервативными и что, по мнению учёных, можно сделать с политической предвзятостью.

Новинки в мире нейросетей: Brain2Music, NerF, Pika Labs и многое другое
Так расположились по шкале политических координат разные языковые модели. Кто по идеологическому мировоззрению ваша любимая нейросеть?

Новинки в мире нейросетей: Brain2Music, NerF, Pika Labs и многое другоеКурсы по теме

Power BI — узнаете, как подготавливать, анализировать и визуализировать данные с помощью Power BI

«Data Scientist: с нуля до middle» — построите карьеру в анализе данных и обучении нейронных сетей

Deep Learning — углубите свою экспертизу в работе с нейросетями

Что посмотреть

Голографический зоопарк

Компания Axiom Holographics открыла в Австралии первый зоопарк, животных которого можно увидеть только в специальных очках. Система отслеживает вашу локацию и с помощью графического движка Unlimited Detail генерирует животных (включая динозавров) и их места обитания.

Парк Юрского периода ещё никогда не выглядел настолько реалистично

Not quite reality

NerF — нейросеть от NVIDIA, которая создаёт 3D-сцены из двумерных изображений. С её помощью пользователь создал кинематографичное видео о локациях по соседству и искривил отдельные сцены — они эффектны.

Довольно сюрреалистичное зрелище 
    
            <p class=Полный текст статьи читайте на Нетология