Сам себе орнитолог — нейросеть поможет распознать птиц по их пению
Расскажем о проекте, который используют орнитологи-любители и ученые, и библиотеках с записями тысяч песен пернатых — в том числе для коммерческого использования.
Фотография: Ray Hennessy. Источник: Unsplash.com
Птичьи спектрограммы
Есть множество исследовательских проектов, посвящённых анализу птичьих голосов. Таким образом ученые стремятся оценить популяцию и качество жизни животных в отдельных регионах. Нередко орнитологи записывают длинные аудиозаписи со звуками природы, а затем занимаются классификацией на слух.
Чтобы автоматизировать этот процесс, специалисты из Лаборатории орнитологии при Корнеллском университете в США разработали нейросеть BirdNET. Она идентифицирует более 3 тыс. птичьих видов по спектрограмме их пения. Система помещает результаты на единую карту, которая помогает орнитологам следить за популяцией животных.
Работу алгоритма можно оценить на официальном сайте проекта — он анализирует живое аудио с микрофона, установленного на природе. В аудиопотоке встречаются голоса красноплечего трупиала, канадской казарки, болотного воробья и других пернатых. Также есть демо, куда можно загрузить собственную аудиозапись для анализа.
Поработать с нейросетью можно не только в браузере. Приложение запускается как на Raspberry Pi, так и домашнем ПК — в частности, под Ubuntu и Windows. Инструкция по настройке для открытой операционной системы приведена в репозитории на GitHub. Что касается Windows, то достаточно скачать и распаковать zip-архив и начать работу as is.
Еще разработчики выпустили мобильное приложение. Оно позволяет записать птичье пение на микрофон, выделить наиболее отчетливый фрагмент и отправить на распознавание. Но поскольку алгоритм восприимчив к посторонним шумам, лучше записывать пернатых рано утром или поздно вечером.
Кто использует разработку
Нейросеть BirdNET уже легла в основу нескольких исследовательских проектов. Например, в рамках инициативы BirdWeather энтузиасты строят карту с местами обитания птиц. По всему миру установлены десятки акустических станций, которые мониторят природные зоны и идентифицируют птичьи голоса.
Другой проект — BirdNET-Pi — позволяет превратить компактный компьютер Raspberry Pi в мобильную орнитологическую станцию. Анализ акустической среды происходит с помощью звуковой карты, подключенной по USB. Аналогичную систему развивают авторы ecoPi: Bird при поддержке Федерального министерства окружающей среды Германии. Это — сеть автономных систем мониторинга птичьих голосов в лесах по стране.
Больше «птичьих» проектов
Один из резидентов Hacker News в тематическом треде отметил, что масштабная система на базе нейросети BirdNET в перспективе позволит визуализировать миграцию пернатых. Однако подобные проекты уже существуют — например, open source система Vesper для мониторинга так называемых nocturnal flight calls (NFC). Это — звуки, которые издают птицы во время ночных полетов, чтобы координировать свои движения.
Проект достаточно молодой и не готов к масштабным внедрениям, но в будущем его смогут использовать как орнитологи-любители, так и ученые-биологи.
Фотография: Mehdi Sepehri. Источник: Unsplash.com
Другой проект — Terra. Это — специальное устройство, предназначенное для установки на заднем дворе загородного дома. Оно мониторит акустический фон, распознает пение обитающих рядом птиц и фиксирует животных с радиометками. Далее, информация поступает в общую базу данных для дальнейших исследований.
Есть проекты, которые стремятся не визуализировать перемещение птиц, но сохранить их голоса для потомков. О некоторых таких проектах мы рассказывали в одном из наших прошлых материалов. Так, Служба национальных парков США формирует акустическую библиотеку Rocky Mountain Sound Library, в каталоге которой уже более двухсот аудиозаписей птиц и диких животных. К слову, все звуки можно скачивать и свободно использовать в коммерческих целях.
Аналогичный свод данных формируют в Корнеллской лаборатории орнитологии. В их медиатеке сотни тысяч записей звуков, издаваемых птицами, рептилиями и насекомыми. Все они применяются для исследовательских и образовательных задач.
О чем еще мы пишем в нашем «Мире Hi-Fi»:
