ИИ ошибся в подсчёте кратеров Луны: проверка показала десятикратное падение точности
[unable to retrieve full-text content]
Учёные сравнили 8 популярных каталогов, созданных искусственным интеллектом, и выяснили, что заявленные показатели качества часто не выдерживают проверки по тем же критериям, которые применяют к работе человека
Учёные из Юго-Западного исследовательского института США (SwRI) провели крупнейшее на сегодняшний день сравнение каталогов лунных кратеров, созданных с помощью искусственного интеллекта, и обнаружили, что многие из них существенно переоценивают собственную точность. После проверки по единым научным критериям показатели качества некоторых алгоритмов оказались более чем в 10 раз ниже опубликованных значений.
Каталоги ударных кратеров являются одним из основных инструментов планетологии. По их количеству, размерам и распределению учёные определяют возраст поверхности Луны и планет. Поскольку небольшие астероиды падают с относительно постоянной частотой, более древние участки успевают накопить больше кратеров. Любые ошибки в каталоге напрямую влияют на датировку поверхности и реконструкцию геологической истории небесных тел.
Ожидалось, что автоматическое распознавание кратеров с помощью искусственного интеллекта способно заменить годы ручной работы и обработать объёмы данных, недоступные человеку. Однако исследователи решили проверить, насколько существующие алгоритмы действительно готовы к использованию в научных проектах. Для этого они сравнили 8 крупнейших каталогов Луны, созданных автоматическими методами, с эталонной базой данных, которую ведущий автор исследования Стюарт Роббинс составлял вручную на протяжении нескольких лет.
Источник: NASA / GSFC / Arizona State University / SwRI
Анализ показал, что результат сильно зависит от того, что считать правильно определённым кратером.
Для научных исследований недостаточно просто обнаружить некоторую «круглую структуру» — необходимо точно определить её координаты и диаметр. Многие алгоритмы засчитывали кратеры как успешно найденные, хотя они были смещены относительно реального положения, продублированы или имели неправильный размер. При использовании менее строгих метрик такие ошибки почти не влияли на итоговую оценку качества.
По словам авторов, подобные неточности способны серьёзно исказить научные выводы. Например, если алгоритм случайно продублирует часть кратеров, поверхность может показаться значительно старше, чем она есть на самом деле.
Дополнительная проверка показала, что некоторые каталоги хорошо работают только для кратеров определённого размера, но резко теряют качество при анализе более крупных или мелких структур. Поэтому единый итоговый показатель точности может скрывать серьёзные недостатки модели.
Авторы подчёркивают, что работа не ставит под сомнение перспективы искусственного интеллекта в планетологии. Она показывает необходимость единых стандартов оценки, прозрачных критериев проверки и независимой валидации результатов. По мнению исследователей, только после такой проверки ИИ сможет стать полноценным инструментом для построения научных каталогов, которые будут использоваться при изучении Луны, Марса и других тел Солнечной системы.
© iXBT
