Нейросеть для поиска внеземных сигналов приняла земные помехи за сигналы инопланетян
- Классификатор проверили на 15 000 внедрённых сигналов десяти типов и пяти уровней интенсивности в фоновых данных телескопа Грин-Бэнк.
- В одном тесте ложные срабатывания достигли 62,7% при полноте обнаружения настоящих сигналов 55,25%.
- Сравнение ON- и OFF-наблюдений снизило ложные срабатывания до 0,7%, но сохранило лишь 1,4% обнаруженных настоящих сигналов.
Почему это важно: Проверка на данных, похожих на обучающую выборку, не гарантирует надёжности при встрече с незнакомыми сигналами и разнообразными земными помехами.
Нейросеть, предназначенная для поиска возможных технологических сигналов внеземных цивилизаций, не смогла надёжно отличить некоторые земные радиопомехи от настоящих сигналов и пропускала часть искусственно внесённых техномаркеров.
Автор работы проверил обученный классификатор на 15 000 внедрённых сигналов десяти типов и пяти уровней интенсивности, используя реальные фоновые данные радиотелескопа Грин-Бэнк. В одном из тестов доля ложных срабатываний достигла 62,7% — сопоставимо с базовой полнотой обнаружения настоящих сигналов, составлявшей 55,25%.
Проблема проявилась и в поиске сигналов, отличающихся от привычной для модели узкой линии на спектрограмме. Например, классификатор обнаруживал сигналы S-образной формы с полнотой до 90%, тогда как импульсные сигналы и рассеянные всплески почти не отличал от фоновых данных. Более того, при увеличении интенсивности полнота обнаружения не всегда росла, а резко падала. Даже для узкой линии, похожей на сигнал, на котором модель обучали, показатель снизился с 59% при одном уровне интенсивности до 9% при более высоком. Причину этого эффекта автор пока не установил.
Ложные срабатывания объясняются ограничением входных данных. Классификатор анализировал только ON-панели — записи, сделанные при наведении телескопа на целевую звезду. Сравнительные OFF-панели, полученные при наблюдении в стороне от неё, модель не видела. Между тем именно сравнение ON и OFF позволяет проверить, связан ли кандидат с направлением на звезду или представляет собой земную помеху. Поэтому нейросеть оценивала сходство сигнала с известными ей образцами, но не могла установить его происхождение. Некоторые типы помех она отсеивала, однако помехи, похожие по форме на ожидаемый сигнал, принимала за кандидатов.
Автор также проверил фильтр, сравнивающий ON- и OFF-наблюдения после усреднения по времени. Для одного проблемного типа помех доля ложных срабатываний снизилась с 62,7 до 0,7%. Но фильтр одновременно отсеял почти все настоящие обнаружения: он сохранил лишь 1,4% обнаруженных реальных сигналов и 1,2% обнаруженных помех. Таким образом, фильтр не прошёл проверку: уменьшить число ложных тревог удалось, но не без сопоставимой потери полезных кандидатов. Усреднение, кроме того, ослабляло признаки дрейфующих сигналов, которые могли бы помочь при сравнении наблюдений.
Результаты не означают, что нейросети бесполезны в поиске внеземных технологий. Исследование показывает более узкую проблему: проверка на отложенных данных, похожих на обучающую выборку, не гарантирует надёжности при встрече с незнакомыми сигналами и разнообразными земными помехами. При этом эксперименты проводились с одной обученной моделью и синтетическими сигналами, внедрёнными в реальные фоновые записи. Следующий шаг — проверить другие варианты обучения и модели, которые анализируют не только форму кандидата, но и различия между ON- и OFF-наблюдениями с учётом изменения частоты сигнала во времени.
© iXBT
