Новая технология ночного видения позволяет ИИ видеть в кромешной тьме, как при дневном свете

Ночные хищники обладают укоренившейся сверхспособностью: даже в кромешной тьме они могут легко обозревать окрестности, нацеливаясь на вкусную добычу, спрятанную среди монохромного ландшафта.

Охота за следующим ужином — не единственное преимущество видения в темноте. Возьмите поездку по сельской грунтовой дороге безлунной ночью. Деревья и кусты теряют свою яркость и текстуру. Животные, перебегающие дорогу, превращаются в темные пятна. Несмотря на свою сложность при дневном свете, нашим глазам сложно воспринимать глубину, текстуру и даже объекты при тусклом освещении.

Неудивительно, что у машин возникает та же проблема. Несмотря на то, что беспилотные автомобили оснащены множеством датчиков, они все еще пытаются оправдать свое название. Они хорошо работают в идеальных погодных условиях и на дорогах с чистыми полосами движения. Но попросите машины ехать в сильный дождь или туман, в дыму от лесных пожаров или по дорогам без уличных фонарей, и они столкнутся с трудностями.

В этом месяце команда из Университета Пердью решила проблему плохой видимости. Сочетая тепловидение, физику и машинное обучение, их технология позволила системе визуального искусственного интеллекта видеть в темноте, как при дневном свете.

В основе системы лежат инфракрасная камера и искусственный интеллект, обученный на специальной базе данных изображений для извлечения подробной информации из заданного окружения — по сути, обучающийся картографированию мира с использованием тепловых сигналов. В отличие от предыдущих систем, технология, получившая название «обнаружение и определение дальности с помощью тепла» (HADAR), преодолела пресловутый камень преткновения: «эффект ореолов», который обычно приводит к размазыванию, призрачным изображениям, которые вряд ли полезны для навигации.

Предоставление машинам ночного видения помогает не только с автономными транспортными средствами. Подобный подход может также способствовать усилиям по отслеживанию диких животных с целью их сохранения или помочь в мониторинге температуры тела на больших расстояниях в загруженных портах в качестве меры общественного здравоохранения.

«HADAR — это особая технология, которая помогает нам видеть невидимое», — сказал автор исследования Сюэджи Ван.

Мы черпали вдохновение у природы для обучения беспилотных автомобилей. Предыдущие поколения использовали в качестве датчиков гидролокатор и эхолокацию. Затем появилось лидарное сканирование, при котором лазеры сканируют в нескольких направлениях, находят объекты и рассчитывают расстояние до них на основе того, насколько быстро отражается свет.

Несмотря на свою эффективность, эти методы обнаружения имеют огромный камень преткновения: их трудно масштабировать. Технологии являются «активными», то есть каждому агенту ИИ — например, автономному транспортному средству или роботу — необходимо будет постоянно сканировать и собирать информацию о своем окружении. Если на дороге или на рабочем месте находится несколько машин, сигналы могут мешать друг другу и искажаться. Общий уровень излучаемых сигналов также может потенциально повредить глаза человека.

Ученые давно искали пассивную альтернативу. Вот тут-то и приходят на помощь инфракрасные сигналы. Все материалы — живые тела, холодный цемент, картонные фигуры людей — излучают тепловую сигнатуру. Их легко фиксировать инфракрасными камерами либо в дикой природе для наблюдения за дикой природой, либо в научных музеях. Возможно, вы пробовали это раньше: подойдите, и камера покажет вас в двухмерном виде и то, как разные части тела излучают тепло на яркой шкале.

К сожалению, полученные изображения совсем не похожи на вас. Края тела размазаны, текстуры и ощущения трехмерного пространства мало.

«Тепловые снимки лица человека показывают только контуры и некоторый температурный контраст; нет никаких особенностей, создающих впечатление, будто вы увидели привидение», — сказал автор исследования доктор Фанглин Бао. «Эта потеря информации, текстуры и функций является препятствием для машинного восприятия с использованием теплового излучения».

Этот эффект ореолов возникает даже с самыми сложными тепловизионными камерами из-за физических особенностей.

Видите ли, от живых тел до холодного цемента, все материалы излучают тепловые сигналы. Точно так же вся окружающая среда также излучает тепловое излучение. При попытке получить изображение, основанное только на тепловых сигналах, окружающий тепловой шум смешивается со звуками, исходящими от объекта, в результате чего изображения становятся нечеткими.