HADAR придает глубину и текстуру «призрачным» тепловым изображениям

Если автономные транспортные средства и роботы когда-либо станут безопасными и эффективными, им необходимо воспринимать свое окружение. Им также необходимо уметь предсказывать поведение объектов вокруг них — будь то другие роботы, транспортные средства или даже люди — и планировать свои пути и принимать соответствующие решения. Другими словами, им нужно машинное зрение.

Традиционно машинное зрение осуществляется с помощью комбинации камер и датчиков, включая радар, гидролокатор и лидар. Но машинное зрение также часто зависит от тепла. «Тепловое излучение исходит от всех объектов, температура которых отлична от нуля», — говорит Зубин Джейкоб, профессор электротехники и вычислительной техники в Университете Пердью. «Листья, деревья, растения, здания — все они излучают тепловое излучение, но поскольку это невидимое инфракрасное излучение, наши глаза и обычные камеры не могут его увидеть». Но поскольку тепловые волны постоянно рассеиваются, изображениям, создаваемым инфракрасными камерами, не хватает специфичности материала, в результате чего получаются туманные, «призрачные» изображения без глубины и текстуры.

В качестве альтернативы «призрачным» изображениям Джейкоб и его коллеги из университетов Пердью и штата Мичиган разработали метод обнаружения и определения дальности с использованием тепла (HADAR), который разрешает беспорядочные тепловые сигналы, чтобы «увидеть» текстуру и глубину. В ходе эксперимента, подтверждающего концепцию, они продемонстрировали, что дальность действия HADAR в ночное время так же хороша, как стереовидение RGB днем. Их работа была опубликована 26 июля в журнале Nature.

Люди видят богатое разнообразие цветов, текстур и глубины днем ​​или в условиях достаточного освещения, но даже в тусклых или темных ситуациях вокруг отражается множество тепловых фотонов. Хотя люди этого не видят, «это ограничение не обязательно применимо к машинам», — говорит Джейкоб, — ​​«Но нам нужно было разработать новые датчики и новые алгоритмы для использования этой информации».

Для своего эксперимента исследователи выбрали открытое пространство в болотистой местности, вдали от дорог и городского освещения. Они собрали тепловые изображения в инфракрасном спектре почти на 100 различных частотах. И так же, как каждый пиксель в изображениях RGB кодируется тремя видимыми частотами (R — красный, G — зеленый, B — синий), каждый пиксель в эксперименте был помечен тремя теплофизическими атрибутами: TeX — температура (T), отпечаток материала. или излучательная способность (e), а также текстура или геометрия поверхности (X). «Т и е достаточно хорошо изучены, но ключевое понимание текстуры на самом деле кроется в X», — говорит Джейкоб. «X — это на самом деле множество маленьких солнышек в вашей сцене, которые освещают конкретную область ваших интересов».

Исследователи передали всю собранную информацию TeX в алгоритм машинного обучения для создания изображений с глубиной и текстурой. Они использовали то, что они называют разложением TeX, чтобы распутать температуру и коэффициент излучения, а также восстановить текстуру из теплового сигнала. Упорядоченные атрибуты T, e и X затем использовались для разрешения цветов с точки зрения оттенка, насыщенности и яркости так же, как люди видят цвет. «В ночное время, в кромешной тьме, наша точность была такой же, как и тогда, когда мы вернулись днем ​​и выполнили определение дальности и обнаружение с помощью RGB-камер», — говорит Джейкоб.

Самым большим преимуществом HADAR является то, что он пассивен, добавляет Джейкоб. «Это означает, что вам не нужно освещать сцену лазером, звуковыми волнами или электромагнитными волнами. Кроме того, при активных подходах, таких как лидар, гидролокатор или радар, если на месте действия много агентов, между ними может возникнуть много перекрестных помех».

По словам Джейкоба, HADAR, как новая технология, находится на довольно ранней стадии. В настоящее время сбор данных занимает почти минуту. Для сравнения, например, беспилотному транспортному средству, движущемуся ночью, потребуется отображать окружающую среду за миллисекунды. Кроме того, камеры, необходимые для сбора данных, громоздки, дороги и потребляют много энергии: «Отлично подходят для научной демонстрации, но не совсем для широкого внедрения», — говорит Джейкоб. В настоящее время исследователи работают над этими проблемами, и Джейкоб предсказывает, что еще несколько лет исследований будут направлены на их решение.