Открытые стандарты, обеспечивающие будущее встроенного машинного зрения

Открытые стандарты упрощают взаимодействие между критически важными технологиями, сокращая затраты на разработку продукта и время выхода на рынок, одновременно ускоряя инновации в отрасли.

Чтобы узнать о последних достижениях в этой области, IMVE недавно выбрала мозгЛоран Пиншар, основатель Ideas on Board и член новой рабочей группы, занимающейся внедрением стандарта видения под эгидой Khronos Group.

IMVE: Какова история вашей организации?

ЛП: Являясь некоммерческой организацией по стандартизации, объединяющей около 200 компаний-членов, The Khronos Group стремится разрабатывать и развивать открытые, бесплатные стандарты совместимости на благо отрасли. Наш слоган «Подключите программное обеспечение к кремнию» отражает нашу миссию по обеспечению ключевых рынков своевременными и эффективными стандартными API, которые позволяют программным приложениям, библиотекам и механизмам использовать возможности кремниевого ускорения для требовательных сценариев использования, таких как 3D-графика, параллельные вычисления и расширенные возможности. и виртуальная реальность, обработка изображений и вывод.

Компании-члены группы «Хронос»

Мы — организация, управляемая членами, которая считает, что открытые стандарты, не контролируемые и не зависящие от какой-либо отдельной компании, часто могут быть основой непрерывного прогресса отрасли по мере того, как технологии, платформы и рыночные позиции меняются и развиваются.

IMVE: Какие существующие стандарты разработаны участниками Khronos?ЛП: Семейство открытых стандартов, активно разрабатываемое Khronos, включает API-интерфейсы 3D-ускорения, такие как OpenGL и API нового поколения Vulkan GPU; инициативы по стандартам 3D-форматов, включая glTF для ресурсов и KTX для текстур; стандарт OpenXR API для портативной дополненной и виртуальной реальности; и семейство API и языков для параллельных вычислений, ускорения машинного зрения и вывода, включая OpenCL, SYCL, SPIR-V и OpenVX, а теперь новый API встроенной камеры Kamaros, который сейчас находится в разработке.

IMVE: Существуют ли альтернативные версии какого-либо из этих стандартов для различных приложений?

ЛП: Да. Khronos также имеет опыт адаптации основных API-интерфейсов ускорения для рынков, где безопасность критически важна. Vulkan SC является производным от Vulkan API и предназначен для оптимизации сертификации безопасности систем, использующих ускорение графического процессора, позволяя разработчикам систем предоставлять пакеты сертификационных свидетельств с меньшими затратами и усилиями. OpenVX имеет профиль, критичный к безопасности, который позволяет быстро развертывать обученные модели нейронных сетей.

Наконец, недавно созданная рабочая группа по критической безопасности Khronos SYCL изучает отраслевые требования к общему API параллельного программирования для ускоренных вычислений с использованием стандартной модели программирования SYCL на C++ с единым исходным кодом на рынках, где безопасность критически важна. SYCL SC устранит разрыв между API-интерфейсами низкого уровня, такими как Vulkan SC, и языком высокого уровня C++, чтобы упростить разработку и сертификацию безопасности систем, включающих сложное ускорение параллельной обработки, включая конвейеры искусственного интеллекта и машинного обучения.

IMVE: Какие организации участвуют в рабочих группах Хроноса?

ЛП: Если использовать в качестве примера рабочую группу SYCL SC, эта рабочая группа уже получила поддержку со стороны лидеров отрасли, включая AMD, Arm, Суперкомпьютерный центр Барселоны, Codeplay, CoreAVI, Intel, Intellias, Mercedes-Benz и Qualcomm Technologies Inc. Все члены Khronos могут участвовать в любой рабочей группе, а членство в Хроносе открыто для всех. Хронос тепло приветствует любую компанию, желающую принять участие.

Активные рабочие группы по стандартизации Khronos

IMVE: Почему необходим стандарт API встроенной камеры?

ЛП: Сложные подсистемы камер приобретают все большее значение на различных рынках, таких как робототехника, автономное вождение, цифровые двойники, а также виртуальная и дополненная реальность, где обработка изображения, часто использующая машинное обучение, используется для понимания окружающей среды, процессов, объектов и пользователей. Следовательно, все большее количество и разнообразие датчиков и связанных с ними процессоров обработки изображений (ISP) тесно интегрируются с ускорителями машинного зрения и вывода в автономных встроенных системах.