NPU от Intel · AMD Ryzen AI · NVIDIA Jetson · Дискретный графический процессор

Платы Mini-ITX с поддержкой ИИ для пограничного вывода

Выберите архитектуру ИИ с учётом размера модели, поддержки ускорителей, объёма памяти, ввода-вывода данных с датчиков, времени выполнения, энергопотребления и тепловых характеристик.

  • Core Ultra · NPU OpenVINOКонфигурация «x86-процессор + графический процессор + нейронный процессор»
  • Ryzen Embedded 8000 · NPU XDNADDR5 + встроенное ускорение на базе искусственного интеллекта
  • Джетсон Орин · CUDA + TensorRTМодульная платформа искусственного интеллекта для периферийных устройств
Запросить проверку платформы искусственного интеллекта Сравнение технологий платформ
Платформа Mini-ITX с поддержкой ИИ для пограничного вывода, машинного зрения и робототехники

Выбор платформы искусственного интеллекта

Какая архитектура ИИ подходит для ваших рабочих нагрузок?

Начните с рассмотрения ограничений, связанных с моделью, временем выполнения, траекторией данных и развертыванием, а не с показателя TOPS, который часто фигурирует в заголовках.

Встроенный NPU · Компактная система искусственного интеллекта на базе x86 для периферийных устройств

Выберите процессор Intel Core Ultra или AMD Ryzen Embedded 8000 для приложений x86 с локальным ускорением NPU.

NVIDIA Jetson · Визуальное восприятие, робототехника и искусственный интеллект для сенсоров

Выбирайте NVIDIA Jetson, если ключевыми компонентами системы являются CUDA/TensorRT, JetPack, обработка данных с камер или робототехника.

Дискретный графический процессор · Больший объем видеопамяти и гибкость ускорителя

Выбирайте материнскую плату формата Mini-ITX с слотом PCIe x16, поддерживающим графический процессор, если модели требуется больше видеопамяти или возможность замены графического процессора.

M.2 / Дополнительный ускоритель · Специализированные вычисления

Используйте ускорители в виде надстроек только после того, как будут подтверждены работоспособность, пропускная способность, исправность драйверов, питание и охват операторов.

Просмотреть платы Edge AI и высокопроизводительные платы формата Mini-ITX →

Платформа · Параметры настройки

Перед выбором платы сравните варианты вычислительных путей ИИ

Ускоритель — это лишь одна из составляющих системы. От того, насколько эффективно он работает на практике, зависят такие компоненты, как память, ввод-вывод, среда выполнения, интерфейс PCIe, системы хранения данных, сетевые компоненты, система питания и система охлаждения.

Направление развития ИИ Представительная платформа Лучшая посадка Приоритет на уровне совета директоров
Встроенный нейропроцессор Intel (NPU) Core Ultra 5 125H · Процессор + графический процессор Arc + технология Intel AI Boost Промышленные интерфейсы человека-машины (HMI), системы машинного зрения, инференция на платформах x86, смешанные рабочие нагрузки с использованием ЦП, ГП и НП Память, OpenVINO, камера/канал передачи данных, PCIe/M.2, питание, охлаждение.
Встроенный NPU от AMD Ryzen Embedded 8840U · Zen 4 + Radeon + XDNA NPU Встроенные системы на базе архитектуры x86 с функциями искусственного интеллекта, машинного зрения, аналитики и высокой графической производительностью DDR5/ECC, Ryzen AI, маршрутизация PCIe, входы-выходы датчиков, система охлаждения.
NVIDIA Jetson Jetson Orin Nano / NX / AGX Orin Робототехника, искусственный интеллект с использованием нескольких камер, CUDA/TensorRT, интеграция данных с датчиков Модуль Exact, JetPack, ввод-вывод через CSI/USB/сеть, NVMe, режим питания, охлаждение.
Дискретный графический процессор Mini-ITX с поддержкой графического процессора и слотом PCIe x16 Более крупные модели, повышенные требования к объёму видеопамяти, платформы для настольных графических процессоров Сопоставление PCIe, размер графического процессора, блок питания, мощность слота, воздушный поток, общие ресурсы.

Сравнить эталонные платформы для архитектур искусственного интеллекта →

Основные технические характеристики

Типовые технические характеристики платформы искусственного интеллекта

В этих данных используются разные диапазоны ускорителя, и они не представляют собой рейтинг производительности.

Эталонная платформа Показатель ИИ Память / Пропускная способность Справочник по мощности Расширение / Ввод-вывод Основная среда выполнения
Intel Core Ultra 5 125H NPU 11 INT8 TOPS; общий пик — 33 INT8 TOPS Поддержка стандартов DDR5 / LPDDR5; топология платы может варьироваться 28 Вт в базовом режиме; 115 Вт в режиме турбо (макс.) До 28 линий PCIe процессора OpenVINO, ONNX Runtime, DirectML / Windows ML
AMD Ryzen Embedded 8840U НПУ XDNA производительностью до 16 TOPS DDR5-5600; двухканальный режим с ECC TDP 15–30 Вт 20 линий PCIe Gen4 Пути к программному обеспечению Ryzen AI / ONNX Runtime
Jetson Orin Nano 8 ГБ Super 67 разреженных / 33 плотных INT8 TOPS 8 ГБ LPDDR5; 102 ГБ/с Режимы 7, 15 и 25 Вт + MAXN Super Камера на несущей плате, NVMe, USB, сетевой интерфейс, PCIe JetPack, CUDA, TensorRT
Путь к дискретному графическому процессору Зависит от выбранного графического процессора, степени точности, степени разреженности и времени выполнения Видеопамять графического процессора + системная память Нагрузка на графический процессор + центральный процессор + плату + периферийные устройства Отображение слотов PCIe x16 и зазоры в корпусе зависят от конкретной системы Зависит от производителя графического процессора и используемой платформы

Приложения

Подбор аппаратного обеспечения ИИ с учетом рабочей нагрузки и конвейера обработки данных

Контроль с помощью систем машинного зрения

Выбирайте по количеству камер, разрешению, предварительной обработке, точности модели, задержке срабатывания и пропускной способности линии контроля.

Mini-ITX для машинного зрения →

Робототехника и автономные машины

При интеграции данных с датчиков, восприятии окружающей обстановки, навигации, контурах управления и задержках часто предпочтение отдается Jetson или более мощному ускорителю.

Mini-ITX для периферийных вычислений с использованием искусственного интеллекта →

Промышленные интерфейсы человека-машины (HMI) и локальная аналитика

Интегрированные NPU на базе архитектуры x86 подходят для систем Windows/Linux, в которых сочетаются графические возможности, промышленные интерфейсы ввода-вывода и умеренная локальная инференция.

Mini-ITX для промышленных интерфейсов человека-машины (HMI) →

Офлайн-генеративный ИИ

Размер модели, степень квантования, объем ОЗУ/видеопамяти, объем кэша KV, время выполнения, количество токенов в секунду, объем хранилища и тепловая нагрузка определяют, что лучше подойдет: Jetson или дискретный графический процессор.

Платформы Edge для подключенного и автономного ИИ →

Архитектура · Техническая реализация

Отслеживание рабочей нагрузки ИИ от входных данных до результата вывода

Плата, готовая к работе с ИИ, должна одновременно обеспечивать прием данных, вычисления, вывод результатов и охлаждение.

  1. Конвейер входных данныхВ систему поступают данные с устройств CSI, USB, GigE, LiDAR, по промышленным шинам, из систем хранения данных или по сети.
  2. Предварительная обработка данных ЦПДекодирование, изменение размера, фильтрация, управляющая логика и неоптимизированные операторы.
  3. Ускоритель ИИВстроенный NPU, графический процессор/DLA Jetson, дискретный графический процессор или дополнительный ускоритель выполняют поддерживаемые операторы.
  4. Память и хранениеВеса моделей, буферы, кэш «ключ-значение», наборы данных и журналы NVMe конкурируют за ресурсы памяти и хранилища.
  5. Время выполнения и развертываниеСвяжите среду выполнения ИИ с драйверами и ОС.
  6. Энергетика и теплотехникаРассчитайте мощность вычислительных ресурсов, объём хранилища, пропускную способность ввода-вывода и мощность системы охлаждения с учётом постоянной нагрузки.

Проектирование USB-камер и периферийных устройств ввода-вывода →

Основные технические аспекты

Пять требований, которые необходимо учесть перед выпуском аппаратного обеспечения для ИИ

Модель, точность и целевые показатели производительности
Определите модель, охват оператора, точность, размер партии, достоверность, задержку, пропускную способность и резервный путь.
Объем памяти и пропускная способность
Определите размеры модельных весов, буферов, кэша «ключ-значение», параллельных конвейеров, общей памяти, журнала NVMe и пространства для обновлений.
Камера, датчик и ввод данных
Настройка CSI, USB, GigE, триггера/синхронизации, ISP, разрешения, частоты кадров, кабеля, питания и ограничений на одновременное использование.
Среда выполнения вывода и программный стек
Зафиксировать среду выполнения, драйверы, контейнеры, ядро/BSP, преобразование моделей и поддерживаемые операторы.
Энергетический и тепловой баланс
Расчет мощности для обеспечения непрерывного питания системы, включая процессор, оперативную память, устройства хранения данных, сетевые карты, камеры, USB-устройства, потери в VRM, расход на охлаждение и корпус.

Рассчитать потребность в мощности для Mini-ITX →

Технические ограничения · Валидация

Не следует рассматривать показатели Headline AI как реальную производительность приложения

Область претензий Что это означает Что должна доказать реальная система
ТОПЫ Максимальная пропускная способность ускорителя при заданных условиях испытаний. Измеряйте FPS, задержку или количество токенов в секунду с учетом производственной точности, предварительной обработки, трафика памяти и устойчивой тактовой частоты.
Встроенный NPU Ускоритель, встроенный в корпус процессора. Целевая модель должна соответствовать поддерживаемым операторам; при использовании неподдерживаемых операторов может произойти переключение на ЦП или ГП.
Слот PCIe x16 Механический интерфейс расширения графического процессора. Проверьте ширину канала, поколение, мощность слота, размер графического процессора, блок питания, воздушный поток, а также общие ресурсы M.2/сетевой карты.
Количество интерфейсов камеры Доступные ресурсы CSI, USB или сетевые ресурсы. Одновременное количество потоков также зависит от каналов, концентраторов, провайдера интернет-услуг/декодера, пропускной способности памяти, хранилища, синхронизации и драйверов.
Работа ИИ без вентилятора Охлаждение без системного вентилятора в заданной конфигурации. Провести совместную квалификацию по следующим параметрам: условия окружающей среды, корпус, теплоотвод, длительная нагрузка ускорителя, тепловыделение при хранении/NIC и регулирование производительности.

Ограничения при проектировании системы охлаждения для ИИ-устройств без вентиляторов →

Руководство по выбору

Выберите платформу искусственного интеллекта с учетом основного ограничения

Основное требование Рекомендуемая отправная точка Рассмотрите возможность использования другой архитектуры, если
Программное обеспечение для архитектуры x86 + искусственный интеллект средней сложности + OpenVINO Платформа Intel Core Ultra с NPU Недостаточная пропускная способность оператора, объём памяти или производительность.
x86-архитектура с искусственным интеллектом + графический процессор Radeon + NPU XDNA Платформа AMD Ryzen Embedded 8000 Для выполнения этой задачи требуется CUDA/TensorRT или больше памяти ускорителя.
CUDA/TensorRT, камеры, робототехника, искусственный интеллект на периферии NVIDIA Jetson Модели требуется больше видеопамяти, возможность замены графического процессора или архитектура x86.
Мощные модели / настольные графические процессоры со сменными модулями Дискретные материнские платы формата Mini-ITX с поддержкой графического процессора Размер графического процессора, потребляемая мощность слота, блок питания, воздушный поток или корпус не соответствуют требованиям.
Ускоритель пока не выбран Сначала проведите тестирование реальной модели Выбор следует производить только после проведения измерений задержки, точности, объёма памяти, энергопотребления, производительности канала передачи данных, совместимости с текущей версией и стоимости системы.

Перед окончательным выбором проверьте запас тепловой мощности ИИ →

Анализ настроек ИИ

Проверьте конфигурацию оборудования для ИИ

Укажите модель, степень точности, целевые показатели задержки/FPS, ускоритель, камеры или датчики, объем памяти, объем хранилища, сетевые возможности, среду выполнения, энергопотребление, корпус, температурный режим и количество.

Отправить требования к аппаратному обеспечению ИИ

Индивидуальная настройка · Техническая поддержка

Настройте маршрут передачи данных ИИ с учетом особенностей рабочей нагрузки

Настройте плату, если для конкретной задачи требуются другие входы-выходы датчиков, маршрутизация ускорителей, программное обеспечение, система питания, охлаждение или механическая конструкция.

Ускорение и расширение

Встроенный NPU, модуль Jetson, графический процессор PCIe, ускоритель M.2, маршрутизация линий, питание и стратегия замены.

Техническая нормативная база

Официальные рекомендации по выбору аппаратного обеспечения для искусственного интеллекта

ЧАСТО ЗАДАВАЕМЫЕ ВОПРОСЫ

Часто задаваемые вопросы о платформах Mini-ITX, готовых к использованию искусственного интеллекта

Сколько TOPS мне понадобится для периферийного ИИ?

Универсального целевого показателя TOPS не существует. Проведите сравнительный анализ реальной модели с учетом требуемой точности, времени выполнения, целевых показателей задержки/FPS, режима энергопотребления и устойчивых температурных характеристик.

Что выбрать: NPU, Jetson или дискретный графический процессор?

Выбирайте с учетом поддержки моделей, объема ОЗУ/видеопамяти, программного стека, ввода-вывода датчиков, задержки, энергопотребления, тепловых характеристик и потребностей в модернизации.

Позволяет ли TOPS прогнозировать частоту кадров при вычислении?

Нет. Число кадров в секунду (FPS) и задержка также зависят от операторов, точности, пропускной способности памяти, предварительной обработки, эффективности выполнения, режима питания и ограничения производительности.

Может ли материнская плата формата Mini-ITX, поддерживающая искусственный интеллект, работать с несколькими камерами?

Да, если плата оснащена соответствующими интерфейсами CSI, USB или сетевыми портами и обладает достаточными возможностями декодирования, объемом памяти, возможностями синхронизации, питанием и теплоотводом.

Можно ли «заморозить» программный стек ИИ для использования в производственной среде?

Да. Зафиксируйте версии ОС/BSP, драйверов, среды выполнения, контейнеров, OTA/режима восстановления, версию модели и ревизию аппаратного обеспечения, а затем проведите регрессионное тестирование производственной нагрузки.

Изучите инженерные идеи для встраиваемых систем с поддержкой искусственного интеллекта

Будьте в курсе практических знаний о проектировании, основанных на реальном внедрении ИИ на границе. Наши редакционные материалы посвящены выбору NPU, оптимизации конвейеров технического зрения, настройке ввода-вывода для датчиков ML и управлению платами ИИ, критичными для жизненного цикла. Независимо от того, разрабатываете ли вы роботизированные системы управления, автономные инспекционные устройства или компактные терминалы технического зрения, наш блог предоставляет техническим покупателям и инженерным командам рекомендации, необходимые для создания систем, готовых к работе с искусственным интеллектом, которые работают под давлением.