ИИ на периферии · Обработка изображений · Локальное вычисление

Платформы Mini-ITX для периферийных вычислений с использованием искусственного интеллекта

Платформы Mini-ITX для локального вычисления, машинного зрения, видеоаналитики, робототехники и обработки данных с датчиков с заданными требованиями к моделям, среде выполнения, входным данным, памяти, энергопотреблению, теплоотводу, хранению данных и сети.

Платформы Edge AI Цитата об искусственном интеллекте на периферии
Платформа Mini-ITX для периферийных вычислений с использованием искусственного интеллекта и локального вывода

«Сначала модель и путь данных»

Определение конвейера Edge AI

При выборе аппаратного обеспечения для периферийного ИИ следует учитывать следующие факторы: операторы моделей, входные потоки, предварительную обработку, механизм вывода заключений, трафик памяти, последующую обработку, хранилище, сетевой выход, целевое значение задержки, ограничения по энергопотреблению и корпус.

Измерить реальную модель

TOPS не позволяет прогнозировать производительность приложения в одиночку. На задержку и пропускную способность могут в большей степени влиять поддержка оператора, точность, квантование, пропускная способность памяти, время выполнения, пакетная обработка, предварительная обработка и перемещение данных.

Отслеживать каждый входной поток

Перед расчетом мощности вычислительных ресурсов необходимо учесть количество камер или датчиков, разрешение, частоту кадров, кодек, синхронизацию, топологию USB или CSI, сетевой ввод данных, буферизацию и запись в хранилище.

Проверка стабильности работы

Короткие тесты могут скрыть признаки ограничения производительности. Измеряйте скорость вывода заключений, загрузку ЦП и ускорителя, использование памяти, температуру, энергопотребление, количество записей в хранилище и восстановление в условиях рабочего конвейера.

Умные устройства Интернета вещей → Умное производство →

Визуализация · Робототехника · Аналитика · Мониторинг

Профили приложений Edge AI

Первоначальная версия страницы была посвящена вопросам производственного контроля, аналитики розничной торговли, мониторинга сельского хозяйства и городских систем видеонаблюдения. Эти области применения по-прежнему остаются актуальными даже после удаления данных о производительности, точности, экономии и результативности, которые не подтверждены.

Контроль с помощью систем машинного зрения

Обработка видеопотоков с камер, расположенных рядом с производственным оборудованием. Задайте количество камер, метод запуска, экспозицию, предварительную обработку, модель, скорость вывода результатов, время отбраковки, хранение данных, управление освещением и интерфейс с оборудованием.

Аналитика видеоданных в розничной торговле

Запускайте локальное обнаружение, подсчёт, отслеживание или генерацию метаданных, если требования к конфиденциальности, пропускной способности или времени отклика делают предпочтительной обработку на периферии. Проверяйте кодек, потоки, модель, срок хранения и сетевой вывод.

Робототехника и автономность

Объедините камеры, датчики глубины, CAN, GPIO, системы локализации, системы восприятия окружающей обстановки и программное обеспечение управления. Разделяйте системы безопасности и системы управления движением до тех пор, пока не будет проведена аттестация всей архитектуры управления.

Удаленный мониторинг с использованием искусственного интеллекта

Применяйте локальное вычисление к данным об окружающей среде, сельском хозяйстве, инфраструктуре или оборудовании. Определите входные данные датчиков, радиосвязь, автономное буферирование, метод обновления модели, источник питания и автоматическое восстановление работы.

Модель · Время работы · Память · Тепловые характеристики

Требования к замкам перед выбором платформы

Перед выбором производственной платформы необходимо зафиксировать модель, архитектуру, входные потоки, целевые показатели задержки или пропускной способности, объем памяти, хранилище, сетевые возможности, возможности расширения, энергопотребление, систему охлаждения, корпус, метод обновления и жизненный цикл.

Требование Инженерная граница Проверка выпуска
Модель и среда выполнения Формат модели не гарантирует выполнение на ускорителе. Операторы, точность, квантование, версия времени выполнения, драйверы, формы тензоров, резервный путь, версия модели и процесс обновления.
Конвейер входных данных Само по себе разрешение камеры не определяет нагрузку при загрузке. Количество потоков, частота кадров, кодек, синхронизация, интерфейс захвата, путь декодирования, предварительная обработка, копирование в память и буферизация.
Эффективность вывода Пиковая производительность TOPS не равна пропускной способности приложения. Задержка, количество кадров в секунду, размер пакета, загрузка ускорителя, загрузка ЦП, трафик памяти, постобработка и продолжительность непрерывного тестирования.
Энергетика и теплотехника Нагрузка на ИИ может повлиять на энергетические ограничения системы. Режим работы процессора, загрузка ускорителя, система хранения данных, камеры, сеть, запас мощности, радиатор, воздушный поток, корпус, температура окружающей среды и поведение при ограничении производительности.
Управление развертыванием Версии оборудования, драйверов и моделей должны совпадать. Модификация платы, BIOS, BSP, драйверы, образ ОС, среда выполнения, модель, встроенное ПО, откат, сторожевой таймер, процесс PCN/EOL и регрессионные тесты.

Подтвержденные технические характеристики продукта →

Путь данных ИИ

Отслеживание данных от входа до выхода

Производительность ИИ зависит от всего конвейера обработки данных. Необходимо проводить комплексные измерения следующих этапов: прием данных с камеры или датчика, копирование в память, предварительная обработка, инференция, постобработка, хранение, вывод управляющих сигналов и передача по сети.

  1. Устройства вводаUSB, CSI, GigE, промышленные камеры, микрофоны, датчики глубины, данные оборудования и внешние устройства сбора данных
  2. Предварительная обработкаДекодирование, изменение размера, преобразование цвета, нормализация, объединение данных с датчиков, пакетная обработка, синхронизация и передача данных из памяти
  3. Механизм выводаЦП, встроенная графика, NPU, модуль Jetson, дискретный графический процессор или другой ускоритель, выбранный с учетом поддержки модели, прошедшей тестирование
  4. ПостобработкаОтслеживание, правила, фильтрация, визуализация, запись в базу данных, вывод данных, сигналы тревоги и генерация метаданных
  5. Уровень развертыванияЛокальное приложение, хранение данных, сетевой вывод, синхронизация с облаком, обновление моделей, механизм контроля работоспособности, откат и удаленное обслуживание

Эталонные платформы →

Камера · Сеть · Хранение данных · Расширение возможностей

Проверить правильность всего пути обработки данных ИИ

Создайте матрицу пути передачи данных, включающую интерфейс, контроллер, пропускную способность, источник линии, копирование данных в память, драйвер, синхронизацию, питание, запись в хранилище, исходящий трафик, механические ограничения и ответственное за данную функцию программное обеспечение.

USB-камеры и камеры CSI
Уточните количество камер, топологию «lane» или «hub», разрешение, частоту кадров, синхронизацию, кабель, пропускную способность, драйвер, способ запуска и процедуру восстановления после обрыва соединения.
GigE и сетевое видео
Моделируйте совокупную скорость передачи данных, топологию сетевых карт, нагрузку пакетов, маршрут коммутатора, синхронизацию времени, трафик восходящего канала, запись данных в хранилище и результаты одновременного вычисления.
NVMe и локальное хранилище
Оценка объёма, пропускной способности и автономности на основе наборов данных, записей, журналов, файлов моделей, пакетов обновлений, операций записи в базу данных, сроков хранения и поведения при потере питания.
Ускорители PCIe
Уточните поколение PCIe, ширину линии, источник линии, общие ресурсы, габариты платы, дополнительное питание, BIOS, драйвер, систему охлаждения и зазор в корпусе.
Сетевые технологии на периферии
Обеспечить отдельный прием сигнала с камер, управление трафиком, администрирование и передачу данных на вышестоящие уровни, где это необходимо. Проверить VLAN, пропускную способность, задержку, избыточность, политику безопасности и механизмы восстановления.
Теплоэнергетика
Оцените нагрузку на ЦП, НПУ, ГП, память, накопители, камеру и сетевые компоненты в совокупности. Проверьте запас мощности, тепловой контур, воздушный поток, температуру окружающей среды и ограничение производительности.

Параметры интерфейса USB → Параметры 10G Ethernet → Калькулятор энергопотребления →

Руководство по выбору платформы

Выбрать «Вычисления» по модели и конвейеру

Выберите ЦП, встроенный НПУ, Jetson или дискретный графический процессор после оценки совместимости модели, нагрузки потока, трафика памяти, целевой платформы для инференса, энергопотребления, тепловых характеристик, возможностей расширения, программной поддержки и срока службы.

Развертывание Отправная точка Логика отбора
Интегрированные рабочие нагрузки ЦП, графического процессора и нейропроцессора Платформы Intel Оцените, насколько программное обеспечение x86, обработка мультимедиа, встроенное ускорение, промышленные интерфейсы ввода-вывода и компактные механические компоненты соответствуют заданной конфигурации конвейера.
Системы машинного зрения и робототехники на базе Jetson Платформы NVIDIA Свяжите воедино модуль Freeze, топологию камер, систему хранения, режим питания, JetPack или BSP, карту ввода-вывода, систему теплоотвода и метод восстановления.
Смешанный интегрированный ИИ или ИИ на основе расширения Платформы, готовые к использованию искусственного интеллекта Сравнивайте фактические показатели поддержки моделей, задержки, пропускную способность, объем памяти, энергопотребление, программный стек, требования к PCIe, корпус и жизненный цикл, а не пиковые показатели ИИ.

Обзор разработки систем искусственного интеллекта на периферии

Приостановить производственный конвейер ИИ

Укажите модель, архитектуру, точность, потоки входных данных, целевое значение задержки, объем памяти, объем хранилища, сеть, ускоритель, энергопотребление, корпус, условия окружающей среды, образ ОС, способ обновления, жизненный цикл, количество и объем проверки.

Инженерная валидация

Часто задаваемые вопросы по SEO

Часто задаваемые вопросы об аппаратных решениях Edge AI

Что такое периферийный ИИ и как он работает?

Edge AI выполняет инференцию непосредственно рядом с камерами, датчиками или оборудованием, вместо того чтобы отправлять каждый входной сигнал в облако. Локальная обработка позволяет снизить входящий трафик, сократить пути отклика и обеспечить работу в автономном режиме.

ИИ на периферии и ИИ в облаке: в чём разница?

ИИ на периферии обрабатывает данные локально, тогда как облачный ИИ использует удаленные вычислительные ресурсы. Выбор подходящей архитектуры зависит от задержки, пропускной способности, требований к конфиденциальности, возможностей подключения, размера модели, частоты обновлений, стоимости и необходимости централизованного управления.

GPU или NPU для искусственного интеллекта на периферии: что лучше?

Графические процессоры (GPU) обеспечивают широкие возможности параллельных вычислений и обладают отлаженной средой выполнения. Нейронные процессоры (NPU) могут повысить эффективность работы поддерживаемых моделей. Перед выбором сравните поддержку операторов, точность, объем памяти, задержку, энергопотребление, драйверы и устойчивую производительность при обработке рабочих нагрузок.

Сколько процессоров TOPS требуется для периферийного ИИ?

Универсального целевого показателя TOPS не существует. Требуемая вычислительная мощность зависит от архитектуры модели, точности, операторов, количества потоков, разрешения, частоты кадров, предварительной обработки, целевого значения задержки, объема трафика памяти, времени выполнения и загрузки ускорителя.

Какое оборудование необходимо для периферийного ИИ?

Типичные системы нуждаются в вычислительных ресурсах, памяти, хранилище данных, интерфейсах для камер или датчиков, сетевых возможностях, источниках питания, системах охлаждения и поддерживаемом программном стеке. Для некоторых рабочих нагрузок также требуется NPU, модуль Jetson, GPU или ускоритель.

Опережайте события благодаря искусственному интеллекту и краевым знаниям

Читайте статьи, учебные пособия и руководства по граничным вычислениям, оптимизации нейронных сетей, аппаратным средствам для выводов ИИ и безопасности на границе с облаком.