Производительность процессора RK3588 определяет, сможет ли ваше устройство в реальном времени обрабатывать выводы ИИ без специального GPU. Для большинства задач промышленного зрения его 6 TOPS NPU обеспечивает более 50 кадров в секунду для YOLOv5s и эффективно заменяет модули NVIDIA Jetson начального уровня за счет баланса стоимости, мощности и интеграции входов/выходов.
Основные выводы
Бенчмарк производительности: RK3588 достигает 54+ FPS на YOLOv5s (INT8) и 244 FPS на ResNet18.
Точность имеет значение: 6 TOPS - это пиковая производительность INT8; производительность FP16 значительно ниже (~0,5 TFLOPS).
Рабочий процесс: Требуется RKNN-Toolkit2 для преобразования моделей и квантования.
Экономическая эффективность: Предлагает консолидированный подход SoC (CPU/GPU/NPU/ISP), который позволяет сократить общий объем производства по сравнению с дискретными AI-ускорителями.
Промышленная пригодность: Идеально подходит для работы с мощностью менее 10 Вт, когда требуется обработка нескольких камер.
Что на самом деле означает "производительность NPU RK3588"?
При оценке Производительность процессора RK3588Поэтому очень важно отличать маркетинговые "пиковые" цифры от реальности развертывания. В мире пограничных вычислений, TOPS (тера операций в секунду) является стандартной метрикой. Однако 6 TOPS в RK3588 специально оптимизированы для операций INT8 (8-битных целых чисел), которые часто встречаются в глубоком обучении выводам.
Если ваш проект требует высокоточных вычислений с плавающей точкой (FP32), NPU не подойдет - вы вернетесь к CPU или GPU, где производительность резко упадет. Для промышленного ИИ целью почти всегда является квантование: преобразование моделей в INT8, чтобы задействовать все 6 TOPS. Согласно Технические характеристики RockchipЭтот NPU состоит из трех независимых ядер, что позволяет гибко распределять задачи или параллельно обрабатывать несколько конвейеров моделей. Такая архитектура гарантирует, что RK3588 6 TOPS edge AI Возможности остаются стабильными даже при тепловом дросселировании, в отличие от чипов мобильного класса.
Бенчмарки в реальном мире: RK3588 6 TOPS Edge AI в действии
Чтобы понять, что RK3588 6 TOPS edge AI Чтобы доставить их, мы должны посмотреть на стандартные бенчмарки. Несмотря на то, что старшее поколение было надежной отправной точкой, наше детальное сравнение RK3588 против RK3399 производительность краевого ИИ Благодаря выделенному процессору NPU скорость вычислений увеличилась в 10 раз.
Таблица данных производительности (квантование INT8)
| Модель | Рамка | Задержка (мс) | FPS | Пример использования |
| ResNet18 | PyTorch | 4.09 | 244 | Проверка качества |
| YOLOv5s | ONNX | 18.5 | 54 | Обнаружение объектов |
| YOLOv8n | PyTorch | 15.2 | 65 | Отслеживание в режиме реального времени |
| MobileNetV2 | TF Lite | 5.0 | 200 | Распознавание жестов |
Источник данных: Составлено из CNX Software и внутренние лабораторные тесты ieeker.
Несмотря на то, что NPU отлично справляется с архитектурами на основе CNN, разработчики, изучающие Эталонный вывод RKNN-Toolkit2 Результаты покажут, что модели на основе трансформаторов (например, ViT) могут потребовать большей оптимизации. Тем не менее, для 90% промышленных циклов "обнаружения и действия" задержка в 15-20 мс, обеспечиваемая RK3588, вполне соответствует требованиям к автоматизации линейной скорости.
Освоение рабочего процесса бенчмарка RKNN-Toolkit2 Inference
Достижение пика Эталонный вывод RKNN-Toolkit2 Результаты требуют дисциплинированного конвейера развертывания. Инструментарий выступает в качестве связующего звена между популярными фреймворками, такими как PyTorch или TensorFlow, и аппаратным обеспечением Rockchip. Наиболее важным этапом является Анализ квантования.
Экспорт: Преобразуйте обученную модель в нейтральный формат (обычно ONNX).
Конверсия: Используйте RKNN-Toolkit2 для преобразования ONNX-файла в
.rknnдвоичный.Квантование: Предоставьте "калибровочный набор данных" (обычно 100-200 репрезентативных изображений).
Развертывание: Используйте API RKNN Runtime C++ или Python на плате.
Распространенной ошибкой является игнорирование "Поддержки оператора". Если ваша модель использует пользовательскую функцию активации, не поддерживаемую NPU, инструментарий перегрузит этот слой на CPU. Этот "CPU Fallback" может увеличить задержку на 500% или более. Всегда проверяйте свои слои по последним версиям Список оперативной поддержки Rockchip.
💡 Получите профессиональную оценку осуществимости ИИ
Не стоит гадать о производительности вашего проекта, основываясь только на исходных технических характеристиках. Наша команда инженеров предоставляет бесплатная услуга предварительной оценки модели. Получить индивидуальное предложение и техническую поддержку →
С заводского цеха: Задача квантования в реальном мире
В ходе недавней работы с производителем PCBA мы столкнулись с классической проблемой "точность против скорости". Клиент использовал ResNet50 основа для высокоскоростного обнаружения дефектов пайки. Как специалист в области Производство плат разработкиМы понимаем, что стабильность аппаратного обеспечения так же важна, как и оптимизация программного обеспечения.
Когда мы перешли на NPU RK3588, использующий стандартное квантование INT8, точность упала до 73%. Виновник? Калибровочный набор данных, использовавшийся при преобразовании RKNN, был слишком мал и не содержал "отрицательных" примеров (чистых плат).
Решение: Мы расширили калибровочный набор до 500 изображений и использовали Гибрид
КвантованиеФинальные слои с полным подключением работали в FP16, а тяжелые конволюционные слои - в INT8.
Результат: Точность вернулась к 88,9%, с задержкой 28 мс на плату, что удовлетворяет требованиям линейной скорости.
Пример проекта: 16-камерный интеллектуальный дорожный узел
Недавно мы реализовали узел управления городским движением, используя наш Промышленный компьютер RK3588В комплект поставки входит два интерфейса Gigabit Ethernet и PCIe для надежного развертывания на границе. Требовалось обработать 16 одновременных потоков 720P RTSP для определения номерных знаков и типов автомобилей.
Настройка оборудования:
Ядро: RK3588 (4x A76 + 4x A55)
НПУ: 6 TOPS (трехъядерный кластер)
Охлаждение: Алюминиевое шасси без вентилятора (пассивное)
Стратегия развертывания: Используя многоядерный NPU, мы назначили 5-6 потоков на каждое ядро NPU. Мы использовали обрезанный MobileNet-SSD архитектура, предназначенная для локализации номерных знаков.
Данные:
Пропускная способность: 18-20 FPS на канал по всем 16 каналам.
Потребляемая мощность: При полной нагрузке AI вся система потребляла всего 7,4 Вт.
Сравнение: Похожий известный международный случай Использование NVIDIA Jetson Orin NX (25 Вт) обеспечило более высокий FPS, но при этом потребовало в 3 раза больше затрат на оборудование и значительно большего тепловыделения, что потребовало бы активного охлаждения, а это нежелательно в пыльных придорожных шкафах.
Этот проект доказал, что для распределенных граничных узлов 6 TOPS RK3588 - это "сладкая точка" для баланса между многопоточной производительностью и тепловой надежностью.
Достаточно ли 6 TOPS? Матрица окончательного решения
Прежде чем выбрать оборудование, задайте эти три вопроса:
Ваша модель основана на CNN? Если да (YOLO, ResNet, SSD), то RK3588 отлично подойдет.
Каков ваш бюджет на задержку? Если вам нужно <10 мс для сложной модели YOLOv8l, вам может потребоваться ускоритель на 20+ TOPS, такой как Хайло-8.
Должна ли ваша система делать что-то большее, чем искусственный интеллект? Если вам также необходимо кодировать 4K-видео или запускать веб-сервер, восьмиядерный процессор RK3588 и 8K VPU сделают его лучше чипов, использующих только ИИ.
Если вы не уверены, что 6 TOPS достаточно для вашей модели, вы можете Получить цену и техническую оценку от нашей команды инженеров.
Заключение: Максимальное использование производительности NPU RK3588
Сайт Производительность процессора RK3588 является переломным моментом для промышленных вычислений, но только в сочетании с правильным инженерным подходом. Хотя "6 TOPS" - это цифра, вынесенная в заголовок, реальная ценность заключается в способности чипа обрабатывать высокоскоростные данные. INT8 Выводы при одновременном управлении видеопотоками 8K и сложными задачами ввода-вывода.
Для инженеров путь к успеху включает в себя надежную Эталонный вывод RKNN-Toolkit2 стратегия, сфокусированная на высококачественном квантовании и оптимизации работы операторов. Руководителям проектов он предлагает способ достижения результатов уровня Jetson по значительно более конкурентоспособной цене и в рамках ограниченного бюджета на электроэнергию. Независимо от того, создаете ли вы систему АОИ для фабрики или многопоточный монитор трафика, RK3588 обеспечивает возможности, необходимые для следующего поколения. развертывания ИИ на границе.
ЧАСТО ЗАДАВАЕМЫЕ ВОПРОСЫ
Вопрос: Можно ли запустить Llama-3 на RK3588?
О: Большие языковые модели (8B+) превышают возможности NPU по эффективной работе с памятью. Однако модели с параметрами 1B-2B, такие как TinyLlama или Qwen-1.8B, эффективно работают со скоростью ~15 токенов/с, используя Время выполнения RKLLM.
Вопрос: Поддерживает ли RK3588 технологию TensorFlow?
О: Да, через преобразование в ONNX или непосредственно через фронтенд RKNN-Toolkit2 TensorFlow.
В: Как NPU справляется с нагревом в промышленных условиях?
О: При полной загрузке 6 TOPS NPU добавляет примерно 2-3 Вт к потребляемой SoC мощности. В ieeker Безвентиляторное промышленное шасси позволяет поддерживать пиковую производительность при температуре окружающей среды до 60°C.
В: Где можно получить техническую поддержку для плат ieeker?
О: Посетите наш техническая поддержка плат ieeker страницу с документацией и скриптами RKNN.
Ссылки
Технические определения: TOPS (Tera Operations Per Second) - Википедия
Официальный инструментарий: Репозиторий GitHub Rockchip RKNN-Toolkit2
Отраслевые стандарты: Embedded Vision Alliance - бенчмаркинг процессоров
Контрольные показатели производительности: CNX Software - Тесты производительности ИИ Rockchip RK3588
Сравнительные данные: Технические характеристики NVIDIA Jetson Orin Nano
