Периферійний ШІ та TinyML
Миттєві відповіді, без рахунків за хмару та без даних, що покидають пристрій.
Коли продукт має реагувати тієї ж миті, як щось стається, похід до хмари надто повільний, надто дорогий і перестає працювати, щойно обривається зв’язок. Ми ставимо модель на сам пристрій — тож він відповідає за мілісекунди, продовжує працювати офлайн, а дані, які він зчитує, не мусять нікуди покидати руки клієнта. Це моделі з наших AI Labs, пристосовані вмістити мікроконтролер, Jetson чи NPU у вашому SoC.
01 / Що це вирішує
Миттєво помічайте, рахуйте й відстежуйте те, що важливо, у відеопотоці — від крихітного сенсора на Cortex-M до багатокамерної системи на Jetson.
Слова-активатори, голосові команди та звукові сповіщення опрацьовуються на пристрої, без надсилання аудіо будь-куди.
Прогнозоване обслуговування, розпізнавання жестів і активності зчитуються просто з бортових сенсорів.
Один цикл від даних до навчання, оцінювання на пристрої й оновлень по повітрю, тож продукт покращується в польових умовах.
02 / Стек
Галузеві стандарти, нудні у хорошому сенсі: інструменти з майбутнім, які знатиме й наступний інженер.
Середовища інференсу
TensorFlow Lite / LiteRT
Квантовані моделі на MCU та мобільних SoC
ONNX Runtime
Портативний інференс на CPU, GPU та NPU
TensorRT & DeepStream
Пайплайни зору з прискоренням на GPU на Jetson
Edge Impulse & TinyML
Швидка ітерація моделей для обмежених цілей
Цільове обладнання
Cortex-M with CMSIS-NN
Розпізнавання ключових слів і виявлення аномалій у кілобайтах
NVIDIA Jetson
Багатокамерний зір на периферії
Google Coral / Hailo
Виділені прискорювачі для низьковольтного інференсу
Qualcomm & NXP NPUs
Прискорення на SoC у серійних пристроях
Пайплайн моделей
PyTorch
Навчання, дистиляція та експорт
Quantisation & pruning
Моделі INT8 / INT4, що зберігають точність
Evals on-device
Точність, затримка й енергоспоживання, виміряні на цілі
OTA model delivery
Моделі доставляються й відкочуються, як прошивка
03 / Підхід
Затримка, пам’ять і споживаний струм вимірюються на реальному пристрої для кожної ревізії моделі.
Інференс із циклічним режимом роботи та прискорювачі, дібрані під той енергобюджет, який продукт справді має.
Сирі дані лишаються на пристрої; покидає його лише те, що потрібно продукту, — якщо взагалі покидає.
Дані з парку живлять навчання; краща модель повертається назад як звичайне оновлення.
04 / Стандарти
Ми дотримуємося галузевих стандартів і перевірених методів у кожному проєкті — саме завдяки їм оцінка залишається реалістичною.
05 / Інфраструктура
Start
Розкажіть, що вона має бачити, чути чи прогнозувати — і на якому обладнанні. Інженер відповість із чесним обсягом робіт і ціною.
Let’s manage або дослідіть AI Labs