End-to-end
Akwizycja danych, modele, inferencja, embedded software, projekt hardware i integracja systemu. Nic nie leci przez ścianę do innego dostawcy.
TURNING DATA INTO MOTION
AI, które działa
w realnym urządzeniu.
Prowadzimy sztuczną inteligencję od surowych danych do działającego produktu: sensory, zbiory danych, modele, embedded software, sprzęt i integracja. Jeden zespół, od początku do końca, bez przerzucania odpowiedzialności między dostawcą data science i dostawcą elektroniki.
F1 0.99bezdotykowy HMI na sensorze ToF
22x23 mmcała płytka radaru mmWave
-60%redukcja BOM modułu optycznego
TEZA, KTÓRA ODRÓŻNIA NAS OD RESZTY RYNKU
Najtrudniejszy w projekcie embedded AI jest dataset, nie model.
W sześciu z siedmiu reprezentatywnych projektów, które dowieźliśmy, wąskim gardłem nie był wybór architektury sieci. Był brak danych. Danych, które jeszcze nie istniały, bo nikt nigdy nie zmierzył tego zjawiska tym sensorem w tych warunkach. Dlatego budujemy urządzenia do zbierania danych, jeździmy w pole na kampanie pomiarowe i syntezujemy to, czego nie da się nagrać. Firma, która dowozi Wam notebooka z modelem, tego etapu nie robi.
6/7
PROJEKTÓW, W KTÓRYCH DANE BYŁY TRUDNIEJSZE NIŻ MODEL
DLACZEGO ACTUON
Od problemu do działającego systemu.
Nie kończymy na modelu AI. Projektujemy cały łańcuch potrzebny, aby rozwiązanie działało na docelowym urządzeniu.
Edge first
Domyślny cel to mikrokontroler albo SoC, nie centrum danych. Miliwaty i kilobajty, a wynik mierzymy w latencji i dokładności na realnym sprzęcie, nie na wykresie.
Dane są częścią produktu
Budujemy urządzenia pomiarowe, prowadzimy kampanie w terenie i syntezujemy dane w Unity3D oraz Unreal Engine, gdy zbioru jeszcze nie ma.
Tylko senior engineering
Trzon zespołu to specjaliści z długim przebiegiem przemysłowym w embedded, wizji, optyce, przetwarzaniu sygnałów, radarze i projektowaniu sprzętu.
KOMPETENCJE
Technologia, która widzi, słyszy i reaguje.
Każda kompetencja z przykładem realnego wyjścia z systemu, nie z ikonką. Rozwiń, jeśli chcesz zobaczyć, czym to jest zrobione.
WIZJA
Computer Vision
Inspekcja i kontrola jakości, HMI i rozpoznawanie gestów, nawigacja i detekcja przeszkód dla maszyn ciężkich, tracking obiektów i osób, monitoring, inteligentna rzeczywistość rozszerzona.
Głębia techniczna
Modele
- Detekcja i liczenie obiektów, segmentacja, tracking czasowy, estymacja pozy
- Detekcja osób z radaru 60 GHz, czyli wizja bez kamery tam, gdzie kamera jest problemem prywatności
- Klasyczna wizja tam, gdzie sieć jest przesadą: segmentacja lokalna, środek masy, filtry morfologiczne
Dane, gdy ich nie ma
- Hiper-realistyczne wirtualne środowiska w Unity3D i Unreal Engine do generowania danych treningowych na żądanie
- GAN-y do augmentacji i syntezy, manipulacja kształtem, pozycją i kolorem metodami klasycznymi
Stos
TensorFlow PyTorch ONNX Runtime OpenGL Unity3D Unreal Engine Python C++
INFERENCJA
Embedded AI
Sprowadzamy modele na sprzęt, który już macie: mikrokontroler w obudowie produktu albo aplikacyjny SoC. Mierzymy latencję, pamięć, pobór energii i dokładność na docelowej płytce, nie w notebooku.
Głębia techniczna
Aplikacyjny SoC
- Inferencja na Qualcomm SNPE i Hexagon DSP/NPU, oraz na NXP i.MX8M
- ONNX Runtime z backendem QNN albo delegatem TFLite, modele wdrażane przez Qualcomm AI Hub
- Kompresja, kwantyzacja i distillation modeli, pre- i post-processing ekstrakcji cech, akceleracja shaderami OpenGL
Mikrokontroler
- TensorFlow Lite for Microcontrollers, kwantyzacja dynamiczna po treningu i quantisation-aware training
- Pruning nieustrukturyzowany, trening na urządzeniu pod budżet latencji i pamięci
- Wycinanie nieużywanych operatorów z builda, optymalizacja cech i architektury pod konkretny układ
Stos
SNPE QNN Hexagon NPU TFLite Micro ONNX Runtime Zephyr RTOS C C++ Rust
SENSORYKA
Sensoryka i fuzja danych
Kamery RGB i IR, radar mmWave i 60 GHz, ToF, IMU, GNSS/RTK, sensory środowiskowe i PMx łączone w jedno wyjście decyzyjne. Dobieramy sensor, projektujemy front-end i budujemy urządzenie, którym zbierzemy dane.
Głębia techniczna
Zastosowania, które dowieźliśmy
- Predictive maintenance i monitoring stanu systemu, detekcja stanu w locie i w ruchu
- Kalibracja czujników pyłu PMx i prognozowanie jakości powietrza
- Detekcja wyważania drzwi i rozwiercania zamka z danych IMU, detekcja wtargnięć
- Radar pasywny: detekcja i tracking obiektów nisko obserwowalnych na iluminatorach okazjonalnych FM, DAB i DVB-T, geolokacja RF metodami TDOA i AOA
Pozycjonowanie
- RTK-GNSS z korektami NTRIP z krajowej sieci referencyjnej, warstwa precyzyjna na znaczniku wizyjnym albo tagu RFID dalekiego zasięgu
Stos
mmWave 60 GHz ToF IMU RTK-GNSS Modbus RTU / RS485 SDI-12 LoRaWAN NB-IoT BLE
AUDIO
Mowa, dźwięk i akustyka
Wake-word i keyword spotting, rozpoznawanie mowy, poprawa jakości sygnału i redukcja szumu, detekcja zdarzeń akustycznych, diaryzacja i weryfikacja mówcy, zastosowania biomedyczne oraz modele językowe.
Głębia techniczna
Dorobek
- Synteza mowy w czternastu językach europejskich
- Zgłoszenie patentowe na uwierzytelnianie głosem, sześć publikacji recenzowanych
- Modelowanie akustyczne i językowe, zaawansowany DSP, akustyka pomieszczeń, music information retrieval
Synteza danych audio
- Nagrania w studiu i w terenie, konwersja głosu i TTS, renderowanie scen i ambiencji dla naturalnej symulacji pola dźwiękowego
- Korekcja, filtracja i pogłos przez splot z odpowiedzią impulsową oraz ray tracing
Stos
PyTorch TensorFlow CUDA MPI/OpenMP Max/MSP PureData SuperCollider FMOD Wwise
OPTYKA
Optyka i metrologia bliskiego zasięgu
Obrazowanie makro, sterowane doświetlanie, obrazowanie multispektralne i metrologia optyczna tuż przy obiekcie. Projektujemy tor optyczny razem z mechaniką, uszczelnieniem i kalibracją radiometryczną.
Głębia techniczna
Konsolidacja toru optycznego
- Osiem do dziewięciu dedykowanych korpusów kamer sprowadzone do dwóch, jednego kolorowego i jednego monochromatycznego, obsługujących pięć ścieżek optycznych. BOM w dół o 55 do 60 procent.
- Wspólny korpus: sensor 1 cal, 24 Mpx, global shutter, klasa przemysłowa machine vision (Basler, Framos)
- Korpus mono z apochromatem VIS-NIR 25 mm i motoryzowanym kołem filtrowym, cztery do pięciu filtrów interferencyjnych wąskopasmowych około 720, 760, 800 i 970 nm
Parametry, które wymuszają inżynierię
- GSD do około 0,035 mm na piksel przy głębi ostrości rzędu 18 mm, więc ostrość sterowana aktywnie silnikiem albo soczewką cieczową
- Stroboskopowe doświetlanie LED w czterech strefach, filtr polaryzacyjny i wzorzec odbicia w kadrze do kalibracji radiometrycznej (PTFE lub Spectralon)
- Obudowa szczelna, minimum IP65, docelowo IP67, koło filtrowe w środku za nieruchomym okienkiem optycznym, powierzchnia zmywalna dla bioasekuracji między polami
Stos
GigE Vision MIPI CSI-2 M12 X-code LEMO K / REDEL SP Fischer IP68 NDVI / NDRE / CIre
SPRZĘT
Hardware, embedded software i integracja
Projekt sprzętu niskomocowego i niskoczęstotliwościowego: front-endy sensorowe, zasilanie, mocowania i obudowy szczelne. Do tego software na docelowym układzie i integracja całości w produkt.
Głębia techniczna
Software na aplikacyjnym SoC
- Qualcomm Android Stack, w tym własna modyfikacja display pipeline i optymalizacja wydajności graphics pipeline
- AOSP, embedded Linux z buildami na Yocto, Qualcomm Linux z QIRP SDK, stosy software NXP
Software na mikrokontrolerze
- Stosy ARM MCU od ST, TI i Nordic, w większości na Zephyr RTOS, plus stosy BLE
- Rust tam, gdzie pracujemy nad warstwą sterującą i integracją systemu, a klasy błędów pamięciowych są kosztowne: wymuszona własność zasobów i brak niezdefiniowanego zachowania bez narzutu runtime, obok istniejącego kodu C i C++
Integracja
- Pełna integracja systemu na docelowym sprzęcie, integracja Raspberry Pi, budowa i operowanie dronami
Stos
Zephyr RTOS Yocto AOSP QIRP SDK Rust C C++ BLE
STOS TECHNOLOGICZNY
Czym to jest zrobione, bez owijania.
Pełna lista, a nie hasła marketingowe. Jeśli czegoś tu nie ma, to znaczy, że tego nie robiliśmy.
- Języki
- Python, C, C++, Rust, Matlab
- Frameworki i runtime ML
- TensorFlow, TensorFlow Lite, TensorFlow Lite for Microcontrollers, PyTorch, ONNX i ONNX Runtime, Qualcomm SNPE i Neural Processing SDK, QNN, Qualcomm AI Hub, shadery OpenGL, CUDA
- Platformy SoC
- Qualcomm (SNPE, Hexagon NPU, Spectra ISP, QCS6490, Dragonwing IQ-6, IQ-9075, RB3 Gen2), NXP i.MX8M i i.MX8M Plus, Rockchip RK3588, NVIDIA Jetson, Raspberry Pi
- Platformy MCU
- Rodziny ARM MCU od ST, TI i Nordic
- Systemy operacyjne
- Embedded Linux, Yocto, Qualcomm Linux z QIRP SDK, AOSP, Zephyr RTOS
- Kamery i optyka
- Korpusy przemysłowe Basler i Framos, sensory 1 cal 24 Mpx global shutter, obiektywy stałe i wymienne, apochromaty VIS-NIR, filtry interferencyjne wąskopasmowe, motoryzowane koła filtrowe, ostrość silnikowa i na soczewce cieczowej, doświetlanie stroboskopowe i wąskopasmowe, polaryzacja, kalibracja PTFE i Spectralon
- Pozostałe sensory
- Kamery RGB i IR, obrazowanie mono i multispektralne, radar mmWave i 60 GHz, ToF, IMU, czujniki PMx i środowiskowe, Pt100/Pt1000, GNSS i RTK
- Interfejsy i złącza
- GigE Vision, MIPI CSI-2, GMSL, M12 X-code, LEMO K-series i REDEL SP, Fischer, IP68 push-pull
- Pozycjonowanie
- RTK-GNSS z korektami NTRIP, znaczniki wizyjne, RFID dalekiego zasięgu, metrologia Hexagon AB i Trimble
- Symulacja i synteza
- Unity3D, Unreal Engine
- Łączność
- BLE, LoRaWAN, NB-IoT, Modbus RTU po RS485, SDI-12, Ethernet, MQTT
- Audio
- Max/MSP, PureData, SuperCollider, FMOD, Wwise
- Dane i HPC
- Hadoop, Spark, MPI/OpenMP/PGAS, NLTK, IRSTLM, SAS, R, Weka, Oracle
- Moduły i ODM
- Thundercomm, Lantronix, Geniatech
QualcommTensorFlowZephyr RTOSRust
NXPRockchipNVIDIA JetsonNordicSTMicroelectronics
Texas InstrumentsONNX RuntimePyTorchAOSPYocto
Unreal EngineUnity3DBaslerFramosCUDARaspberry Pi
JEDEN PROJEKT OD ŚRODKA
Lampa, która ma wiedzieć, czy ktoś jest w pokoju.
Oświetlenie przemysłowe. Zamiast listy czterech kafelków, jeden projekt opowiedziany tak, jak wyglądał.
Problem nie był w modelu. Nie było czym go nakarmić.
Ograniczenie
Mały model musiał zmieścić się na mikrokontrolerze wewnątrz obudowy lampy i pobić klasyczny czujnik PIR przy tej samej cenie końcowej. Bez chmury, bez kamery RGB, bez kompromisu na prywatności użytkownika biura.
Czego nie było
Nie istniał żaden zbiór danych opisujący obecność człowieka w biurze widzianą tym sensorem, z tej wysokości, przy tym oświetleniu. Nie dało się go kupić ani pobrać.
Co zrobiliśmy
Zaprojektowaliśmy sprzęt, wybraliśmy sensor, zbudowaliśmy dedykowane urządzenie do zbierania danych, a potem przeprowadziliśmy kampanię pomiarową w realnych pomieszczeniach. Dopiero mając własny dataset trenowaliśmy model metodami quantisation-aware, żeby wynik nie rozjechał się po kwantyzacji do INT8.
Potem drugi raz, inną drogą
Ten sam problem rozwiązaliśmy powtórnie na radarze mmWave zamiast podczerwieni, na płytce 22 x 23 mm. Znowu z lepszym wynikiem niż PIR. To samo zadanie, dwie niezależne ścieżki sensoryczne, bo przy detekcji obecności wybór sensora jest decyzją produktową, nie techniczną.
WYNIK
Lepsza detekcja obecności w przestrzeni biurowej niż tradycyjny PIR, w obu wariantach sensorycznych. Model na mikrokontrolerze, bez zewnętrznej infrastruktury. Stos: shallow neural networks, TensorFlow Lite, Python, C/C++.
DOŚWIADCZENIE
Pozostałe problemy, które już rozwiązywaliśmy.
Nazwy klientów pozostają poufne. Technologia i typ problemu nie.
HMI / ToF
Bezdotykowa interakcja
Wymagania: ultra niska latencja i F1 0,99, zanim funkcja mogła wejść do urządzeń. Dowieziona na niskorozdzielczym sensorze ToF i własnych algorytmach: segmentacja lokalna do środka masy, potem tracking i interpretacja tego punktu w czasie.
F1 0.99 · ToF · TFLite · C/C++
ROBOTICS / VISION
Unikanie kolizji w magazynie
Zautomatyzowane wózki widłowe już jeździły po magazynie, ale musiały rozpoznawać niebezpieczne obiekty na swojej drodze. Deep learning na kamerze RGB, zoptymalizowany pod inferencję na Qualcomm SoC. Ograniczenia datasetu limitowały generalizację, więc zbudowaliśmy hiper-realistyczne wirtualne magazyny w Unity3D i generowaliśmy dane na żądanie.
Qualcomm SNPE · TensorFlow · Unity3D
AUDIO / MCU
Wake-word i mowa na urządzeniu
Słowa aktywujące i keyword spotting, rozpoznawanie mowy, redukcja szumu i usuwanie pogłosu, detekcja zdarzeń akustycznych oraz weryfikacja mówcy. Wszystko z założeniem, że audio nie opuszcza urządzenia.
TFLite Micro · PyTorch · DSP
SAFETY / MCU
Detekcja upadku
BHP i elektronika konsumencka. Wyzwaniem było wygenerowanie dużego zbioru danych pokrywającego wiele warunków upadku dla problemu krytycznego dla bezpieczeństwa człowieka. Dowieziona jako wearable niskiej mocy na mikrokontrolerze, bez zewnętrznej infrastruktury i bez kompromisu na prywatności.
F1 > 0.98 · IMU · TensorFlow · C/C++
R&D / OPTICS
Optyczna inspekcja roślin
Aktywny program badawczy wielopartnerski, od prototypu laboratoryjnego do wersji gotowej na pole (TRL 4 do TRL 8). Dwie warstwy sprzętowe karmią jedną warstwę uczenia maszynowego: stacja polowa mierzy mikroklimat w łanie, a przenośny moduł optyczny podjeżdża wprost do liścia. Detekcja przedobjawowa z red edge i NIR, referencja qPCR. Świadomie nie budujemy autonomicznej platformy, tylko moduł, który zadziała na dowolnym nośniku.
QCS6490 / Dragonwing IQ-6 · Yocto · LoRaWAN
SECURITY / RF
Wtargnięcia i sensoryka pasywna
Detekcja wyważania drzwi i rozwiercania zamka z danych IMU na mikrokontrolerze, gdzie głównym problemem było zebranie reprezentatywnych danych dla zdarzeń włamania. Osobno: radar pasywny na iluminatorach okazjonalnych FM, DAB i DVB-T, tłumienie clutteru i przetwarzanie range-Doppler, geolokacja RF metodami TDOA i AOA.
IMU · TFLite · passive radar · TDOA/AOA
ROBOTYKA
Dokąd to prowadzi: własna platforma sterowania.
Dziś pomagamy klientom budować inteligentne urządzenia i maszyny. Równolegle rozwijamy powtarzalne komponenty sterowania, edge AI i integracji, które mają stać się fundamentem własnych systemów robotycznych ACTUON. Poniżej pokazujemy, jak to sobie zaprojektowaliśmy, zamiast obiecywać ogólnikami.
DZIŚ · CUSTOM R&D
→
W BUDOWIE · ACTUON CONTROL
→
CEL · WŁASNE SYSTEMY ROBOTYCZNE
TERRA ROBOTIKA · PROJEKT W PRZYGOTOWANIU
Robot kroczący, którym sterują dzieci.
Edukacyjna atrakcja w duchu Centrum Nauki Kopernik: dwie przestrzenie symulujące powierzchnię Marsa i naukową bazę marsjańską. Uczestnicy z dwóch stanowisk sterowania wspólnie operują robotem czworonożnym z ramieniem i elektromagnesem, żeby zebrać odłamki rozsypane po terenie. Robot ma kamery RGB z przodu i z tyłu oraz parę RGB i podczerwieni na ramieniu, a komunikacja idzie po radiu. Symulowane zakłócenia, na przykład szum obrazu w głębszych partiach tunelu, są częścią zabawy, nie awarią.
BEZPIECZEŃSTWO I DUAL-USE
Część naszych kompetencji jest z natury dwojakiego zastosowania.
Mówimy o tym wprost, bo to zmienia rozmowę o wymaganiach, o łańcuchu dostaw i o tym, kto może być odbiorcą:
- Radar pasywny i detekcja obiektów nisko obserwowalnych na iluminatorach okazjonalnych, wprost stosowalne do wykrywania i lokalizowania małych statków bezzałogowych
- Geolokacja RF metodami TDOA i AOA oraz świadomość sytuacyjna w widmie
- Ochrona fizyczna i detekcja wtargnięć, detekcja wyważania i rozwiercania zamków
- Architektura, w której krytyczna technologia sterowania zostaje w UE i jest fizycznie odcięta od komponentów spoza UE, z niezależną od oprogramowania linią STOP
Wchodzimy w konsorcja badawczo-rozwojowe. Jeśli szukacie partnera technologicznego do wniosku, napiszcie i powiedzcie, jakiej kompetencji brakuje w składzie.
ZESPÓŁ
Mała grupa seniorów. Role, nie nazwiska.
Możecie nas zamówić jako zarządzaną usługę B+R albo wstawić naszych ludzi wprost do swojego zespołu.
Uczenie maszynowe dla systemów wbudowanych, wizja klasyczna i nowoczesna, optyka i integracja sensorów, rozwiązania multimodalne, analiza szeregów czasowych.
Python · Unity3D · TensorFlow
Systemy wbudowane i mikrokontrolery, AOSP i stos Qualcomm, Zephyr RTOS, projektowanie sprzętu niskoczęstotliwościowego i niskomocowego.
C · C++ · Zephyr · AOSP
Systemy wbudowane, AOSP i stos Qualcomm, Zephyr RTOS, integracja Raspberry Pi, budowa i operowanie dronami, pełna integracja systemu na docelowym sprzęcie.
Rust · C · C++
Rozpoznawanie i synteza mowy, diaryzacja i weryfikacja mówcy, poprawa jakości mowy, detekcja zdarzeń akustycznych, zaawansowany DSP i akustyka, music information retrieval, HPC i obliczenia GPU. Synteza mowy w czternastu językach europejskich, zgłoszenie patentowe na uwierzytelnianie głosem, sześć publikacji recenzowanych.
PyTorch · TensorFlow · CUDA · MPI/OpenMP
Radar pasywny, detekcja i tracking celów nisko obserwowalnych na iluminatorach nadawczych okazji (FM, DAB, DVB-T), geolokacja RF metodami TDOA i AOA, tłumienie clutteru, przetwarzanie range-Doppler, świadomość widmowa.
passive radar · TDOA / AOA · DSP
Trzydzieści lat w sprzedaży przemysłowej i logistycznej, finansowanie publiczne i procesy grantów badawczych, strategia wejścia na rynek.
granty · NCBR · konsorcja
JAK PRACUJEMY
Jeden zespół. Cała droga.
Planowanie
Konsultacja, definicja problemu, architektura, wycena i prowadzenie projektu.
Dane i prototyp
Budujemy narzędzia i urządzenia, które zbierają dane, potem dataset i szybka walidacja koncepcji.
Model i embedded
Rozwój modelu i pomiar jakości, inferencja i jej optymalizacja pod docelowy układ, software urządzenia.
Integracja i rozwój
Integracja i testy systemu, uruchomienie, iteracje i długoterminowe utrzymanie. Modele dryfują, sprzęt ma rewizje, wymagania się zmieniają.
Produktyzacja
Macie już algorytmy. My bierzemy inferencję i optymalizację, i sprawiamy, że to działa wydajnie na urządzeniu.
Wzmocnienie zespołu
Nasi specjaliści wchodzą wprost do Waszego zespołu, zamiast brać projekt do siebie.
Dane na zamówienie
Gdy dataset jest wąskim gardłem: wirtualne środowiska w Unreal i Unity, GAN-y do augmentacji, nagrania w studiu i w terenie, konwersja głosu i TTS.
ZACZNIJMY OD PROBLEMU
Po co do nas piszecie?
Wybierzcie ścieżkę, to skróci pierwszą rozmowę o połowę.
Powiedzcie nam, co Was ogranicza.
Pobór energii, latencja, sensor, którego nie można zmienić, brak datasetu albo maszyna, którą trzeba zautomatyzować. Od ograniczenia zaczyna się zwykle ciekawsza część rozmowy niż od listy życzeń.
Odpowiadamy zwykle w ciągu jednego dnia roboczego. Pracujemy z Polski, z klientami międzynarodowymi.