Mid Sweden University

Syftet med detta examensarbete var att undersöka kapaciteten och begränsningarna hos SBCs och dedikerade NPUs för inferens med video i realtid, för tillämpningar inom IoT. Arbetet undersökte specifikt Raspberry Pi 5 kombinerat med Hailo-8 eller Hailo-10H NPUer, och utvärderade lämpliga hårdvaru- och mjukvaruval samt implementerade ett lastbalanserande kluster för att distribuera flera oberoende videoströmmar över flera noder. Arbetet genomfördes i fyra faser: en systematisk förstudie av hårdvarualternativ, benchmarking för inferensmodeller, utveckling och testning av ett system med en enda nod som mottog flera videoströmmar, samt ett slutligt systemtest med flertalet kameraströmmar på flertalet klustrade noder. Alla tester använde förtränade modeller och fokuserade enbart på inferens. Ingen modellträning utfördes eller undersöktes. Studien har visat att den valda kombinationen av SBC och NPU kan utföra objektdetektion i realtid på flertalet samtidiga videoströmmar, helt och hållet vid ”kanten av nätverket” (on the network’s edge), dvs utan att ha en internetanslutning. Raspberry Pi 5s inbyggda HEVC-hårdvaruavkodare visade sig kunna hantera motsvarande cirka åtta 1080p30-strömmar, medan Hailo-NPUerna levererade hög kapacitet för inferens. Utan kylning begränsades prestandan både av nedskalning på grund av hög temperatur på SBCn, samt av den enstaka PCIe-länken, vilken gjorde dataöverföring till en stor flaskhals. Det implementerade klustret skalade nästan linjärt med mycket låg extra nätverksoverhead, vilket gjorde att en extra nod kunde hantera ungefär 4–6 ytterligare kameror. Sammanfattningsvis visar resultaten att små, lokalt körda AI-system kan ersätta molnbaserade lösningar i viss utsträckning, samtidigt som de praktiska begränsningar som måste hanteras för långsiktig drift tydligt framgår.

The aim of this thesis was to investigate the capabilities and limitations of single-board computers and dedicated neural processing units for real-time video inference in IoT applications. The thesis specifically examined the Raspberry Pi 5 combined with Hailo-8 or Hailo-10H NPUs, evaluated suitable hardware and software choices, and implemented a load-balancing cluster for distributing multiple independent video streams across multiple nodes. The work was conducted in four phases: a systematic pre-study of hardware options, single-node benchmarking of inference models, development and testing of a single-node system with multiple video streams, and a final system test with multiple simultaneous camera streams on multiple, clustered nodes. All experiments used pre-trained models and focused exclusively on inference. No model training was performed or examined. The study has shown that the chosen SBC and NPU combination can perform real-time object detection on several concurrent video streams entirely at the edge. The Raspberry Pi 5’s HEVC hardware decoder proved capable of handling the equivalent of approximately eight 1080p30 streams, while the Hailo NPUs delivered high inference throughput. However, without cooling, performance was limited by thermal throttling on the SBC and the single-lane PCIe interface, which made data transfer a dominant bottleneck. The implemented cluster scaled nearly linearly with very low additional network overhead, allowing one extra node to support roughly 4-6 additional cameras. In conclusion, the results demonstrate that affordable edge-AI systems can somewhat replace cloud-dependent solutions, while also highlighting the practical constraints that must be addressed for sustained operations.