Hoeveel camerabeelden per seconde heeft een AI-systeem eigenlijk nodig om objecten betrouwbaar te volgen? Hein Huijskes onderzocht dit voor zijn bachelorscriptie aan de Universiteit Twente. Zijn conclusie: boven de zes beelden per seconde levert extra rekenwerk nauwelijks nog betere resultaten op.
AI-toepassingen die objecten in camerabeelden herkennen en volgen, worden steeds vaker ingezet, ook voor het monitoren van bouwplaatsen. Gangbare praktijk is om zo’n systeem zoveel mogelijk beelden per seconde te laten verwerken. Dat kost veel rekenkracht en dus energie. Op een bouwplaats is de hardware bovendien vaak beperkt. Veel goed presterende algoritmen kunnen het tempo van een videobeeld zelfs niet bijhouden. De vraag is dus of er een middenweg is: minder rekenwerk, met resultaten die in de praktijk nog steeds voldoen.
Doelstelling en aanpak
De centrale vraag was hoe het aantal beelden per seconde (frame rate) de nauwkeurigheid van het volgen van objecten beïnvloedt. Huijskes onderscheidt daarbij twee stappen: objectdetectie (wat staat er in beeld en waar) en objecttracking (welk object is welk, van beeld tot beeld).
Na een vergelijking van bestaande algoritmen koos hij voor YOLOv8 voor de detectie en ByteTrack voor het volgen. Beide zijn snel, openbaar beschikbaar en geschikt voor realtime gebruik. In samenwerking met een bedrijf dat in de praktijk met objectdetectie werkt, bouwde hij een testopstelling.
Als testmateriaal dienden twee veelgebruikte, openbare videodatasets met voetgangers: één met weinig en één met veel personen in beeld. Voetgangers bewegen relatief langzaam, wat het mogelijk maakt om ver terug te gaan in beelden per seconde. Uit elke video werden stapsgewijs beelden weggelaten, van 10 tot 1 beeld per seconde en van 1 tot 0,1 beeld per seconde. Voor elke stap werd met standaard meetmethoden bepaald hoe goed objecten werden gevonden en hoe vaak ze het juiste, vaste identiteitsnummer behielden.
Belangrijkste resultaten
De detectie zelf bleef bij elke frame rate stabiel: gevonden objecten overlapten gemiddeld voor ongeveer 80 procent met hun werkelijke positie. Het volgen van objecten werd wel sterk beïnvloed door het aantal beelden per seconde.
Onder de één beeld per seconde was de volgnauwkeurigheid laag en veranderde die nauwelijks. Tussen 1 en 6 beelden per seconde nam de nauwkeurigheid duidelijk toe. Vanaf 6 beelden per seconde trad een plateau op: meer beelden leverden vrijwel geen verbetering meer op. Dat gold voor beide datasets, al lagen de scores bij de drukke beelden (veel personen) overal een stuk lager dan bij de rustige beelden.
Opvallend was ook dat het aantal ten onrechte toegekende identiteiten bij lage frame rates relatief beperkt bleef. Het systeem miste vooral objecten of raakte de koppeling kwijt, maar maakte weinig nieuwe fouten.
Conclusie en bijdrage
Voor het volgen van voetgangers met ByteTrack lijkt zes beelden per seconde voldoende. Alles daarboven kost extra rekenkracht en energie zonder dat de kwaliteit merkbaar stijgt. Dat is relevant voor duurzame AI en voor toepassingen met beperkte hardware, zoals camerasystemen op bouwplaatsen: een lagere frame rate kan het energieverbruik, de hardware-eisen en de kosten verlagen.
De auteur plaatst ook kanttekeningen. Het onderzoek is gedaan met voetgangers, die langzamer bewegen dan bijvoorbeeld voertuigen. Of de grens van zes beelden per seconde ook geldt voor bouwmachines of verkeer, moet nog worden onderzocht. Verder zijn lagere frame rates nagebootst door beelden weg te laten, wat niet helemaal gelijk is aan opnamen met een camera die zelf minder beelden maakt. Vervolgonderzoek met meer algoritmen, meer datasets en sectorspecifieke beelden wordt aanbevolen.
Volledige publicatie
De volledige scriptie (Engelstalig) lees je in de repository van de Universiteit Twente: Effects of Variable Snapshot Frequency on Object Tracking.
Meer over het project lees je op de projectpagina van ECOLOGIC.
Mede mogelijk gemaakt door
Dit onderzoek is onderdeel van ECOLOGIC, een programma van de Universiteit Twente over de optimalisatie van bouwlogistiek, gefinancierd door het Ministerie van Infrastructuur en Waterstaat en TKI Dinalog. De projectpartners zijn Dura Vermeer, BauWatch, Datacadabra, CAPE Groep, Aannemingsmaatschappij Hegeman en Pioneering.
