Audio/Video AI Hand Washing Quality Analysis Tool
Revolutionaire handwaspraktijken met AI-gestuurde gebarenherkenning
problem
We werden benaderd door een klant die als medische dienstverlener vooroploopt in innovaties op het gebied van handhygiëne om de zorgstandaarden te verbeteren. De klant had een nieuwe technologische oplossing voor handhygiëne ontwikkeld en zocht een manier om hun product efficiënt op de markt te brengen. Hun oplossing was erop gericht een revolutie teweeg te brengen in het handwassen door technologie in te zetten om handbewegingen te monitoren en onmiddellijke feedback te geven over de kwaliteit van het wassen, om zo een grondige hygiëne te garanderen. Vanwege de naderende tijdsdruk ging de klant een partnerschap met ons aan om onze expertise op het gebied van data science te benutten en het project te versnellen.
problem
We werden benaderd door een klant die als medische dienstverlener vooroploopt in innovaties op het gebied van handhygiëne om de zorgstandaarden te verbeteren. De klant had een nieuwe technologische oplossing voor handhygiëne ontwikkeld en zocht een manier om hun product efficiënt op de markt te brengen. Hun oplossing was erop gericht een revolutie teweeg te brengen in het handwassen door technologie in te zetten om handbewegingen te monitoren en onmiddellijke feedback te geven over de kwaliteit van het wassen, om zo een grondige hygiëne te garanderen. Vanwege de naderende tijdsdruk ging de klant een partnerschap met ons aan om onze expertise op het gebied van data science te benutten en het project te versnellen.
solution
Ons doel was om een systeem voor de herkenning van handwasgebaren te ontwikkelen en dit te integreren in de wasstations, om gebruikers realtime feedback te geven over de kwaliteit van hun handhygiëne. Het uiteindelijke doel was het creëren van een allesomvattend platform dat in staat is om de handhygiëne te monitoren, te coachen en visuele validatierapporten te verstrekken. Het project werd opgedeeld in verschillende fasen om optimale resultaten te garanderen: datalabeling en -voorbereiding, modellering en implementatie. Tijdens de datalabeling-fase werden video's van het doelplatform gebruikt, waarbij elke handwasstap werd gelabeld op basis van de start- en eindtijd in de video. Ongeveer 100 video's werden gebruikt voor de basisontwikkeling, met een 60-40 verdeling tussen training en test. Python diende als de primaire taal voor zowel de modellering als de infrastructuur. PyTorch werd ingezet voor het modelleren van neurale netwerken, terwijl OpenCV de videoverwerking faciliteerde. OpenVINO werd gebruikt voor de communicatie met de Intel Compute Stick, waarbij NumPy en Pandas de datamanipulatietaken afhandelden en Sklearn data science-hulpprogramma's bood. Het systeem werd geïmplementeerd op AWS voor cloud computing en op een Raspberry Pi 3b met een Intel Compute Stick 2 voor lokale verwerking.
solution
Ons doel was om een systeem voor de herkenning van handwasgebaren te ontwikkelen en dit te integreren in de wasstations, om gebruikers realtime feedback te geven over de kwaliteit van hun handhygiëne. Het uiteindelijke doel was het creëren van een allesomvattend platform dat in staat is om de handhygiëne te monitoren, te coachen en visuele validatierapporten te verstrekken. Het project werd opgedeeld in verschillende fasen om optimale resultaten te garanderen: datalabeling en -voorbereiding, modellering en implementatie. Tijdens de datalabeling-fase werden video's van het doelplatform gebruikt, waarbij elke handwasstap werd gelabeld op basis van de start- en eindtijd in de video. Ongeveer 100 video's werden gebruikt voor de basisontwikkeling, met een 60-40 verdeling tussen training en test. Python diende als de primaire taal voor zowel de modellering als de infrastructuur. PyTorch werd ingezet voor het modelleren van neurale netwerken, terwijl OpenCV de videoverwerking faciliteerde. OpenVINO werd gebruikt voor de communicatie met de Intel Compute Stick, waarbij NumPy en Pandas de datamanipulatietaken afhandelden en Sklearn data science-hulpprogramma's bood. Het systeem werd geïmplementeerd op AWS voor cloud computing en op een Raspberry Pi 3b met een Intel Compute Stick 2 voor lokale verwerking.
results
Als resultaat van onze gezamenlijke inspanningen is er een detector voor handwasevenementen ontwikkeld die de verschillende fasen van het handwasproces categoriseert. Door gebruik te maken van een neuraal netwerk bood het systeem een nauwkeurige classificatie voor elke tijdstap, waarbij zowel ruimtelijke als temporele informatie werd meegenomen. De voorspellingen werden verder verfijnd op basis van de tijdsverdeling per specifieke categorie van de handwashandelingen. Het ontwikkelde algoritme werd geïmplementeerd in twee omgevingen: een AWS-instance voor verwerking in de cloud en een Raspberry Pi 3b met een Intel Compute Stick 2-module voor realtime verwerking bij de handhygiënestations. Voor het monitoren van de handhygiënepraktijken werd RGB-video van de Pi Camera v2 gebruikt. Ons machine-learning model behaalde een indrukwekkende nauwkeurigheid van 80%, waardoor de klant binnen een opmerkelijk kort tijdsbestek van minder dan twee maanden kon overgaan tot productie.
results
Als resultaat van onze gezamenlijke inspanningen is er een detector voor handwasevenementen ontwikkeld die de verschillende fasen van het handwasproces categoriseert. Door gebruik te maken van een neuraal netwerk bood het systeem een nauwkeurige classificatie voor elke tijdstap, waarbij zowel ruimtelijke als temporele informatie werd meegenomen. De voorspellingen werden verder verfijnd op basis van de tijdsverdeling per specifieke categorie van de handwashandelingen. Het ontwikkelde algoritme werd geïmplementeerd in twee omgevingen: een AWS-instance voor verwerking in de cloud en een Raspberry Pi 3b met een Intel Compute Stick 2-module voor realtime verwerking bij de handhygiënestations. Voor het monitoren van de handhygiënepraktijken werd RGB-video van de Pi Camera v2 gebruikt. Ons machine-learning model behaalde een indrukwekkende nauwkeurigheid van 80%, waardoor de klant binnen een opmerkelijk kort tijdsbestek van minder dan twee maanden kon overgaan tot productie.
tech stack
tech stack
