Volleyball Real-Time Analytics
AI-gestuurde Real-time Volleybal-serve Classificatie via iPhone Videostreaming
problem
Onze klant, een hoofdcoach in het volleybal, wilde AI-technologieën inzetten om de productie van analyses te verbeteren en de wedstrijdstrategie tijdens wedstrijden dynamisch aan te passen. Het herkennen van menselijke activiteiten uit videostreams vormde een aanzienlijke uitdaging door factoren zoals een drukke achtergrond en variaties in schaal, belichting en uiterlijk. Bovendien vergt dit proces aanzienlijke verwerkingstijd en brengt het hoge kosten met zich mee. De klant had als doel om acties van volleybalspelers te detecteren met slechts één iPhone 12, waardoor het classificatieproces van de opslag snel en kosteneffectief werd, terwijl de wedstrijdverwerking voor coaches werd geautomatiseerd.
problem
Onze klant, een hoofdcoach in het volleybal, wilde AI-technologieën inzetten om de productie van analyses te verbeteren en de wedstrijdstrategie tijdens wedstrijden dynamisch aan te passen. Het herkennen van menselijke activiteiten uit videostreams vormde een aanzienlijke uitdaging door factoren zoals een drukke achtergrond en variaties in schaal, belichting en uiterlijk. Bovendien vergt dit proces aanzienlijke verwerkingstijd en brengt het hoge kosten met zich mee. De klant had als doel om acties van volleybalspelers te detecteren met slechts één iPhone 12, waardoor het classificatieproces van de opslag snel en kosteneffectief werd, terwijl de wedstrijdverwerking voor coaches werd geautomatiseerd.
solution
Het project was gericht op het ontwikkelen van een machine learning (ML) model dat in staat is om volleybal-serves uit videostreams te classificeren met een F1-score van 0,85. Belangrijke vereisten waren onder meer het optimaliseren van het systeem voor bijna real-time prestaties en het integreren van het model in iOS 12. We hebben TensorFlow gebruikt om het model te bouwen en de CoreMLTools Python-bibliotheek om het te converteren naar een formaat dat geschikt is voor CoreML. De integratie in iOS 12 werd gerealiseerd met behulp van het CoreML-framework en de Xcode IDE, wat zorgde voor een naadloze implementatie op iPhone 12-apparaten
solution
Het project was gericht op het ontwikkelen van een machine learning (ML) model dat in staat is om volleybal-serves uit videostreams te classificeren met een F1-score van 0,85. Belangrijke vereisten waren onder meer het optimaliseren van het systeem voor bijna real-time prestaties en het integreren van het model in iOS 12. We hebben TensorFlow gebruikt om het model te bouwen en de CoreMLTools Python-bibliotheek om het te converteren naar een formaat dat geschikt is voor CoreML. De integratie in iOS 12 werd gerealiseerd met behulp van het CoreML-framework en de Xcode IDE, wat zorgde voor een naadloze implementatie op iPhone 12-apparaten
results
Aanvankelijk onderzocht ons team het gebruik van de ActionClassifier uit CreateML, maar liep tegen beperkingen aan bij het classificeren van acties van meerdere personen tegelijk. Vervolgens experimenteerden zij met de ImageClassifier-tool, waarbij de focus werd verlegd naar gebeurtenisclassificatie in plaats van actieclassificatie. Ondanks uitdagingen op het gebied van nauwkeurigheid en trainingstijd hield het team vol en stelde uiteindelijk een dataset samen bestaande uit sequentiële grijswaardenframes voor de modeltraining. Aan het einde van het project leverde het team een model voor serve-detectie bij volleybalwedstrijden dat op real-time snelheid werkt (26 FPS) met een F1-score van 0,87, gerealiseerd binnen een tijdsbestek van zes weken.
results
Aanvankelijk onderzocht ons team het gebruik van de ActionClassifier uit CreateML, maar liep tegen beperkingen aan bij het classificeren van acties van meerdere personen tegelijk. Vervolgens experimenteerden zij met de ImageClassifier-tool, waarbij de focus werd verlegd naar gebeurtenisclassificatie in plaats van actieclassificatie. Ondanks uitdagingen op het gebied van nauwkeurigheid en trainingstijd hield het team vol en stelde uiteindelijk een dataset samen bestaande uit sequentiële grijswaardenframes voor de modeltraining. Aan het einde van het project leverde het team een model voor serve-detectie bij volleybalwedstrijden dat op real-time snelheid werkt (26 FPS) met een F1-score van 0,87, gerealiseerd binnen een tijdsbestek van zes weken.
tech stack
tech stack
