info@msml.nl
+31 85 4018747
Net als wij is ook de FMCG-sector continu op zoek naar innovatieve ontwikkelingen om de klantervaring en bedrijfsprocessen te optimaliseren. Een veelbelovende softwareoplossing die hierin een sleutelrol kan spelen, is productherkenning – een geavanceerde technologie waarmee camera’s automatisch producten op afbeeldingen kunnen identificeren. Binnen MSML hebben we hier uitgebreid onderzoek naar gedaan. Benieuwd naar wat ons onderzoek naar productherkenning heeft opgeleverd? Lees verder en ontdek de verrassende resultaten!
Toepassingen en uitdagingen
Productherkenning is een breed toepasbare technologie voor uiteenlopende oplossingen die aanzienlijke voordelen biedt voor supermarkten, productfabrikanten én consumenten. Zo kan productherkenning worden ingezet om taken te automatiseren en waardevolle data te verzamelen. Enkele voorbeelden van populaire toepassingen zijn:
Inventarisatie en real-time monitoring van schap voorraad, wat de beschikbaarheid van producten kan verbeteren.
Winkelen zonder kassa's, waarbij producten niet meer handmatig gescand hoeven te worden.
Het opsporen en tegengaan van winkeldiefstal.
Hoewel productherkenning veel mogelijkheden biedt, blijft het identificeren van producten in winkelomgevingen een uitdagende taak. Een effectieve oplossing moet onder andere in staat zijn om een groot aantal producten te herkennen, flexibel om te gaan met assortimentswijzigingen en onderscheid te maken tussen producten met minimale visuele verschillen in verpakking.
Methode voor productherkenning
Wij hebben onderzoek gedaan naar nieuwe technieken die gebruikt kunnen worden voor het identificeren van producten op foto’s van supermarktschappen. Hierbij hebben we een methode ontwikkeld op basis van deep learning, een vorm van kunstmatige intelligentie. Deze methode is geschikt voor het verwerken van ongestructureerde data, zoals tekst, audio en afbeeldingen. Het proces start met het tonen van een grote verscheidenheid aan productafbeeldingen aan het deep learning-model. Hierdoor wordt het model getraind om uiteindelijk producten te herkennen op nieuwe, nog niet eerder geziene afbeeldingen.
Onze methode voor productherkenning is opgedeeld in twee stappen, waarbij beide stappen gebruikmaken van een deep learning-model:
Productdetectie: In de eerste stap gebruiken we een model om alle producten op een foto van een supermarktschap te detecteren. Dit houdt in dat we de locaties van producten in de afbeelding bepalen, zonder vast te stellen om welk specifiek product het gaat. De detectie gebeurt met pixel-level precisie, zodat producten in dichtgevulde schappen nauwkeurig van elkaar kunnen worden onderscheiden.
Productclassificatie: In de tweede stap wordt een ander model gebruikt om alle gedetecteerde producten te classificeren. Dit betekent dat we voor elk item proberen te achterhalen om welk specifiek product het gaat. Hiervoor vergelijkt het model de gedetecteerde producten uit stap 1 met een database van marketingfoto’s van de producten. Bij voldoende overeenkomst tussen een gedetecteerd product en een foto uit de database wordt het product als herkend beschouwd.
We hebben de methode ontworpen met oog voor praktische toepasbaarheid. De modellen zijn schaalbaar en kunnen omgaan met assortimentswijzigingen van supermarkten en productfabrikanten, zonder dat inhoudelijke aanpassingen aan de modellen nodig zijn.
Onderzoeksresultaten
Om de effectiviteit van onze methode te beoordelen, hebben we de modellen getest met verschillende datasets. Hierdoor kregen we een duidelijk beeld van de situaties waarin de productherkenning goed werkt, evenals de gevallen waarin nog verbetering mogelijk is.
De uitkomsten van deze evaluatie waren veelbelovend. De herkenning werkte bijzonder goed voor foto’s die vergelijkbaar waren met de afbeeldingen waarmee het model getraind was. In deze gevallen wist onze methode bijna 91% van alle producten te herkennen, en was meer dan 98% van de voorspelde producten correct. Daarnaast werkte het classificeren (stap 2) ook uitstekend voor nieuwe, nog nooit eerder geziene producten, waarbij maar liefst 86% van deze producten succesvol werd geïdentificeerd. Dit toont aan dat het model goed kan omgaan met assortimentswijzigingen bij supermarkten en fabrikanten. Bovendien hadden aanvullende technieken, zoals het filteren van achtergrondinformatie in de afbeelding of het trainen met extra uitdagende voorbeelden, een positief effect op de nauwkeurigheid van de classificatie.
Door de afbeeldingen te analyseren van producten die niet correct herkend waren, kregen we inzicht in de aspecten waarop de methode minder goed presteerde. Zo bleek het model voor productdetectie (stap 1) gevoelig voor de manier waarop de foto’s gemaakt werden. De herkenning werd bijvoorbeeld negatief beïnvloed wanneer de grootte en positie van producten in de afbeeldingen sterk verschilden van die van de producten waarmee het model was getraind.
Mogelijkheden voor optimalisatie
Experts uit de industrie hebben bevestigd dat onze methode potentie biedt voor praktische toepassingen. Het is echter belangrijk om de modellen verder te ontwikkelen om de nauwkeurigheid van de productherkenning te optimaliseren. Een cruciaal aandachtspunt om de methode beter bestand te maken tegen variaties, is de wijze waarop de foto’s worden genomen. Dit kan worden verbeterd door de modellen te trainen met afbeeldingen die vanuit verschillende perspectieven zijn vastgelegd. Bovendien kunnen deze perspectieven ook worden gecreëerd door bestaande afbeeldingen te manipuleren (data-augmentatie).
Daarnaast is er, naast de producten zelf, veel andere informatie die kan bijdragen aan een betere herkenning. Zo kan gebruik worden gemaakt van kennis over de verwachte productpresentatie, zoals vastgelegd in het schappenplan, de teksten op de schaplabels, en de afmetingen van de schappen om de grootte van producten te schatten. Door deze optimalisaties toe te passen, kan onze methode zich ontwikkelen tot een effectieve oplossing die praktisch inzetbaar is. Wordt vervolgd!
