Volgende voor AI: leren hoe u uw lippen kunt lezen

Een patiënt zit in een ziekenhuisbed, een verband om zijn nek met een kleine opening voor de tracheostomiebuis die hem van zuurstof voorziet.

Vanwege zijn recente operatie, de man die hierin voorkomt marketing video kan niet vocaliseren. Dus een arts houdt een smartphone omhoog en neemt de patiënt op terwijl hij een korte zin uitspreekt. Een app genaamd SRAVI analyseert de lipbewegingen en geeft in ongeveer twee seconden de interpretatie terug: "Ik heb zuigkracht nodig."

Het lijkt een simpele interactie, en in sommige opzichten is SRAVI (Speech Recognition App for the Voice Impaired) nog steeds behoorlijk simplistisch. Het kan slechts enkele tientallen zinnen herkennen en doet dat met een nauwkeurigheid van ongeveer 90 procent. Maar de app, gemaakt door de Ierse startup Liopa, betekent een enorme doorbraak op het gebied van visuele spraakherkenning (VSR), waarbij AI wordt getraind om lippen te lezen zonder enige audio-invoer. Het zal waarschijnlijk de eerste liplezende AI-app zijn die beschikbaar is voor openbare aankoop.

Onderzoekers werken al tientallen jaren om computers te leren liplezen, maar het is een uitdagende taak gebleken, zelfs met de vooruitgang in deep learning-systemen die hebben geholpen om andere mijlpaal problemen. Het onderzoek is gedreven door een breed scala aan mogelijke commerciële toepassingen, van surveillancetools tot stille communicatie-apps en verbeterde prestaties van virtuele assistenten.

Liopa is bezig met het certificeren van SRAVI als een medisch hulpmiddel van klasse I in Europa, en het bedrijf hoopt de certificering in augustus af te ronden, waardoor het kan beginnen met de verkoop aan zorgaanbieders.

Hoewel hun bedoelingen voor de technologie niet duidelijk zijn, werken veel van de technische giganten ook aan liplezende AI. Wetenschappers die gelieerd zijn aan of rechtstreeks werken voor Google, Huawei, Samsung en Sony doen allemaal onderzoek naar VSR-systemen en lijken snelle vorderingen te maken, volgens interviews en Motherboard's beoordeling van recent gepubliceerde onderzoeks- en octrooiaanvragen. De bedrijven reageerden niet of weigerden interviews voor dit verhaal.

Nu liplezende AI een levensvatbaar commercieel product wordt, maken technologen en privacywaakhonden zich steeds meer zorgen over hoe het wordt ontwikkeld en hoe het ooit kan worden ingezet. SRAVI is bijvoorbeeld niet de enige toepassing van liplezende AI waar Liopa aan werkt. Het bedrijf is ook in fase twee van een project met een Brits defensieonderzoeksbureau om een ​​tool te ontwikkelen waarmee wetshandhavingsinstanties stille CCTV-beelden kunnen doorzoeken en kunnen identificeren wanneer mensen bepaalde trefwoorden zeggen.

Bewakingsbedrijf Motorola Solutions heeft een patent voor een lipleessysteem ontworpen om de politie te helpen. Skylark Labs, een startup waarvan de oprichter banden heeft met het Amerikaanse Defense Advanced Research Projects Agency (DARPA), vertelde Motherboard dat zijn lipleessysteem momenteel wordt gebruikt in particuliere huizen en een door de staat gecontroleerd energiebedrijf in India om grof en grof taalgebruik op te sporen. .

"Dit is een van die gebieden, vanuit mijn perspectief, wat een goed voorbeeld is van 'alleen omdat we het kunnen, betekent niet dat we het moeten doen'," vertelde Fraser Sampson, de Britse commissaris voor biometrie en bewakingscamera's, aan Motherboard. “Mijn grootste zorg op dit gebied zou niet per se zijn wat de technologie zou kunnen en wat niet, het zou het huiveringwekkende effect zijn van mensen die geloven dat het zou kunnen doen wat het zegt. Als dat hen ervan weerhield om in het openbaar te spreken, dan bevinden we ons in een veel groter gebied dan alleen privacy, en privacy is groot genoeg.”

De opkomst van liplezende AI doet denken aan gezichtsherkenningstechnologie, die decennialang een nichegebied van onderzoek was voordat het vanaf het begin van de jaren 2000 stilletjes maar snel werd gecommercialiseerd als een bewakingsinstrument.