Wetenschappers gebruiken AI om gedachten om te zetten in beelden, 80% nauwkeurigheid

Kunstmatige intelligentie kan afbeeldingen maken op basis van tekstprompts, maar wetenschappers onthulden een galerij met afbeeldingen die de technologie produceert door hersenactiviteit te lezen.

Het nieuwe door AI aangedreven algoritme reconstrueerde ongeveer 1,000 afbeeldingen, waaronder een teddybeer en een vliegtuig, uit deze hersenscans met een nauwkeurigheid van 80 procent.

Onderzoekers van de Universiteit van Osaka gebruikten het populaire Stable Diffusion-model, opgenomen in DALL-E 2 van OpenAI, waarmee elke afbeelding kan worden gemaakt op basis van tekstinvoer.

Het team toonde de deelnemers individuele sets afbeeldingen en verzamelde fMRI-scans (functionele magnetische resonantiebeeldvorming), die de AI vervolgens gedecodeerd.

We laten zien dat onze methode afbeeldingen met een hoge resolutie kan reconstrueren met een hoge semantische getrouwheid van menselijke hersenactiviteit', deelde het team in de studie gepubliceerd in bioRxiv.

'In tegenstelling tot eerdere onderzoeken naar beeldreconstructie vereist onze methode geen training of fijnafstemming van complexe deep-learning modellen.'

Het algoritme haalt informatie uit delen van de hersenen die betrokken zijn bij beeldperceptie, zoals de occipitale en temporale kwabben, volgens Yu Takagi, die het onderzoek leidde.

Het team gebruikte fMRI omdat het veranderingen in de bloedstroom in actieve hersengebieden oppikt, Wetenschap.org rapporten.

FMRI kan zuurstofmoleculen detecteren, zodat de scanners kunnen zien waar in de hersenen onze neuronen - hersenzenuwcellen - het hardst werken (en de meeste zuurstof opnemen) terwijl we gedachten of emoties hebben.

In dit onderzoek werden in totaal vier deelnemers gebruikt, die elk een set van 10,000 afbeeldingen bekeken.

De AI begint de beelden te genereren als ruis die lijkt op statische televisie, die vervolgens wordt vervangen door onderscheidende kenmerken die het algoritme in de activiteit ziet door te verwijzen naar de afbeeldingen waarop het is getraind en een match te vinden.

'We tonen aan dat ons eenvoudige raamwerk beelden met een hoge resolutie (512 x 512) kan reconstrueren uit hersenactiviteit met een hoge semantische getrouwheid', aldus de studie.

'We interpreteren elke component van een LDM kwantitatief vanuit een neurowetenschappelijk perspectief door specifieke componenten in kaart te brengen in verschillende hersengebieden.

We presenteren een objectieve interpretatie van hoe het tekst-naar-beeld-conversieproces geïmplementeerd door een LDM [een latent diffusiemodel] de semantische informatie bevat die wordt uitgedrukt door de voorwaardelijke tekst, terwijl het tegelijkertijd het uiterlijk van het originele beeld behoudt.'

Lees hier het hele verhaal ...