Signalen uit de hersens werden eerst omgezet in bewegingen van het spraakorgaan (afb: UCSF)
Het schijnt dat onderzoekers in Amerika rond Gopala Anumanchipalli van de universiteit van Californië in San Francisco een manier hebben gevonden om signalen van het spraakcentrum in de hersens om te zetten in verstaanbare taal. Dat gaat dan in twee stappen: eerste worden de signalen die mond, gehemelte en keel aansturen geregistreerd waarmee een virtueel spreekorgaan wordt ‘bediend’; daaruit destilleert een tweede algoritme het bijbehorende geluid. Dat systeem zou een beter resultaat opleveren dan de pogingen die tot nu toe gedaan zijn, vinden de onderzoekers zelf.Mensen die door ziekte hun spraakvermogen verliezen kunnen op andere manieren communiceren zoals met briefjes of via computers. Al langer proberen neurowetenschappers een raakvlak tussen hersens en gesproken taal te fabriceren. Daarbij worden de hersensignalen uit het spraakcentrum omgezet in gesproken taal.
Tot nu toe zou dat nog weinig resultaat hebben geleid en daarom kozen Anumanchipalli en de zijnen voor een andere aanpak. In plaats van dat de hersensignalen direct omzetten in akoestische spectrogrammen keken ze in eerste instantie naar de signalen die werden verstuurd naar de delen van het lichaam die spraak mogelijk maken. In een eerdere studie hadden de onderzoekers al uitgevogeld welke hersensignalen daarbij van belang zijn.
“De verbinding van de bewegingen van het spraakorgaan en de geluiden die daarmee worden geproduceerd is erg ingewikkeld”, zegt de onderzoeker, “maar aangezien het spraakcentrum in de hersens die bewegingen aanstuurt en niet het geluid, zouden we moeten proberen dat ook zo te doen bij het ontcijferen van de signalen.” Om dat te verwezenlijken gebruikten de onderzoekers twee, zelflerende, neurale netwerken, die elk een deel van dat tweetrapsproces voor hun rekening namen. Het eerste leerde de hersensignalen van het spraakcentrum om te zetten in bewegingen van de tong, lippen, keel en verhemelte van een virtueel spraakorgaan. Een tweede neurale netwerk leerde van die bewegingen spraak (een akoestisch spectrogram) te maken.
Epilepsie
Om hun systeem te testen riepen ze de hulp in van vijf epilepsiepatiënten waarbij voor een behandeling elektroden in de hersens waren geïmplanteerd. De hersensignalen werden via die elektroden geregistreerd terwijl de proefpersonen honderden zinnen hardop voorlazen, ter lering van de neurale netwerken. De door de computer geproduceerde spraak werd via een internetpagina ten gehore gebracht aan, andere, proefpersonen die van die geluiden ‘chocola’ moesten maken. Bij woorden hadden de proefpersonen gemiddeld in 63% van de gevallen door om welk woord het ging. Bij zinnen zakte de score naar 43%.
“Perfect is het allemaal nog niet”, zegt medeonderzoeker Josh Chartier, “maar de precisie die we nu bereikt hebben is al een aanzienlijke verbetering ten opzichte van wat er nu beschikbaar is.” Het systeem werkte ook als de proefpersonen, die dus wel degelijk praten konden, de woorden en zinnen alleen mimeden en dus niet hardop uitspraken. Of het ook werkt bij mensen die hun spraakvermogen zijn kwijtgeraakt is, vreemd genoeg, nog niet onderzocht, maar de onderzoekers zijn hoopvol gestemd. Volgens hen kunnen betere op de techniek afgestemde elektrodesystemen en betere algoritmen het ‘vertaalsysteem’ snel verder ontwikkelen.
Bron: bdw