Учените се научиха да превеждат сигналите в мозъка на разпознаваема реч (аудио)
При помощта на технологиите за сканиране на мозъка, изкуствения интелект и синтезатори на реч, учените успяха да преобразуват сигналите в мозъка в разбираема вербална реч. Напълно вероятно е благодарение на това откритие в бъдеще на хората, загубили способноста си да говорят, да им се появи глас.
Ново изследване, публикувано в списание Scientific Adventures , ни помага да се приближим на една крачка от горепосочената цел. Невробиологът Ним Месгарани и неговите колеги са обединили последните достижения в машинното обучение с технологиите за синтезиране на реч. Техният неврокомпютърен интерфейс, в момента достатъчно елементарен, прихваща сигнали в мозъка непосредствено от слуховата кора и след това ги разшифрова с вокодер ( voice- глас и coder-кодер) на базата на изкуствен интелект. Важно е да се отбележи, че технологията не чете мислите на човека. За съжаление, науката е още далече от това. Вместо това тя анализира мозъчните вълни, които се образуват след прослушване на чужда реч.
За изследването са поканени петима пациенти-доброволци, преминаващи лечение от епилепсия, тъй като на тях често им се налага да се подлагат на мозъчни операции. Екипът при помощта на инвазивна електрокортикография измервал невронната активност по време на прослушване на непрекъснати речеви звуци. Пациентите слушали, например, как човек брои от нула до девет. След това данните се препращали във вокодер, който превеждал сигналите в синтезирани думи. Разбира се, полученият говор бил роботизиран, но все пак разбираем. За оценка на резултатите учените поканили единадесет човека с отличен слух. Те успяли да разпознаят думите в 75% от случаите. Понякога даже успявали да разпознаят пола на говорещия. Ръководителят на екипа Ним Масгарани споделя, че за самия него, такъв добър резултат е сюрприз.
Запис от синтезираната реч може да чуете тук.
Използването на синтезатор на глас вместо система, която обединява и възпроизвежда предварително записани думи, е важно, споделя Месгарани. Той обяснява, че речта не е просто обединяване на думи в изречение.
«Тъй като целта на тази работа е да дадем на хората способност да говорят, възможност да общуват с другите , ние се стремим да изучаваме пряката връзка между мозъчните сигнали с речта. Ние можем да разшифроваме фонеми или думи, но речта има и други важни аспекти. Освен съдържанието, например това са интонация, емоционална нюанси и други. По този начин в даденото изследване ние искаме да възстановим самия звук»
В бъдеще Ним Месгарани и неговия екип са си поставили за цел да синтезират по-сложни думи и изречения, а след това да четат и възпроизвеждат мисли с помощта на съвремените технологии.
Професорът по невроинтерфейси в Нюкасълския университет Ендрю Джексон е впечатлен от новите изследвания, но споделя, че още не му е ясно дали този подход може да бъде приложен направо в невро-компютърните интерфейси.
«В изследването разшифрованите думи са реални думи, чути от мозъка. За да носи полза, технологията трябва да се научи да разшифрова думи, които потребителят си е представил на ум. Въпреки че между областите на мозъка , участващи в слушане, говорене и представа от речта често има известни съвпадения, ние все още не знаем, колко ще съвпадат съответстващите сигнали в мозъка.» – казва той.
Уилям Татум, невролог от Клиника Мауо, който не е участвал в изследването, казва, че работата на учените е важна, тъй като за пръв път използват изкуствен интелект в такава насока. « Това откритие ще стимулира използването на техники с дълбоко обучение в системите за възпроизвеждане на реч в бъдещето» – казва той.
Той смята, че участниците в експеримента са били твърде малко и данните, получени по време на операциите на мозъка, не са били съвсем идеални.
Друго ограничение в изследването се състои в това, че невронните мрежи трябва да се обучават на базата на огромно количество мозъчни сигнали за всеки участник отделно. Системата е индивидуална за всеки пациент, тъй като ние произвеждаме различни мозъчни вълни, когато слушаме реч. Интересно би било да се видят , колко добре декодери, обучени на конкретни хора, ще могат да се използват от всички.
Без съмнение, има още много работа и изследвания в тази насока, nо новото изследване на екипа на Ним Месгарани е важна крачка към достигането до имплантируема невропротеза за реч.
