Когато хората говорят или дори само си говорят на ум, в мозъка им се появяват характерните модели на активност. Ясната схема на сигналите също възниква, когато ние слушаме как някой говори или си въобразяваме какво слушаме.
Специалистите доста отдавна са мислили, че тези модели може да бъдат разшифровани и превърнати в нещо разбираемо за околните.
Ранните опити за разшифроване на сигналите на мозъка били построени на основата на прости компютърни модели, които анализират звуковите спектри. Този подход не дал ясни резултати.
Авторите на изследването се опитали да използват вокодер – компютърен алгоритъм, който може да синтезира речта след обучение по записи на разговори на хора. Това е технология, която се използва от Amazon Echo и Apple Siri за формиране на устен отговор на наши въпроси.
За да научат вокодерът да интерпретира мозъчната дейност, учените помолили страдащи от епилепсия пациенти, които вече са преминали операция на главния мозък, да изслушат фрази на различни хора. Тяхната мозъчна активност в същото време била измервана. А невронните модели се използвали като обучаваща информация за вокодера.
След това пациентите трябвало да прослушат цифрите от 0 до 9, звучащи от говорител. Звукът, произвеждан от вокодера в отговор на тези сигнали, се анализирал с помощта на невронната мрежа.
Крайният резултат бил роботизиран глас, повтарящ последователността на числата. За да проверят точността на записите, учените помолили хората да прослушат записа и да съобщят какво са слушали.
Открихме, че хората могат да разберат и повтарят звуците примерно в 75% от случаите, което значително превъзхожда всички предишни опити, коментира д-р Нима Месгарани, ръководител на изследователския екип.
Учените смятат, че разработката им може много скоро да бъде използвана за създаването на практически приложими средства за комуникация.
Коментари