Mowa jest podstawową formą komunikacji dla człowieka. Uważa się, że to właśnie rozwój cech fizycznych i neuroanatomicznych przystosowanych do jej wytwarzania i odbierania na szeroką skalę jest elementem, który wyróżnia człowieka spośród innych zwierząt. W przebiegu niektórych chorób, m.in. stwardnienia zanikowego bocznego lub udaru mózgu, zdolność ta może zostać utracona.
Naukowcy z Mortimer B. Zuckerman Mind Brain Behavior Institute w Columbia University pracują nad urządzeniem, które umożliwiłoby sprawną komunikację osobom nie mogącym mówić.
“Nasz głos pomaga nam wchodzić w relacje z przyjaciółmi, rodziną i otaczającym nas światem, dlatego utrata mowy z powodu urazu czy choroby jest tak katastrofalna – mówi dr Nima Mesgarani, współautor badania. – Dzięki dzisiejszym badaniom mamy potencjalny sposób na przywrócenie tej możliwości. Wykazaliśmy, że dzięki odpowiedniej technologii myśli tych ludzi mogą zostać odkodowane i zrozumiane przez każdego słuchacza.”
Podstawa jego funkcjonowania jest fakt, że w ludzkim mózgu podczas wypowiadania i słuchania słów występuje specyficzna aktywność fal mózgowych. Podobnie dzieje się w przypadku choćby wyobrażania sobie, że się mówi, lub słucha. Gdyby więc udało się zarejestrować te wzorce aktywności, a następnie zwerbalizować je, możliwe byłoby przywrócenie łatwej komunikacji wielu ludziom.
Zadanie to okazało się jednak niezwykle trudne. Początkowo zespół próbował wykorzystać proste modele komputerowe, opierające się na analizie spektrogramów, będących wizualnymi reprezentacjami częstotliwości poszczególnych dźwięków. Podejście to jednak nie przyniosło oczekiwanych rezultatów. Dlatego też badacze postanowili skorzystać z wokodera. Może on syntezować zrozumiałą mowę, przy czym wymaga “przeszkolenia” polegającego na analizie nagrań mówiących ludzi.
“Jest to technologia, którą używają Amazon Echo i Apple Siri, aby udzielać werbalnych odpowiedzi na pytania – mówi dr Mesgarani.”
Szkolenie wokodera odbyło się przy współpracy z pacjentami cierpiącymi na epilepsję, którzy przeszli operację mózgu. Słuchali oni nagrań, podczas gdy badacze analizowali aktywność ich mózgów, wykorzystując ją do trenowania wokodera. Ci sami pacjenci zostali też poproszeni o wysłuchanie innych nagrań, zawierających liczenie od 0 do 9. Sygnały wysyłane przez ich mózgi były wciąż przetwarzane przez wokoder, zaś produkowany przez niego dźwięk oczyszczany był za pomocą sieci neuronowych, naśladujących pracę ludzkich neuronów. W efekcie udało się uzyskać głos robota recytujący sekwencję cyfr, taką samą jak ta, której słuchali wcześniej uczestnicy. Naukowcy odtworzyli uzyskane w ten sposób dźwięki innym osobom, aby przekonać się, czy będą one rozpoznawalne.
“Odkryliśmy, że ludzie mogą zrozumieć i powtórzyć dźwięki w 75% przypadków, co znacznie przekracza wyniki wszelkich wcześniejszych prób – mówi dr Mesgarani. – Wrażliwy wokoder i potężne sieci neuronowe z zaskakującą dokładnością zrekonstruowały dźwięki, które pacjenci wcześniej usłyszeli.”
Dalsze prace zespołu z Columbia University będą polegały na testowaniu coraz bardziej skomplikowanych słów i zdań. Naukowcy chcą bowiem stworzyć implant, który będzie sczytywał aktywność fal mózgowych powstających podczas wyobrażania sobie mówienia i interpretował ją, a następnie generował odpowiednie wypowiedzi. Urządzenie będzie podobne do tego, które obecnie instalowane jest w mózgach pacjentów cierpiących na epilepsję. Powodzenie tych badań oznaczałoby prawdziwy przełom dla osób, które straciły zdolność mówienia, ale także dla ich najbliższych i opiekunów.