Robotyka sterowana umysłem: sukces interfejsu mózg-komputer UCSF

Zespół naukowców z Uniwersytetu Kalifornijskiego w San Francisco (UCSF) opracował unikalny interfejs mózg-komputer (BCI), który przybliża świat o krok do robotów sterowanych umysłem. Oto, jak nowy system może zmienić sposób interakcji z urządzeniami w dłuższej perspektywie i pomóc osobom cierpiącym na utratę kończyn odzyskać lepszą jakość życia.

Interfejs mózg-komputer (BCI)

Zastosowanie interfejsów mózgowo-komórkowych (BCI) stale rośnie na rynku. Urządzenia te umożliwiają ludziom sterowanie urządzeniami wyłącznie za pomocą myśli. Działają one w oparciu o różnorodne czujniki elektromagnetyczne, które monitorują zmiany aktywności mózgu. Systemy te wykorzystują charakterystyczne dla mózgu somatotopowe reprezentacje prostych czynności, takich jak stukanie palcem, do określania ich ruchu.

Problemy z dzisiejszym interfejsem mózg-komputer

BCI zapewniają ekscytujące możliwości rynkowi, ale technologia ta jest wciąż w fazie początkowej. Istotne wady, takie jak koszt programowania tych urządzeń i konieczność ciągłej regulacji w celu uzyskania prawidłowej kalibracji, nadal ograniczają adopcję. Na szczęście nowe badanie zagłębia się w to, dlaczego BCI wymagają regulacji i wprowadza nowatorski system, który zapewnia długoterminowe wsparcie BCI.

Badanie interfejsu mózg-komputer

Badanie zatytułowane „Badanie plastyczności reprezentacyjnej prostych wyobrażonych ruchów w ciągu dnia umożliwia długoterminową kontrolę neuroprotetyczną"¹ opublikowane w czasopiśmie naukowym Cell zawierają szczegółowe informacje na temat tego, jak umożliwić długoterminową, złożoną kontrolę neuroprotetyczną.

Robotyka sterowana umysłem

Celem badania było monitorowanie, katalogowanie i odkrywanie zmian w aktywności mózgu podczas codziennych zadań i prostych ruchów. Aby wykonać to zadanie, naukowcy śledzili zmiany struktury reprezentacyjnej aktywności mózgu w ciągu dni za pomocą kontroli BCI.

Elektrokortykografia Interfejs mózg-komputer

Elektrokortykografia BCI pozwoliła inżynierom porównać aktywność neuronalną z jednopółkulistą siatką ECoG, która przedstawia wyobrażone ruchy części ciała. To podejście było wymagane do określenia struktury reprezentacyjnej w mózgu. W szczególności zespół wykorzystał separację parami jako metrykę śledzenia.

Interfejs mózgowo-komputerowy (BCI) integruje modele sztucznej inteligencji (AI), aby dostosować się do stopniowych zmian wzorców aktywności neuronalnej w czasie. Zmiany te, znane jako dryf reprezentacyjny, zachodzą, gdy mózg adaptuje się do powtarzających się zadań ruchowych. AI udoskonala interpretację sygnałów mózgowych, pozwalając uczestnikowi zachować kontrolę nad ramieniem robota przez wiele miesięcy. W badaniu wykorzystano wewnątrzkorowy interfejs mózg-komputer, w którym maleńkie elektrody wszczepiono bezpośrednio do mózgu w celu rejestrowania aktywności neuronalnej. W przeciwieństwie do elektrokortykografii (ECoG), która umieszcza czujniki na powierzchni mózgu, implanty wewnątrzkorowe zapewniają nagrania o wysokiej rozdzielczości, ale wymagają bezpośredniej implantacji do tkanki mózgowej.

Plastyczność

Plastyczność odnosi się do zdolności mózgu do adaptacji do zmian w otoczeniu, zdrowiu lub doświadczeniach. Dokładniej rzecz ujmując, plastyczność synaptyczna, plastyczność homeostatyczna i neurogeneza w wieku dorosłym ulegają adaptacyjnym zmianom strukturalnym i funkcjonalnym na co dzień.

Te drobne zmiany mogą nie być zauważalne dla ludzi, ale BCI muszą pokonać to wyzwanie, aby pozostać stabilnymi. W związku z tym badacze chronologicznie wykreślili średnią odległość Mahalanobisa każdej sesji, aby zapewnić możliwość śledzenia.

Dryf reprezentacyjny

Dryf neuronowy to kolejne zjawisko, które inżynierowie muszą uwzględnić podczas tworzenia swojego systemu BCI. Dryf odnosi się do zmian aktywności i zachowania w czasie. Dryf występuje w przypadku większości pamięci długoterminowych związanych z umiejętnościami motorycznymi.

Rozumiejąc, że neuronowe reprezentacje znanych ruchów nieustannie ewoluują, zespół skonstruował wspólny rozmaitość, wykorzystując dane z różnych dni. Monitorowali dokładne codzienne zmiany i specyficzne różnice, zwłaszcza w centroidach neuronowych, których nie znaleziono w konstrukcji oryginalnych reprezentacji.

Wariancja reprezentacyjna neuronowa

Inżynierowie byli w stanie uwzględnić neuronalną wariancję reprezentacyjną każdej akcji. W związku z tym zespół odkrył meta-reprezentacyjną strukturę z uogólnialnymi granicami decyzyjnymi dla każdego repertuaru akcji, które można było zlokalizować, przesuwając się w całej sieci mentalnej.

Co ciekawe, zespół badał wcześniej wariancję psychiczną u zwierząt. To właśnie podczas tych badań po raz pierwszy zauważyli, że codzienne czynności można łatwo zdekodować z dużą dokładnością za pomocą czujników BCI. Zauważyli również, że czynności te stymulowały różne centroidy w całym układzie nerwowym w miarę upływu czasu.

Długoterminowy interfejs mózg-komputer

To odkrycie skłoniło inżynierów do śledzenia reprezentacji migracji w sieci mózgowej, aby uzyskać długoterminową kontrolę BCI. W szczególności, naukowcy byli w stanie śledzić i korygować plastyczność i dryft w ciągu dnia za pomocą opatentowanej sztucznej inteligencji.

Test interfejsu mózg-komputer

W ramach fazy testowania inżynierowie zebrali dane podczas 30 działań w 49 próbach i 32 działań w 48 próbach. Co ciekawe, test skupił się na jednej części ciała, dłoni. Pierwszym krokiem było wybranie podzbioru działań i zmierzenie struktury reprezentacyjnej działań w różnych kontekstach, z ostatecznym celem kontrolowania wirtualnego ramienia robota Jaco.

Uczestnicy testu interfejsu mózg-komputer

Inżynierowie wybrali uczestnika, który cierpiał na ciężką tetraparezę i anartrię z powodu obustronnego udaru pnia mózgu. Udar był tak poważny, że pozbawił go zdolności mówienia lub poruszania się. Uczestnicy z tetraplegią nie doznali żadnych uszkodzeń poznawczych, co czyniło ich idealnymi do badania.

Po podłączeniu pacjenta do zaktualizowanego interfejsu mózg-komputer (BCI), zlecono mu kilka zadań o różnym stopniu trudności, począwszy od wizualizacji ruchu różnych części ciała, na przykład czubków palców, głowy czy nóg, aż po mikroruchy palca wskazującego.

Zespół wykorzystał BCI oparte na ECoG do rejestrowania reprezentacji mózgu dla każdej czynności. Ulepszony BCI oferował inżynierom zwiększoną rozdzielczość i możliwość przeprowadzania precyzyjnej manipulacji reprezentacjami opartej na sprzężeniu zwrotnym. Co ciekawe, nie zaobserwowano żadnego ruchu ciała pacjenta, ale aktywność umysłowa była taka sama, jakby nie był sparaliżowany.

Sterowanie ramieniem robota

Następnym krokiem było zintegrowanie ramienia robota Kinova Jaco do testów. W pierwszej fazie testów poproszono pacjenta o manipulowanie urządzeniem przy użyciu jego zdolności umysłowych. Test polegał na tym, że pacjent próbował podnieść przedmiot i przenieść go w nowe miejsce. Ten wczesny etap testów wykazał słabą sterowalność i brak niezawodności ze strony użytkownika.

Środowisko wirtualne 3D

Uznając, że kontrolerowi trzeba przekazać więcej informacji zwrotnych, zespół stworzył wirtualne ramię robota. To podejście pozwala użytkownikom udoskonalić kontrolę i zapewnić cenne informacje zwrotne, umożliwiając im śledzenie postępów i możliwości. Inżynierowie uważają, że ta szybka nauka w trakcie sesji będzie kluczowa dla przyszłych systemów szkolenia protetycznego.

Test czasu dostosowania interfejsu mózg-komputer

Jednym z największych przełomów w tym badaniu jest to, że inżynierowie byli w stanie wykorzystać tę samą protezę ręki i pacjenta, po zaledwie 15-minutowej rekalibracji po miesiącach oczekiwania między sesjami. Termin ten wykorzystywał głęboką rekurencyjną sieć neuronową (RNN) do dostosowania się do plastyczności i dryfu.

Po miesiącach oczekiwania pacjent został odesłany z powrotem do pisania SMS-ów i otrzymał określone zadania. Przeprowadzono dwa złożone testy sięgania po uchwyt i manipulacji obiektami o różnym poziomie trudności, aby sprawdzić, czy system działa prawidłowo.

Pierwsze zadanie wymagało od pacjenta sięgnięcia i obrócenia ramienia, aby chwycić przedmiot i przenieść go w inne miejsce. Co imponujące, zespół osiągnął medianę sukcesu na poziomie 90%, kończąc zadanie w zaledwie 60.8 s. Kolejne zadania były trudniejsze, a ostatnie wymagało od pacjenta otwarcia szafki, wyjęcia kubka i trzymania go przy dozowniku wody, aż się napełni.

Wyniki testów interfejsu mózg-komputer

Wyniki testów wykazały, że ulepszony interfejs BCI mógł śledzić zmienność neuronalną i zapewniać większą precyzję neuronalną. Badanie wykazało, że sygnały mózgowe dotyczące ruchu pozostają stabilne w czasie, ale ich lokalizacja ulega niewielkim zmianom.

AI dostosowuje się automatycznie, aby śledzić te zmiany, umożliwiając łatwą konfigurację systemów, które działają podobnie do urządzeń typu plug-and-play na komputerze. Zespół odkrył również kilka interesujących danych podczas swojej podróży.

Zauważyli, że każda kończyna ma podobne wzorce inicjatywy u różnych ludzi. Na przykład mogą przyjrzeć się wzorcom mózgowym i zobaczyć różnicę między ruchami prawej i lewej ręki. Ponadto zespół stwierdził, że szybkie zmniejszanie wariancji jest kluczowe dla percepcyjnego podejmowania decyzji.

Ponadto badanie wykazało, że statystyki neuronowe, takie jak wariancja, można śledzić i regulować w celu zwiększenia odległości reprezentacyjnych podczas sterowania BCI bez zmian somatotopowych.

Korzyści z interfejsu mózg-komputer

Połączenie uczenia się człowieka i sztucznej inteligencji przynosi długą listę korzyści. Systemy te mogą pewnego dnia pomóc osobom cierpiącym z powodu bolesnej straty odzyskać kontrolę nad swoim życiem i umożliwić im wykonywanie codziennych czynności bez stresu.

Stabilność

Badanie wykazało, jak dostosowanie BCI może zapewnić stabilność tych urządzeń sterujących. Decyzja zespołu o wykorzystaniu rozmaitości niskowymiarowych i względnych odległości reprezentacyjnych do repertuaru prostych, wyobrażonych ruchów okazała się słuszna.

Nowy rekord

Do tego ostatniego testu najdłuższy czas pracy BCI bez ponownej kalibracji wynosił około 2-3 dni. Ta potrzeba ciągłej ponownej kalibracji relegowała te urządzenia wyłącznie do testów. Teraz ulepszony BCI może wytrzymać do 7 miesięcy bez żadnych aktualizacji, otwierając drzwi dla bardziej responsywnych i tańszych protez i nie tylko.

Bardziej wydajny

Ulepszony BCI potrzebuje tylko około 15 minut, aby skalibrować się co 6 miesięcy. Jest to poważna aktualizacja poprzedniego systemu, który wymagał kalibracji co 3 dni z powodu pogorszenia wydajności w dłuższych okresach dla zadań wymagających wysokiej precyzji.

Badacze interfejsu mózg-komputer

Badaczami z UC San Francisco kierował profesor neurologii i członek UCSF Weill Institute for Neurosciences, Karunesh Ganguly MD, PhD. Współautorami artykułu byli badacz neurologii Nikhilesh Natraj, PhD, Sarah Seko, Adelyn Tu-Chan i Reza Abiri z University of Rhode Island. Warto zauważyć, że projekt został sfinansowany przez National Institutes of Health i UCSF Weill Institute for Neurosciences.

Przyszłość interfejsu mózg-komputer

Według zespołu, celem jest teraz uczynienie ramienia robota płynniejszym i bardziej responsywnym. Chcą również rozszerzyć polecenia mapowane przez BCI, aby zwiększyć wszechstronność i możliwości urządzenia. W przyszłości mają nadzieję objąć nim inne części ciała.

Zastosowania w świecie rzeczywistym i harmonogram interfejsów mózg-komputer

Ten postęp może mieć odwrotny wpływ na wiele branż. Możliwość kontrolowania i interakcji z urządzeniami wykorzystującymi kontrolę mentalną byłaby znaczącym ulepszeniem obecnych metod. Mogłaby również otworzyć drzwi do nowej ery w opiece zdrowotnej, elektronice i nauce.

Chociaż obecne wdrożenia znajdują się w fazie eksperymentalnej, powszechne zastosowania kliniczne mogą stać się wykonalne w ciągu najbliższych 5–10 lat, w zależności od wyników dalszych badań i zatwierdzeń regulacyjnych. W związku z tym panuje duże podekscytowanie związane z przyszłymi możliwościami tej technologii.

Dyrektorem

Jednym z obszarów, w którym technologia ta znajduje natychmiastowe zastosowanie, jest sektor protetyki. Wykorzystanie technologii BCI jest przez wielu postrzegane jako szczyt systemów sterowania protetyką. To ostatnie odkrycie daje duże nadzieje na przywrócenie autonomii osobom z paraliżem, umożliwiając im interakcję z otoczeniem za pomocą urządzeń sterowanych myślami.

Innowacyjne firmy wiodące w rozwoju interfejsu mózg-komputer

Wyścig o stworzenie komputerów i urządzeń sterowanych mózgiem skłonił wiele firm do zainwestowania milionów dolarów w badania i rozwój. Firmy te dążą do zapoczątkowania nowej ery w dziedzinie zdrowia i nauki, wykorzystując urządzenia, które przewyższają dzisiejsze klawiatury i tradycyjne metody wprowadzania danych. Oto jedna z firm, która jest pionierem w tych działaniach i zdobywa uznanie na rynku.

Synchronizuj

Synchron rozpoczął działalność w 2012 r. jako pionierska firma neurotechnologiczna. Warto zauważyć, że firma przyjęła nazwę SmartStent. W 2016 r. firma zmieniła nazwę na Synchron, co odzwierciedla jej skupienie na rozwijaniu małoinwazyjnych BCI, aby pomóc pacjentom cierpiącym na utratę mobilności.

Obecnie Synchron oferuje różnorodne produkty, w tym endowaskularny interfejs nerwowy zwany Stentrode. Urządzenie to wchodzi do organizmu przez tętnice i wszczepia się do mózgu, aby zapewnić wsparcie dla umiejętności motorycznych. Ten produkt reprezentuje Synchronous ciągłe innowacje w sektorze.

Ponadto firma pozyskała dotacje od Agencji Zaawansowanych Projektów Badawczych w Dziedzinie Obronności USA (DARPA), Departamentu Obrony Stanów Zjednoczonych (DoD) oraz Narodowej Rady ds. Zdrowia i Badań Medycznych w Australii.

Osoby poszukujące ekspozycji na rynku BCI powinny przeprowadzić dalsze badania Synchron. Jego pozycjonowanie rynkowe i pionierskie wysiłki nadal stanowią podwaliny pod przyszłe interfejsy komputerowe oparte na sztucznej inteligencji i nie tylko.

Interfejsy mózg-komputer zmienią wszystko.

Dzisiejsze postępy w dziedzinie interfejsów mózg-komputer mogą sprawić, że Twoje marzenia science fiction wydadzą się przestarzałe. Komputery przyszłości będą mogły komunikować się z Tobą bezpośrednio za pomocą myśli, otwierając drogę do nowej ery ewolucji człowieka. Na razie tym inżynierom należą się brawa za ich wysiłki.

Dowiedz się więcej o innych przełomach w robotyce Dziś .

Przywoływane badania:

^{1. Ganguly, K., Natraj, N., Seko, S., Tu-Chan, A. i Abiri, R. (2024). Badanie plastyczności reprezentacyjnej prostych wyobrażonych ruchów na przestrzeni dni umożliwia długoterminową kontrolę neuroprotetyczną. Komórka, 2024. https://doi.org/10.1016/j.cell.2024.02.029}