Loading ...Исследователи из Шанхая сообщили в исследовании, недавно опубликованном в журнале Science Advances, что им удалось успешно декодировать мандаринский китайский язык в режиме реального времени с помощью нейрокомпьютерного интерфейса (НКИ) – первого в своём роде нейрокомпьютерного интерфейса, работающего с тональными языками. Участник исследования также смог управлять роботизированной рукой и цифровым аватаром, а также взаимодействовать с большой языковой моделью с помощью этой новой системы.
Для чего используются нейрокомпьютерные интерфейсы (НКИ) для чтения мыслей?
Хотя большинство людей не хотят, чтобы компьютер читал их мысли, тем, кто не может говорить из-за неврологических заболеваний, таких как инсульты или боковой амиотрофический склероз (БАС), необходимо найти альтернативные способы общения. Интерфейсы для декодирования речи , способные декодировать нейронные сигналы, предлагают многообещающий способ восстановления коммуникации у таких людей. Помимо коммуникации, интерфейсы для декодирования речи также позволяют управлять устройствами напрямую силой мысли. Это особенно полезно при неврологических заболеваниях, при которых нарушения выходят за рамки потери речи.
Подобные устройства нельзя назвать новой технологией, однако большинство исследований в области декодирования речи с помощью BCI сосредоточено на английском языке, который не является тональным языком.
Ведущий подход фокусируется на вентральной сенсомоторной коре, которая кодирует артикуляционные кинематические траектории. Нейронные сигналы из этой области могут быть преобразованы в дискретные языковые единицы или параметры артикуляционных жестов и впоследствии синтезированы в слова, предложения или звуки. Эта стратегия особенно подходит для людей с неповрежденными речедвигательными зонами и направлена на восстановление функциональной коммуникации.
«Последние достижения в области декодирования английского языка позволили в режиме реального времени переводить активность мозга в текст или речь для пациентов с тяжелой дизартрией, вызванной такими заболеваниями, как боковой амиотрофический склероз (БАС) или инсульт ствола мозга», — пишут авторы исследования.
Преодоление трудностей декодирования китайского языка
Достижения в области нейрокомпьютерных интерфейсов, способных декодировать тональные языки, такие как китайский (мандарин), были более ограниченными. Поскольку китайский (мандарин) — тональный, односложный язык с высокой плотностью омофонов, декодирование речи представляет собой более сложную задачу. В некоторых предыдущих исследованиях декодировались небольшие наборы слогов или тонов китайского языка, но не весь необходимый для практического использования диапазон, и не в режиме реального времени.
Однако клиническое исследование, проведённое на пациенте с эпилепсией, позволило учёным, участвующим в новом исследовании, использовать другой подход. Исследование, проведённое на 43-летней женщине, использовало имплантированную 256-канальную матрицу электрокортикографии (ЭКоГ) высокой плотности для мониторинга и регистрации нейронных сигналов в ходе серии заданий на чтение отдельных символов и предложений в течение 11 дней. Для улучшения декодирования предложений была интегрирована трёхграммовая модель китайского языка.
По словам исследователей, анализ сигналов электрокардиограммы выявил чёткие нейронные корреляты для обработки слогов и тонов. Система достигла медианной точности распознавания слогов 71,2% в односимвольных задачах. Точность декодирования предложений в реальном времени достигла 73,1% с использованием языковой модели, а скорость передачи данных составила 49,7 знаков в минуту.
«Наше исследование показывает, что сочетание ультраконформных сеток ECoG высокой плотности с декодирующей структурой, ориентированной на слог, может привести к существенным улучшениям. Массивы ECoG обеспечили широкое и стабильное покрытие коры головного мозга, особенно в областях, связанных с речью, и позволили нам декодировать большой набор из 394 тональных слогов китайского языка с высокой точностью, основанной, главным образом, на нейронных характеристиках до какой-либо лингвистической постобработки», — пишут авторы исследования.
Усовершенствование будущих интерфейсов BCI для людей с потерей речи
Хотя исследование демонстрирует заметное улучшение работы интерфейсов мозг-компьютер (BCI), декодирующих китайский язык, авторы отмечают некоторые ограничения и области, требующие улучшения. В исследовании участвовал только один участник, что ограничивало возможности обобщения. Кроме того, поскольку массив ЭКоГ предназначался для клинического мониторинга эпилепсии, электродное покрытие не охватывало все области мозга, связанные с тонусом. Однако будущие исследования могут быть основаны на этом исследовании, что позволит дополнительно повысить точность и обобщение результатов.
Авторы исследования надеются расширить возможности применения BCI для широкого круга пациентов. Они отмечают: «Помимо повышения точности декодирования и производительности оборудования, расширение нейронных мишеней речевых BCI представляет собой захватывающую перспективу».
Хотя существующие подходы в основном используют сигналы из моторной и премоторной коры, ответственной за артикуляцию, будущие системы могут выиграть от включения активности в области языка высшего порядка, такой как средняя височная извилина, нижняя лобная извилина и надкраевая извилина. Интеграция семантической и синтаксической информации, обрабатываемой в этих областях, может помочь создать более стабильные и точные декодеры речи.
Новости партнеров:
Вам могло бы понравиться:
114
