Нейробиологи учат компьютеры читать слова прямо из мозга людей.
Келли Сервик, пишущая для Science, сообщила на этой неделе о трех статьях, опубликованных на сервере препринтов bioRxiv, в которых три разные группы исследователей продемонстрировали, что они могут декодировать речь из записей запуска нейронов. В каждом исследовании электроды, помещенные непосредственно в мозг, регистрировали нервную активность, в то время как пациенты, перенесшие операцию на мозге, слушали речь или читали слова вслух. Затем исследователи попытались выяснить, что пациенты слышали или говорили. В каждом случае исследователи смогли преобразовать электрическую активность мозга в по крайней мере несколько понятные звуковые файлы.
В первой статье, опубликованной в bioRxiv 10 октября 2018 года, описывается эксперимент, в котором исследователи воспроизводили записи речи для пациентов с эпилепсией, которые находились на стадии операции на головном мозге. (Нейронные записи, сделанные в эксперименте, должны были быть очень подробными, чтобы их можно было интерпретировать. И этот уровень детализации доступен только в редких случаях, когда мозг подвергается воздействию воздуха и электроды помещаются непосредственно на него, например, при операции на головном мозге. .)
Когда пациенты слушали звуковые файлы, исследователи записали, как нейроны запускают части мозга, которые обрабатывают звук. Ученые испробовали ряд различных методов для превращения этих нейрональных данных в речь и обнаружили, что «глубокое обучение», при котором компьютер пытается решить проблему более или менее без присмотра, работает лучше всего. Когда они воспроизводили результаты через вокодер, который синтезирует человеческие голоса, для группы из 11 слушателей, эти люди могли правильно интерпретировать слова в 75% случаев.
Вы можете прослушать аудио из этого эксперимента здесь.
Вторая статья, опубликованная 27 ноября 2018 года, основывалась на нейронных записях людей, перенесших операцию по удалению опухолей головного мозга. Когда пациенты читали вслоговые слова вслух, исследователи записывали как звуки, исходящие изо рта участников, так и нейроны, запускающие в области речи их мозга. Вместо того, чтобы тщательно тренировать компьютеры для каждого пациента, эти исследователи научили искусственную нейронную сеть преобразовывать нейронные записи в аудио, показывая, что результаты были по меньшей мере разумно понятны и аналогичны записям, сделанным микрофонами. (Аудио от этого эксперимента здесь, но должно быть загружено как файл почтового индекса.)
Третья статья, опубликованная 9 августа 2018 года, основывалась на записи части мозга, которая преобразует определенные слова, которые человек решает произнести, в движения мышц. В то время как в интернете нет записей об этом эксперименте, исследователи сообщили, что им удалось восстановить целые предложения (также записанные во время операции на головном мозге у пациентов с эпилепсией) и что люди, которые слушали эти предложения, могли правильно интерпретировать их при множественном выборе. тест (из 10 вариантов) 83 процента времени. Метод этого эксперимента основывался на выявлении закономерностей, связанных с производством отдельных слогов, а не целых слов.
Цель всех этих экспериментов состоит в том, чтобы однажды дать возможность людям, которые потеряли способность говорить (из-за бокового амиотрофического склероза или подобных состояний), говорить через интерфейс компьютер-мозг. Тем не менее, наука для этого приложения еще не существует.
Наука сообщила, что интерпретация нервных паттернов человека, воображающего речь, более сложна, чем интерпретация паттернов того, кто слушает или производит речь. (Однако авторы второй статьи сказали, что интерпретация мозговой активности человека, воображающего речь, может быть возможной.)
Также важно помнить, что это небольшие исследования. В первом документе использовались данные, полученные только от пяти пациентов, а во втором - шесть пациентов, а в третьем - только три. И ни одна из нейронных записей не длилась больше часа.
Тем не менее, наука движется вперед, и устройства искусственной речи, подключенные непосредственно к мозгу, кажутся реальной возможностью в какой-то момент в будущем.
