April 25, 08:38

Интересное исследование о синтезе голоса из «мозговой активности» с применением нейронки опубликовало отделение неврологической хирургии UCSF, США.

Вольный пересказ:

На вход нейронной сети подают записанную активность коры головного мозга (запись происходила в момент когда человек говорил что-то), нейронная сеть «вычленяет» из этой активности сигналы которые должны управлять движением языка для формирования звуков, эти «сигналы движения» декодер синтезирует в звук.

Применений масса – люди, которые потеряли способность говорить из-за разных причин, могут получить возможность говорить снова. Помимо этого, в документе отмечено: «Декодер может синтезировать речь, даже когда участник молча имитирует разговор».

Тут можно послушать звук который синтезируется:

youtu.be/kbX9FLJ6WKw?t=8

А тут почитать описание:

www.gwern.net/docs/ai/2019-anumanchipalli.pdf

Speech synthesis from neural decoding of spoken sentences
Gopala K. Anumanchipalli, Josh Chartier and Edward F. Chang UCSF Department of Neurological Surgery Appeared in Nature on April 24, 2019.