Speech synthesis from neural decoding of spoken sentences
Blog

UCSF、脳の信号から合成音声を生成｜この研究から考える新しいアイデアとは？




■脳の信号から合成音声を生成｜UCSF
Speech synthesis from neural decoding of spoken sentences
Speech synthesis from neural decoding of spoken sentences

参考画像：Speech synthesis from neural decoding of spoken sentences
｜YouTubeスクリーンショット

Synthetic Speech Generated from Brain Recordings（2019/4/24、UCSF）によれば、米カリフォルニア大学サンフランシスコ校（UCSF）の研究者は、脳の信号から合成音声を作ることができたそうです。

脳に電極を埋め込み、脳の言語中枢から信号を解読し、 唇、顎、舌および喉頭の動きをコンピュータシミュレーションを行なって、シンセサイザーで音声を生成します。

脳卒中、外傷性脳損傷、パーキンソン病、多発性硬化症および筋萎縮性側索硬化症（ALS、またはLou Gehrig病）などの神経変性疾患になると、発話能力の喪失という症状が現れることがあります。

つんく♂、喉頭がんで声帯摘出手術を受け声を失ったことを告白では、ミュージシャンのつんく♂さんが声帯の摘出手術を受けた結果、声を失ったことを告白し、声を取り戻すために「食道発声法」の習得をはじめたということを取り上げました。

目や顔の筋肉の動きをトラッキングする補助装置を使って、文字を書き出したり、合成音声を生成するのは、面倒であり、間違いがあったり、遅かったりと不便なところが多いです。

今回の研究が進めば、流ちょうなスピーチを可能にする合成音声を作り出すテクノロジーが進歩することによって、病気で話す能力が失われた人が再び声を取り戻すことが期待されます。

■この研究から考える新しいアイデアとは？

この研究を他の方法に利用すると、「自分がなりたい自分になる」という希望を叶えるために、声を変化させることもできるかもしれませんし、Vtuberの声をより自分がイメージするものに近づけるということにもできるかもしれません。

また、脳で考えたことをテキスト化や音声化するだけでなく、イメージ化することもできるようになれば、脳で考えたイメージをそのまま人と共有することもできるようになるかもしれません。

「攻殻機動隊」では、マイクロマシン経由で脳と外部世界を直接接続する技術「電脳化」する世界が描かれていますが、脳で考えたテキストを合成音声化する仕組みを使って、脳と車いすやパソコンなどと直接接続することにより、車いすやパソコンを動かすということももしかするとできるようになるかもしれません。

【関連記事】

テクノロジーの進歩によって、健常者・障害者という分け隔てする必要がなくなり、同じような行動をでき、なおかつ自分がなりたい自分で生きていく世界ができていくのではないでしょうか？







【参考リンク】