「HoloLens」タグアーカイブ

【#落合陽一】網膜投影のメガネ型HMDで近視も遠視も老眼の人も見えるようになる!【#情熱大陸】|これまでの網膜投影システムのメリットとデメリット




【目次】

■網膜投影のメガネ型HMDで近視も遠視も老眼の人も見えるようになる!|#情熱大陸 #落合陽一

2017年11月19日放送の「情熱大陸」では、落合陽一さんが研究している網膜投影のメガネ型HMD(ヘッドマウントディスプレイ)が紹介されていました。

【参考リンク】

目はよく「カメラ」に例えられます。

モノを見るとき、私たちはモノを「光」として認識しています。

瞳を通して入った光は網膜という膜の上に像を結びます。

網膜はちょうどフィルムにあたり、角膜と水晶体がピントを調節する役割をしていて、水晶体がカメラのレンズにあたり、厚くなったり薄くなったりしてピントを合わせています。

しかし、強度近視は第2位の失明原因|強度近視で起こりやすい4つの病気によれば、近視は多くの場合、「眼軸長(がんじくちょう)」(角膜から網膜までの眼球の長さ)と呼ばれる眼球の奥行きが異常に延び、像が網膜より手前で結んでピンボケになりますが、強度近視では、この眼軸長が正視(像が正しく網膜に結ぶ)より3・5ミリ以上長いことが推定されています。

また、【この差って何ですか?】緑内障になりやすい人、なりにくい人の差は近視|6月12日によれば、緑内障患者の約6割が「近視」なのだそうです。

近視の人の目は眼球が歪んでおり、正常の眼球が23mmであるのに対し、近視の眼球は最大28mmになり、眼圧が高くなくても、圧力を受けてしまっているようです。

【関連記事】

同様に老眼や遠視も水晶体による調節ができづらくなることにより起きているのですが、網膜投影はこのピント調節をすることなく、直接網膜に光を届けることによりモノを見るという考え方です。

そこで、落合陽一さんがCEOを務めるPixie Dust Technologies(ピクシーダストテクノロジーズ)が製品化を進めているのが「Air Mount Retinal Projector」です。

【参考リンク】

先日、拡張現実(AR)のための広視野角の透過型HMDを実現する映像投影技術「Air Mounted Eyepiece」を発表しています。

Air Mounted Eyepiece – Digital Nature Group

こうしたアイデアを組み合わせることで、広い視野角でなおかつ、透過型で、網膜投影ができるHMDであれば、ARの分野だけでなく、医療などの様々な分野でも応用できるのではないでしょうか?




■これまでの網膜投影システムのメリットとデメリット|まとめ

Google glass front

by Bill Grado(画像:Creative Commons)

※イメージであり、今回の記事とは関係ありません。

[E3 2015]西川善司の3DGE:網膜投射型デバイスを採用するHoloLens,試して分かったMR対応型HMDのすごさと課題

(2015/6/20、4gamer)

網膜投射型システムでは,眼球内の瞳に映像光を直接注入し,網膜自体をスクリーンにして映像を結像させる仕組みになる。この方式の利点は,事前に視力に合わせた焦点距離調整を事前に行ってしまえば,視力矯正が不要なところにある(※だからブースでは最初に両目の間の距離を計測したのだ)。つまり,どんな視力の人でも裸眼で利用できることになる。

ただ,弱点もある。

それは,網膜に直接映像を投射する構造上,映像面積が比較的小さく見える点だ。

眼球内の開口部である瞳の中の穴を狙って映像を投射しているわけなので,瞳がズレれば,映像が消えたり見切れたりする。

網膜投影にはメリットとデメリットがあるそうです。

メリットは先ほど紹介したように、どんな視力の人でも視力矯正が必要なくモノを見ることができるようになるということ。

デメリットは、網膜に直接映像を投影するため、ずれると映像が見えなくなるということです。

この弱点を補うためには、複数の映像を投影する、もしくは眼球の動きを追跡するアイトラッキングなどの解決策があるそうですが、そうなるとコストが高くなってしまいます。

ピクシーダストテクノロジーズの「Air Mount Retinal Projector」のページには、このように書かれています。

我々はシンプル+小型+透過型+広視野角+低消費電力のHMDを実現しうる網膜投影光学系を発明しました。

おそらく先ほど紹介した網膜投影方式の弱点を改善したものであるはずですので、どんなものになるのか気になるところです。

今回紹介したものは網膜投影方式によって角膜や水晶体によるピント調節に頼らずモノも見ることができるようになるというもので、なおかつARにも活用できるというものですが、AR(拡張現実)技術とは、コンピュータを使って、現実の風景に情報を重ね合わせて表示する技術のことであり、グーグルグラスに代表される眼鏡型ウェアラブルデバイスやコンタクトレンズ型、HoloLensに代表されるヘッドマウントディスプレイ型がありますが、OMEGA OPHTHALMICSはセンサー、ドラッグデリバリーデバイス、AR/VRを取り込むことができる目のインプラントプラットフォームの提供を目指すでは、「Omegaophthalmics」が開発しているのは、眼の中に外科的に眼内レンズ埋め込む侵襲的アプローチを紹介しました。

また、「見る」ということに関しては、様々なアプローチが行なわれています。

グーグルが目の中に電子デバイス埋め込み視力改善する特許出願では、Googleが特許を出願した眼球に直接挿入する視力矯正用電子デバイスで、眼球内の水晶体を取り除いて、その水晶体を覆っていた水晶体嚢に、データ記憶装置、センサー、通信機、バッテリー、電気的に焦点を調整できるポリマー製レンズでできたデバイスを埋め込み、外部のコンピューターと通信しながら、見ている映像の光が網膜上に焦点を結ぶように、レンズの厚みをリアルタイムで調整するシステムに関するアイデアを紹介しました。

国内初、網膜色素変性症の患者の視力回復に成功|大阪大では、人工網膜や人工視覚システムというアプローチを紹介しました。

脈絡膜上経網膜電気(STS)法による人工視覚システムの臨床応用
脈絡膜上経網膜電気(STS)法による人工視覚システムの臨床応用

脈絡膜上経網膜電気(STS)法による人工視覚システムの臨床応用 大阪大学大学院医学系研究科感覚機能形成学 不二門 尚|厚生労働省|スクリーンショット

脈絡膜上経網膜電気(STS)法による人工視覚システムの臨床応用 大阪大学大学院医学系研究科感覚機能形成学 不二門 尚|厚生労働省によれば、次のようなシステムになると考えられます。

ビデオカメラで画像を取り込み

→画像処理

→体外の無線コイルから信号を体内埋め込み装置に伝える

→眼球の強膜内に設置された電極チップに伝えられ、電気刺激により網膜が興奮し、擬似視覚が得られる。

感覚系による人工臓器-人工網膜|大阪大大学院医学系研究科 神田寛行、不二門尚によれば、人工網膜には3つの方式があります。

1.網膜上刺激方式(Epi-retinal Stimulation)

網膜タックを使って網膜上(網膜と硝子体の境界)に多極電極を固定する方式で、網膜神経節細胞に近いところで刺激が行なうことができるため、刺激効率が良い。一方で、多極電極を網膜へ安定に固定することが難しい点が課題である。

南カリフォルニア大学はSecond Sight社と共同で、網膜上刺激方式を採用して、人工網膜の開発を進めているそうです。

2.網膜下刺激方式(Sub-retinal Stimulation)

これは多極電極を網膜下(網膜と脈絡膜の間)に埋植し網膜を刺激する方式で、多極電極の基板上に受光素子を組み込むことができる。そのため、眼球運動に応じた画像情報を得ることができる。また対外装置にビデオカメラを必要としない。一方、埋植手術の際に網膜剥離を作る必要があり、網膜への侵襲性が高いという課題がある。

ドイツのチュービンゲン大学はRetina Implant社と共同で、網膜下刺激方式を採用して、人工網膜の開発を進めているそうです。

3.脈絡膜上経網膜刺激方式(Suprachorodal-transretinal Stimulation)

STS方式は網膜への侵襲が少ないだけでなく、広い視野を確保できるという利点を持つ。

大阪大学が選択したのは、「脈絡膜上経網膜刺激方式(STS)」です。

このほかにも様々なアプローチで解決しようというところがあります。

【関連記事】

今後も、この分野には様々なアプローチで取り組む人が出てくると思いますので、大変楽しみですね。







【関連記事】

【参考リンク】

■落合陽一さんまとめ

情熱大陸を見て落合陽一さんに興味を持った人は書かれている著書・アート作品・研究・講演などをぜひ見てみてくださいね。

そこで、どういう風に考えが変わったのか、変わっていないものが何なのかを考えてみるのも面白いのではないでしょうか?

J-WAVE THE HANGOUT 宇野常寛 2014年12月8日 with 落合陽一

発明王・エジソンに影響を受けた?“現代の魔法使い”メディアアーティスト・落合陽一「人とロボットの区別はやがてつかなくなる」|2021 未来のテラピコ

【SoftBank World 2017】特別講演 落合 陽一 氏

Fairy Lights in Femtoseconds: Tangible Holographic Plasma (SIGGRAPH)

Levitrope (2017, Mixed Media) / Yoichi Ochiai

日本再興戦略 (NewsPicks Book)

新品価格
¥1,620から
(2017/11/20 15:59時点)

これからの世界をつくる仲間たちへ

新品価格
¥1,404から
(2017/11/20 16:00時点)

超AI時代の生存戦略

魔法の世紀

新品価格
¥2,484から
(2017/11/20 16:00時点)

【関連記事】

「インクルージョン」という考え方を知れば、あなたの周りの世界はやさしくなる!?では、「ブロックチェーン・レボリューション」(著:ドン・タプスコット+アレックス・タプスコット)で書かれている「インクルージョン」という考え方を紹介しました。

ブロックチェーン・レボリューション ――ビットコインを支える技術はどのようにビジネスと経済、そして世界を変えるのか

新品価格
¥2,592から
(2017/11/20 15:36時点)

インクルージョンには様々な側面がある。社会的、経済的、人種的な強者による支配を終わらせること。体の状態や性別、ジェンダーアイデンティティー、性的嗜好によって差別されないということ。生まれた場所や逮捕歴、支持政党などによって参加を阻まれないこと。p69

自分にはどうすることもできない状態でいわゆる弱者(と呼ばれる状態)となってしまったと想像してみてほしいのです。

健康で、若く、経済的にも苦境に立たされることなく、性別における差別もなく、生まれた場所も平和で、家族に逮捕歴などもないというような恵まれた状況にあると、見えてこない世界があるかもしれません。

どんなに自分は大丈夫だと思っていても、ある日突然、事故や病気に合ったり、日本円が使えなくなったり、戦争状態に陥ったりしてしまうと、弱者の側に立たされてしまうかもしれません。

包含・含有・包括性・包摂・受け入れるといった意味を持ち、誰も排除せず、様々な人を受け入れるという「インクルージョン(Inclusion)」という考えをもって想像するとまた違ったアプローチができるのではないでしょうか?

【関連記事】

Cardiolens|Hololensを使って相手のバイタルサイン(心拍数・脈拍数)をリアルタイムで可視化するAR・MRアプリ|Microsoft Researchら

> 健康・美容チェック > 脈拍 > Cardiolens|Hololensを使って相手のバイタルサインをリアルタイムで可視化するAR・MRアプリ




■Cardiolens|Hololensを使って相手のバイタルサインをリアルタイムで可視化するAR・MRアプリ

Cardiolens|Hololensを使って相手のバイタルサインをリアルタイムで可視化するAR・MRアプリ
Cardiolens|Hololensを使って相手のバイタルサインをリアルタイムで可視化するAR・MRアプリ

参考画像:Cardiolens: Remote Physiological Monitoring in a Mixed Reality Environment|スクリーンショット

Microsoft Researchら、HoloLens越しに見る相手のバイタルサイン(心拍数や脈波など)をリアルタイムに測定・可視化するARアプリ「Cardiolens」を論文にて発表

(2017/5/26、Seamless)

Microsoft Researchと国立民間航空学院の研究者は、HoloLensなどのARヘッドセットを使用してバイタルサインのリアルタイムな可視化を可能にする生理学的測定ツール「Cardiolens」を論文にて発表しました(PDF)。

ウェアラブルデバイスなどをつけることにより、血圧や脈拍数、体温などのバイタルサインをセンサーで読み取り表示する仕組みをこれまでいくつも紹介してきました。

今回紹介する論文によれば、MicrosoftのHoloLensを用いて”相手のバイタルサイン”をリアルタイムに見ることができるツールが考え出されているようです。

周囲の光とデジタルカメラを使って、肌から反射された光の小さな変化によって血液量パルス(BVP:Blood Volume Pulse)を測定し、また、脈拍数や呼吸数などのバイタルサインを計算します。

15秒間見ると、心拍数と脈拍が表示される仕組みになっています。




■まとめ

以前、血行状態が映る「魔法の鏡」開発|将来的には自律神経指標に基づく未病対策が目的|東北大学では、ビデオカメラとコンピューターを内蔵した鏡型ディスプレーの前に立つだけで、その時の血行状態などが分かる血行状態モニタリング装置「魔法の鏡」を開発したニュースを紹介しましたが、その「鏡」がHoloLensになったという感じでしょうか。

Visualizing blood flow in different parts of the body in real-time would be useful for surgeons in an operating theatre.

論文の中では、リアルタイムで血流を視覚化することが手術する外科医にとって有益であるとありましたが、血行状態が視覚化することができれば、病気になる前に病気のサインを見つける未病対策にも役立つのではないでしょうか。

ザッカーバーグ夫妻、人類の病気を予防・治療するプロジェクトで30億ドルを投資で紹介したザッカーバーグさんはこのようにコメントしています。

ザッカーバーグは「アメリカでは病気にかかった人々を治療するための支出に比べて、そもそも人々が病気にならないように研究するための支出はわずか50分の1しかない」と述べた。

ザッカーバーグさんのコメントは、病気を発症してからではなく、病気予防に重点を置くという考え方は、東洋医学の「未病」という考え方に近いと思います。

日本でも2015年度の医療費は41.5兆円|高齢化や抗がん剤などの高額な新薬が増えているがニュースになりましたが、予防医療・予防医学に取り組んでいくことは医療費の削減するためにも今後重要になっていくと考えられますし、また、QOL(生活の質)の向上といった間接的なコスト削減も期待できると考えられます。







【参考リンク】
続きを読む Cardiolens|Hololensを使って相手のバイタルサイン(心拍数・脈拍数)をリアルタイムで可視化するAR・MRアプリ|Microsoft Researchら

HoloEyes VR|HoloLens(ホロレンズ)をつけた医師がVRで患者の3Dモデルを見ながら手術方法を共有する




【目次】

■HoloEyes VR|HoloLensをつけた医師がVRで患者の3Dモデルを見ながら手術方法を共有する

HoloLens Mixed Reality Surgery: holographic augmented mixed reality navigation (HoloEyes VR 2016)
HoloLens Mixed Reality Surgery: holographic augmented mixed reality navigation (HoloEyes VR 2016)

参考画像:HoloLens Mixed Reality Surgery: holographic augmented mixed reality navigation (HoloEyes VR 2016)|YouTubeスクリーンショット

「IVS(Infinity Ventures Summit:インフィニティ・ベンチャーズ・サミット)」のピッチバトル「LaunchPad」に登壇したスタートアップで気になるモノを見つけました。

それが、HoloEyes VRです。

HoloLens Mixed Reality Surgery: holographic augmented mixed reality navigation (HoloEyes VR 2016)

HoloEyes VRは、HoloLensをつけた医師がVRで患者の3Dモデルを見ながら、スタッフと議論し、手術方法を共有するというものです。

最近では、AR技術やVR技術が医療の分野で活用されているようです。




■AR/VRテクノロジーが耳鼻咽喉科の手術に利用されている|マギル大学

カナダのマギル大学のヘルスセンター(The McGill University Health Centre :MUHC)の研究によれば、ARとVRを耳鼻咽喉科の手術に利用しているそうです。

[vimeo]https://vimeo.com/219596681[/vimeo]

The McGill University Health Centre uses augmented reality in ENT surgery

Scopis TGS® – Target-Guided Surgery – Sphenoid Sinus Left Side

■まとめ

以前、3Dプリンタで作った肝臓のモデルを使えば、手術のシミュレーション・トレーニングに役立つでは、神戸大学医学部附属病院で杉本真樹医師が3Dプリンタで作った生体モデルを使うことで、手術中に生体モデルと照らし合わせながらスタッフと議論し、最適な方法を選択するというニュースをお伝えしましたが、そのVR版といえばよいでしょうか?

VRと3Dプリンタで作った生体モデルではどのような違いがあるのでしょうか。

単純に考えると、触覚の面での違いがありそうですが、VRならではのメリットがあるはずです。







【参考リンク】
続きを読む HoloEyes VR|HoloLens(ホロレンズ)をつけた医師がVRで患者の3Dモデルを見ながら手術方法を共有する