VR/AR/腦機(jī)接口是集合了微顯示、傳感器、芯片和算法等多項(xiàng)技術(shù)在內(nèi)的下一代人機(jī)交互平臺(tái)?;仡櫿麄€(gè)人機(jī)交互發(fā)展歷程,我們看到人機(jī)交互的指令輸入形式和反饋輸出形式都在朝著更低的操作門檻和更高的交互效率演變。當(dāng)前我們正站在智能手機(jī)時(shí)代和下一個(gè)交互形態(tài)的交界處,我們認(rèn)為盡管 VR/AR 在輸入技術(shù)(傳感)和輸出技術(shù)(顯示)方面均較上一代交互設(shè)備有顯著飛躍,但目前仍處于發(fā)展的早期階段。隨著元宇宙應(yīng)用的發(fā)展和內(nèi)容生態(tài)的完善,元宇宙對(duì)硬件的需求逐步清晰,將推動(dòng) VR/AR/腦機(jī)接口設(shè)備的逐步升級(jí),最終有望出現(xiàn)可以和 PC、智能手機(jī)媲美的下一代硬件。
本期的智能內(nèi)參,我們推薦華泰證券的報(bào)告《人機(jī)交互系統(tǒng)是通往元宇宙的入口》,分析VR、AR和腦機(jī)接口設(shè)備在元宇宙時(shí)代的發(fā)展趨勢(shì)。
來源 華泰證券
原標(biāo)題:
《人機(jī)交互系統(tǒng)是通往元宇宙的入口》
作者:黃樂平 等
一、元宇宙場(chǎng)景落地,定義下一代 VR/AR/腦機(jī)接口升級(jí)方向
隨著元宇宙應(yīng)用場(chǎng)景的清晰化,未來 VR/AR/腦機(jī)接口的發(fā)展方向逐漸明確。早期的硬件設(shè)備受制于應(yīng)用場(chǎng)景和內(nèi)容單一化、用戶對(duì)硬件設(shè)備的體驗(yàn)不完善等缺陷,初代VR/AR 并未實(shí)現(xiàn)大規(guī)模增長(zhǎng)。當(dāng)前時(shí)點(diǎn),我們看到游戲、電商、協(xié)同辦公、社交、健身、醫(yī)療、視頻和模擬訓(xùn)練(教育)等元宇宙應(yīng)用場(chǎng)景正逐漸清晰,這對(duì) VR/AR/腦機(jī)接口硬件端提出了更高的需求,有望驅(qū)動(dòng)包括微顯示技術(shù)、三維重建、生物傳感器、肌電/腦電處理、全身追蹤、空間定位在內(nèi)的多項(xiàng)底層技術(shù)不斷完善。
元宇宙各大應(yīng)用場(chǎng)景對(duì)沉浸感和交互感的要求
元宇宙時(shí)代的應(yīng)用比移動(dòng)互聯(lián)網(wǎng)時(shí)代更強(qiáng)調(diào)沉浸感和交互感,不同應(yīng)用對(duì)兩種效果的側(cè)重各有不同。其中,沉浸感可通過更豐富的音畫效果和更多維度的感官交互獲得,例如借助場(chǎng)景渲染、沉浸聲場(chǎng)、溫度模擬、觸覺傳感等技術(shù)營(yíng)造出逼真的虛擬場(chǎng)景,使大腦產(chǎn)生“身臨其境”的感覺;交互感則需借助多樣化的輸入方式來降低人機(jī)交互的操作門檻,例如直接通過識(shí)別語音或讀取手勢(shì)來傳達(dá)指令,無需打字或操作鍵鼠/按鈕,增強(qiáng)互動(dòng)效率。
1、游戲:強(qiáng)調(diào)“沉浸感”的元宇宙游戲需要多平臺(tái)/VRAR/云原生技術(shù)作為底層技術(shù)支撐
當(dāng)前游戲已具備元宇宙所擁有的虛擬身份、朋友、經(jīng)濟(jì)系統(tǒng)等特點(diǎn),但未能給玩家完全帶來“沉浸感”,硬件方面主要受制于近眼顯示和多維感官傳感技術(shù)不夠成熟。未來,元宇宙游戲?qū)⒊鼜?qiáng)的沉浸感與更豐富的內(nèi)容生態(tài)方向發(fā)展,需要借助成熟的場(chǎng)景渲染和沉浸聲場(chǎng)技術(shù)增強(qiáng)聲畫效果,借助全身運(yùn)動(dòng)追蹤、傳感器、空間定位等技術(shù)增強(qiáng)臨場(chǎng)感。我們認(rèn)為優(yōu)質(zhì)的游戲內(nèi)容創(chuàng)新將與 VR/AR 硬件升級(jí)互相形成正反饋效應(yīng),促進(jìn)元宇宙游戲生態(tài)的發(fā)展,并為高性能計(jì)算芯片、硅基 OLED、Micro LED 以及相關(guān)設(shè)備組裝企業(yè)帶來增量空間。
元宇宙游戲發(fā)展方向及底層技術(shù)
2、電商:虛實(shí)交融的沉浸式購(gòu)物模式為近眼顯示、AI 芯片、傳感器帶來發(fā)展機(jī)遇
傳統(tǒng)電商平臺(tái)仍主要以圖片和視頻等平面化形式展示商品。盡管近年來電商直播、AR 試妝等形式興起,一定程度上彌補(bǔ)了傳統(tǒng)電商在購(gòu)物時(shí)較為單薄的觀感體驗(yàn),然而對(duì)于服飾等SKU 豐富的非標(biāo)品類商品,用戶仍然無法對(duì)其進(jìn)行在線試品。在“在線即在場(chǎng)”的終極需求驅(qū)動(dòng)下,元宇宙時(shí)代的電商有望進(jìn)一步突破物質(zhì)世界屏障,通過 AR/VR/MR 等新一代人機(jī)交互平臺(tái)實(shí)現(xiàn)視聽甚至觸覺等多感官交互的購(gòu)物體驗(yàn),創(chuàng)造如 3D 虛擬商場(chǎng)、數(shù)字展館等消費(fèi)者購(gòu)買場(chǎng)景。我們認(rèn)為這一進(jìn)程主要依賴于近眼顯示、三維重建、觸覺傳感乃至虛擬人等技術(shù)的成熟,將為相關(guān)微顯示、傳感器、芯片企業(yè)帶來增長(zhǎng)空間。
元宇宙電商有望借助 VR/AR/MR 實(shí)現(xiàn)“在線即在場(chǎng)”的沉浸式購(gòu)物體驗(yàn)
3、協(xié)同辦公/社交:借助手勢(shì)追蹤、語音識(shí)別、眼動(dòng)追蹤、虛擬化身實(shí)現(xiàn)互動(dòng)感
未來元宇宙辦公/社交有望突破物理空間的局限,將帶來最接近實(shí)地面對(duì)面的工作和交友體 驗(yàn),提升辦公生產(chǎn)、溝通、協(xié)作效率。當(dāng)前移動(dòng)互聯(lián)網(wǎng)階段的遠(yuǎn)程辦公距離理想模式有一定差距,工作效率與溝通效果仍存在局限性。而元宇宙辦公/社交則強(qiáng)調(diào)互動(dòng)感,例如,用戶可以全程通過手勢(shì)操作,即可滿足在 VR 虛擬空間中舉手、豎大拇指點(diǎn)贊等功能,顯著降低人機(jī)交互平臺(tái)操作門檻,同時(shí)實(shí)現(xiàn)無距離感互動(dòng)。這一場(chǎng)景的實(shí)現(xiàn)將主要借助手勢(shì)讀取、眼動(dòng)追蹤、語音識(shí)別、空間定位等 VR/AR 底層技術(shù)。
4、醫(yī)療與健康:VR/AR/腦機(jī)硬件將搭載先進(jìn)生物監(jiān)測(cè)以及腦電信號(hào)處理技術(shù)
在 VR/AR 方面,盡管目前已出現(xiàn)了拳擊、攀巖、球類運(yùn)動(dòng)等輔助健身的應(yīng)用,欠佳的硬件佩戴體驗(yàn)卻限制了用戶使用時(shí)長(zhǎng)。一方面,VR 設(shè)備的眩暈感仍未完全消除,運(yùn)動(dòng)健身應(yīng)用中高速變換的場(chǎng)景將進(jìn)一步加劇不適感;另一方面,目前主流 VR 頭顯的重量大多在 300g以上,VR 一體機(jī)甚至普遍超過 500g,大大增加了佩戴者運(yùn)動(dòng)時(shí)的負(fù)擔(dān)。因此,顯示技術(shù)和輕薄化是硬件廠商重點(diǎn)攻克的方向,我們看好具有超輕薄、高清晰度、低功耗、低延遲等特點(diǎn)的硅基 OLED(索尼、視涯等),以及具有無感佩戴且不妨礙正常視線優(yōu)勢(shì)的入眼式AR 設(shè)備(InWith 和 Mojo Vision 等)的發(fā)展機(jī)會(huì)。
在生物監(jiān)測(cè)方面,當(dāng)前隨著心率監(jiān)測(cè)、血氧檢測(cè)技術(shù)的成熟,已有部分智能手環(huán)和手表產(chǎn)品中引入了醫(yī)療級(jí)功能,我們認(rèn)為向著更專業(yè)的醫(yī)療設(shè)備進(jìn)化將是智能穿戴重要發(fā)展方向。未來,智能穿戴產(chǎn)品有望大規(guī)模搭載 ECG 心電圖以及無創(chuàng)血糖檢測(cè)等新功能,針對(duì)老年群體、慢病群體提供更專業(yè)的服務(wù),這也對(duì)血糖、血氧等生物監(jiān)測(cè)技術(shù)提出了更高的要求。長(zhǎng)期來看,人機(jī)交互硬件在醫(yī)療與健康領(lǐng)域有望拓展到服務(wù)神經(jīng)系統(tǒng)和肌肉系統(tǒng)癱瘓的患者(如腦、脊髓疾病、中風(fēng)、外傷等),這一需求將為腦機(jī)接口技術(shù)創(chuàng)造可觀的發(fā)展前景。
生物檢測(cè)與輔助健身場(chǎng)景
5、視頻:VR/AR 技術(shù)帶來高沉浸感的流媒體觀賞體驗(yàn)
傳統(tǒng)影視作品、長(zhǎng)視頻與短視頻仍主要通過電視、影院、視頻平臺(tái)等媒介傳播,受制于平面化的表現(xiàn)形式,內(nèi)容的表現(xiàn)力仍有較大提升空間。元宇宙時(shí)代,觀眾有望使用先進(jìn) VR/AR設(shè)備更沉浸地觀看電影、現(xiàn)場(chǎng)實(shí)況、音樂會(huì)等內(nèi)容,娛樂性與體驗(yàn)感將迎來質(zhì)的飛躍。目前包括 Netflix 和愛奇藝在內(nèi)的長(zhǎng)視頻平臺(tái)已對(duì)“元宇宙+視頻”的落地做出了積極探索,例如 Netflix 為美劇《怪奇物語》推出 VR 體驗(yàn),愛奇藝推出主打觀影功能的手機(jī)盒子。借鑒移動(dòng)互聯(lián)網(wǎng)時(shí)代對(duì)短視頻生態(tài)的孵化歷程,元宇宙作為互聯(lián)網(wǎng)的下一站,也為視頻創(chuàng)作提供了新的可能性,例如通過建模、動(dòng)作捕捉、人工智能制作出的虛擬人物能夠參演影視劇集,影視與視頻內(nèi)容創(chuàng)作有望迎來新的高光期。
6、模擬訓(xùn)練/教育:將實(shí)現(xiàn)虛擬空間中對(duì)實(shí)體環(huán)境的仿真映射
模擬訓(xùn)練是指將現(xiàn)實(shí)中的場(chǎng)景復(fù)刻到虛擬世界中,應(yīng)用于軍事訓(xùn)練、工業(yè)設(shè)計(jì)、教學(xué)訓(xùn)練、安全應(yīng)急演練等較為復(fù)雜或具有高危險(xiǎn)系數(shù)的領(lǐng)域。工業(yè)領(lǐng)域中,制造業(yè)企業(yè)將在仿真虛擬空間中充分利用各類數(shù)據(jù),優(yōu)化工業(yè)生產(chǎn)環(huán)節(jié)中的設(shè)備工藝和作業(yè)流程。軍事和安全應(yīng)急領(lǐng)域均有進(jìn)行模擬演練的需求,未來有望在虛擬場(chǎng)景開展更大規(guī)模和更復(fù)雜的軍事和應(yīng)急訓(xùn)練,實(shí)現(xiàn)節(jié)省訓(xùn)練成本、提高安全性的目的,如曼恒科技研發(fā)出上海浦東機(jī)場(chǎng)的 VR 火災(zāi)應(yīng)急演練系統(tǒng),使用 VR 和 5G 云渲染技術(shù)模擬機(jī)場(chǎng)火災(zāi)突發(fā)事件及機(jī)場(chǎng)消防員在危險(xiǎn)場(chǎng)景下如何開展消防應(yīng)急救援,幫助提升機(jī)場(chǎng)系統(tǒng)整體應(yīng)急能力。鑒于模擬訓(xùn)練用途的特殊性,其對(duì)沉浸感和交互感的要求相對(duì)而言較低,無需依賴高端硬件設(shè)備加成,目前已有曼恒科技、壹傳誠(chéng)等企業(yè)實(shí)現(xiàn)了商業(yè)化。
二、AR/VR:下一代人機(jī)交互平臺(tái)
VR 是 Virtual Reality(虛擬現(xiàn)實(shí))的縮寫,指計(jì)算機(jī)圖形技術(shù)、計(jì)算機(jī)仿真技術(shù)、傳感器技術(shù)、顯示技術(shù)等多種科學(xué)技術(shù),在多維信息空間上創(chuàng)建一個(gè)虛擬信息環(huán)境,提供使用者關(guān)于視覺、聽覺、觸覺等感官的模擬,能使用戶具有身臨其境的沉浸感,具有與環(huán)境完善的交互作用能力的一種嶄新的人機(jī)交互手段。
目前常見的 VR 由頭戴式顯示設(shè)備和手柄組成。其中,頭戴式顯示設(shè)備集成了顯示、計(jì)算、傳感器等設(shè)備,通過將人對(duì)外界視覺、聽覺的封閉,并由左右眼屏幕分別顯示左右眼的圖像,引導(dǎo)用戶產(chǎn)生一種身在虛擬環(huán)境中的立體感。而手柄則負(fù)責(zé)輔助追蹤使用者手的位置、提供交互使用的按鍵,以及簡(jiǎn)單的觸覺震動(dòng)反饋。
VR 頭顯經(jīng)歷 VR 盒子、VR 頭盔、VR 一體機(jī)三階段,爆款產(chǎn)品持續(xù)主導(dǎo)硬件消費(fèi)市場(chǎng)。 2Q21 全球 VR 產(chǎn)品出貨量達(dá) 212.6 萬臺(tái),同比增長(zhǎng) 136.4%,其中 Oculus Quest 2 出貨量占 75%,持續(xù)主導(dǎo)市場(chǎng)。從 2014 年開始,行業(yè)銷量由爆款產(chǎn)品主導(dǎo)的特點(diǎn)仍然沒有變化(2015-2017 年三星 VR 盒子、2016-2018 年 PS VR、2019 年至今 Oculus 一體機(jī))。
VR 歷史銷量:VR 盒子、VR 頭盔、VR 一體機(jī)持續(xù)迭代
主流 VR 產(chǎn)品比較
2022 年 VR 將迎來一波創(chuàng)新技術(shù)潮流, MetaVR 產(chǎn)品迎來升級(jí),蘋果推出高端產(chǎn)品。根據(jù)digitimes,推測(cè) Meta 下一代 VR 升級(jí)產(chǎn)品將于明年推出,將引入 pancake 光學(xué)模組和更多傳感器,以實(shí)現(xiàn)產(chǎn)品輕量化,并升級(jí)手勢(shì)識(shí)別、眼動(dòng)跟蹤等功能;而蘋果也將在 2022年底推出一款高端 VR 方案,這款高端產(chǎn)品能夠會(huì)重新定義 VR 這個(gè)產(chǎn)品形態(tài)。我們預(yù)計(jì)這款產(chǎn)品將配備 Micro-OLED 顯示屏,復(fù)合菲涅爾透鏡 pancake 方案,全彩影像透視、搭載更多傳感器,為消費(fèi)者帶來全新混合現(xiàn)實(shí)體驗(yàn)。
Pancake 短焦光學(xué)是公認(rèn)的下一代 VR 升級(jí)方向,使 VR 頭顯更加輕薄。在 Meta 較早的pancake 技術(shù)專利中,我們可以看見一個(gè)顯示組件包括具有四分之一波片和部分反射表面的第一透鏡、具有反射偏振器的第二透鏡和顯示器,實(shí)現(xiàn)頭顯的輕薄化。我們認(rèn)為,蘋果同樣在探索使用三個(gè)菲涅爾透鏡堆疊,形成輕薄透鏡組的方案。改進(jìn)光學(xué)透鏡后的 VR 產(chǎn)品將實(shí)現(xiàn)輕薄化,頭顯重量或由原來的 500g 降低至 200-300g。
Meta 下一代 VR 產(chǎn)品與蘋果 MR 產(chǎn)品將會(huì)增加傳感器,主要是攝像頭的種類與數(shù)量。高通在其官網(wǎng)上披露,高通驍龍 XR2 芯片算力最多可支持 7 顆攝像頭(2 顆眼動(dòng)追蹤,2 顆混合現(xiàn)實(shí),2 顆頭部 6DoF追蹤,1 顆其他),并可以此實(shí)現(xiàn) MR 混合現(xiàn)實(shí)功能。我們認(rèn)為 Meta 下一代或充分利用驍龍 XR2 算力,為產(chǎn)品進(jìn)行功能升級(jí)。
蘋果或?qū)⒋钶d更多傳感器,為各類應(yīng)用提供豐富數(shù)據(jù)。根據(jù) digitimes 等雜志 2022 年 1 月中旬的報(bào)道,蘋果或?qū)⒋钶d與 M1 芯片相似算力高階處理器和一個(gè)負(fù)責(zé)傳感器的低階處理器,支持 5-8 個(gè)外置相機(jī)模組,2 個(gè)內(nèi)置眼動(dòng)追蹤相機(jī)模組,1-2 個(gè) ToF 攝像頭,以實(shí)現(xiàn)全彩RGB 影像透視和眼動(dòng)追蹤、手勢(shì)追蹤等功能,實(shí)現(xiàn)內(nèi)容與應(yīng)用邊界的拓展,也為內(nèi)容生產(chǎn)商提供更多的數(shù)據(jù)支持。
為 Meta 下一代或沿用 FastLCD 屏幕,與 quest 2 分辨率差別不大,但具有像素級(jí)控制的先進(jìn)背光,可以展示和 OLED 一樣的純黑底色;而蘋果或使用高分辨率、高對(duì)比度、寬色域、快速響應(yīng)的 Micro-OLED 顯示屏,隨之而來的或是高昂的售價(jià),根據(jù)Digitimes 等媒體 2022 年 1 月中旬的報(bào)道,新一代蘋果 MR 產(chǎn)品售價(jià)可能達(dá)到 1500-3000美元,高于當(dāng)前 Oculus quest 2 的最低售價(jià) 299 美元。
三、AR:產(chǎn)品處于概念期,Micro-LED + 衍射光波導(dǎo)技術(shù)突破被寄予厚望
AR(Augmented Reality,增強(qiáng)現(xiàn)實(shí))是促使真實(shí)世界信息和虛擬世界信息內(nèi)容之間綜合在一起的較新的技術(shù)內(nèi)容,與 VR 不同的是,AR 能夠?qū)⒄鎸?shí)環(huán)境和虛擬物體之間重疊之后,在同一個(gè)畫面以及空間中同時(shí)存在。AR 中的關(guān)鍵技術(shù)包括跟蹤定位技術(shù)、虛擬與現(xiàn)實(shí)合并技術(shù)、顯示技術(shù)與交互技術(shù)。
目前 AR 眼鏡也可以分為一體式和分體式,從出貨量看當(dāng)前一體式為主流。分體式指計(jì)算單元或電池等結(jié)構(gòu)與頭顯分開,如 Nreal 頭顯支持通過 type-C 接口與智能手機(jī)、PC 連接,允許將智能手機(jī)中、PC 的內(nèi)容無縫傳輸?shù)窖坨R中,用戶可以在其中查看內(nèi)容。而一體式AR 產(chǎn)品則將顯示器、傳感器、計(jì)算、人類理解、環(huán)境理解等系統(tǒng)集成在一個(gè)頭顯上,提供更便捷體驗(yàn)。根據(jù) IDC,1H21,AR 一體機(jī)出貨量占比達(dá) 70%,仍然為市場(chǎng)主流。
根據(jù) IDC,2020-2021 年 AR 年出貨(不含Screenless viewer)在 20-30 萬之間,增速波動(dòng)大。從品牌來看,除 Epson 和微軟外,其他較多品牌并沒有實(shí)現(xiàn) AR 的持續(xù)大規(guī)模銷售,常常在 1-2 個(gè)季度的爆發(fā)后銷聲匿跡,消費(fèi)端市場(chǎng)上沒能出現(xiàn)標(biāo)桿性的品牌,我們認(rèn)為 AR 作為一款消費(fèi)電子產(chǎn)品仍然處于概念期階段。
長(zhǎng)期來看 AR 終端有望替代手機(jī),實(shí)現(xiàn)年出貨量超過 10 億臺(tái)(對(duì)比手機(jī)出貨量超過 13 億臺(tái)),但目前來看實(shí)現(xiàn)這個(gè)目標(biāo)時(shí)日尚早。從應(yīng)用看,AR 產(chǎn)品仍未出現(xiàn)殺手級(jí)的應(yīng)用場(chǎng)景。從技術(shù)角度看,雖然OLED+Birdbath 方案已經(jīng)比較成熟,但因透光性差等原因,形似墨鏡的設(shè)計(jì)不能支持全環(huán)境的使用。而其他微顯示系統(tǒng)如 LBS/LCoS/DLP 等搭配光波導(dǎo)的方案仍在探索過程中。
一款合格 AR 眼鏡需要怎樣的配置?
顯示:微顯示單元與光機(jī)模組決定亮度、對(duì)比度、刷新率、分辨率等指標(biāo)。目前市場(chǎng)上 AR眼鏡的近眼顯示系統(tǒng)即使用微顯示器作為圖像源器件,由其產(chǎn)生圖像后投射到自由曲面/光波導(dǎo)等光學(xué)模組中,再進(jìn)入人眼。由于 AR 像源產(chǎn)生的圖像將與太陽(yáng)光一起進(jìn)入人眼,戶外若不加墨鏡,入眼亮度需超過 2,000nits,甚至達(dá)到 5,000nits,才能在各種天氣狀況下清楚的顯示圖像。據(jù)我們估算,目前一款光波導(dǎo)眼鏡的光效率大約為 3-5%,即像源亮度至少要在10 萬 nits 左右,才能滿足 AR 眼鏡的亮度需求。此外,75Hz 以上的刷新率、25°視場(chǎng)下 720P的分辨率、支持局部刷新及低功耗狀態(tài)下靜態(tài)圖像的維持,是一款 AR 眼鏡的及格線。
人、機(jī)、環(huán)境的有效交互:SLAM+傳感器+AI 用于理解環(huán)境、理解使用者、實(shí)現(xiàn)虛擬信息和現(xiàn)實(shí)世界的結(jié)合。為了實(shí)現(xiàn)虛擬信息和真實(shí)場(chǎng)景的疊加,需要實(shí)現(xiàn)使用者的空間定位追蹤和虛擬物體在真實(shí)空間中定位。除此之外,為了將虛擬信息與輸入的現(xiàn)實(shí)場(chǎng)景無縫結(jié)合在一起,增強(qiáng) AR 使用者的體驗(yàn),還需要考慮虛擬事物與真實(shí)事物之間的遮擋關(guān)系以及實(shí)現(xiàn)幾何一致、模型真實(shí)、光照一致和色調(diào)一致。從上世紀(jì) 80 年代發(fā)展到現(xiàn)在,SLAM 傳感器、算法、技術(shù)框架等持續(xù)改進(jìn),是實(shí)現(xiàn)自我姿態(tài)評(píng)價(jià)以及虛擬圖像反饋,構(gòu)建人與虛擬內(nèi)容的有效交互的主要手段。
微顯示技術(shù): MicroLED 有望成為 AR 主流 。當(dāng)前已提出的微顯示技術(shù)包括 OLED(有機(jī)發(fā)光二極管)/ LCoS(硅基液晶)/ DLP(數(shù)字光處理)/LBS(激光束掃描儀)等待,但這些技術(shù)均無法兼顧成熟性、性能、成本等指標(biāo)。MicroLED 是業(yè)內(nèi)公認(rèn)的 AR 顯示最佳解決方案,但存在技術(shù)尚不成熟、量產(chǎn)難度大等問題,真正大面積商用可能要到 2025 年左右。
微顯示技術(shù)一覽
LCoS —— 限制較多,逐漸淡出 。LCoS 作為微顯示技術(shù)存在比較明顯的限制,逐漸淡出微顯示領(lǐng)域。LCoS 的優(yōu)勢(shì)在于技術(shù)成熟,成本低廉,像素密度高且功耗低,在早期的 AR 設(shè)備中應(yīng)用較多,如靈犀微光靈犀AR(LCoS+幾何光波導(dǎo)),Magic Leap One (LCoS+衍射光波導(dǎo))。但劣勢(shì)也相對(duì)明顯,如對(duì)比度較低,特別是在大入射角情況下;由于必須和 PBS 配合使用而限制了整體光機(jī)的小型化和輕量化進(jìn)程(目前較小的 digilens 的 LCoS 光機(jī)體積為 2.5 立方厘米);低溫狀態(tài)下無法工作,環(huán)境適應(yīng)性較差等。因此,大量廠商都在積極尋求使用 LBS/DLP 等方案代替 LCoS,2018 年以后搭載 LCoS 的新機(jī)型逐漸淡出。
硅基 OLED —— 亮度較低,目前難以應(yīng)用于戶外 AR 場(chǎng)景。硅基 OLED 的缺點(diǎn)也比較明確,應(yīng)用局限于 VR 及類似設(shè)備。目前市場(chǎng)上主流的硅基 OLED產(chǎn)品亮度均小于 3000nits,與 10 萬 nits 的要求相去甚遠(yuǎn),難以應(yīng)用于戶外 AR 場(chǎng)景。同時(shí),由于產(chǎn)品的生產(chǎn)工藝更加復(fù)雜,其價(jià)格比 LCoS 貴 50%以上,但使用壽命在高亮度模式下將低于 3000 小時(shí)且極有可能出現(xiàn)燒屏的情況,整體性價(jià)比更低。因此,雖已有部分 AR 廠商使用硅基 OLED 替代 LCoS,但其仍不是 AR 像源的最佳解決方案。
LBS —— 激光二極管對(duì)溫度敏感、分辨率較差。與 LCoS 等其他顯示技術(shù)相比,LBS 技術(shù)優(yōu)勢(shì)明顯。LBS 系統(tǒng)主要由激光、光學(xué)器件和MEMS Mirror 組成由于 LBS 使用激光光源進(jìn)行逐像素渲染,相較其他非激光、逐幀渲染方案天然具有延遲低(激光納秒 vs 普通光源毫秒)、畫面滯留時(shí)間短、亮度高、能耗低、色彩豐富的優(yōu)勢(shì)。此外,為獲得更大的視場(chǎng)角和更高的解析度,其他技術(shù)必須增加微鏡的數(shù)量并放大產(chǎn)品尺寸,而 LBS 方案僅通過改變 MEMS 微鏡的振動(dòng)頻率和反轉(zhuǎn)角度即可實(shí)現(xiàn),因而更易實(shí)現(xiàn)光機(jī)的輕量和小型化。(目前 LBS 光機(jī)體積大致在 0.5-1.5 立方厘米)。
當(dāng)前主流的 LBS 產(chǎn)品分辨率約720P,提高分辨率可能需要較高的成本。AR 硬件/軟件企業(yè) Rave 首席科學(xué)家 Karl Guttag將搭載 LBS 光機(jī)的 HoloLens 2 代和搭載 LCoS 光機(jī)的 HoloLens 1 代進(jìn)行對(duì)比測(cè)試后發(fā)現(xiàn),雖然 HoloLens 2 的垂直視場(chǎng)角較 1 代提升近一倍(30 度 vs 17.5 度),但其在分辨率、色彩均勻性等方面的表現(xiàn)均更差。此外,HoloLens 2 實(shí)拍圖色彩飽和度更低,觀感模糊,霧度也更大。
DLP —— 對(duì)溫度敏感,難以小型化。DLP 由于成本高、體積大等缺陷,在 AR 場(chǎng)景中的應(yīng)用有一定限制。DLP(Digital Light Processing)系統(tǒng)的核心是 TI 專利的 DMD 芯片(Digital Micromirror Device),它由數(shù)百萬個(gè)高反射的鋁制獨(dú)立微型鏡片組成,每個(gè)鏡片通過數(shù)量龐大的超小型數(shù)字光開關(guān)控制角度。這些開關(guān)可以接受電子訊號(hào)代表的資料字節(jié),然后產(chǎn)生光學(xué)字節(jié)輸出,將輸入 DMD 的視頻或圖形信號(hào)轉(zhuǎn)換成高清晰度的、高灰度等級(jí)的圖像。DLP 由于以鏡片為基礎(chǔ),提高了光通效率,因此 DLP 投影系統(tǒng)比所有其他顯示系統(tǒng)具有更強(qiáng)的亮度。然而,由于其設(shè)計(jì)難度大、結(jié)構(gòu)復(fù)雜、生產(chǎn)成本高、體積大等劣勢(shì),目前在 AR、HUD 等設(shè)備中應(yīng)用并不普及。
MircoLED —— 仍處在早期階段,較多技術(shù)問題需要解決。MicroLED 產(chǎn)品性能絕佳,是業(yè)內(nèi)公認(rèn)的 AR 顯示最佳解決方案。Micro LED 即 LED 微縮技術(shù),通過將傳統(tǒng) LED 陣列化、微縮化后定址巨量轉(zhuǎn)移到電路基板上形成超小間距 LED,可將毫米級(jí)別的 LED 長(zhǎng)度進(jìn)一步縮小到微米級(jí)(50um 左右,原本 LED 的 1%)。相較其它技術(shù),MicroLED 產(chǎn)品性能在亮度、對(duì)比度、工作溫度范圍、刷新率、分辨率、色域、功耗、延時(shí)、體積、壽命等多方面具備較大優(yōu)勢(shì),被期望為下一代主流顯示技術(shù)的重要路徑。
MicroLED 的發(fā)展瓶頸在于微米級(jí)的像素尺寸和間距給量產(chǎn)和全彩方案所帶來的巨大挑戰(zhàn)。 MicroLED 的生產(chǎn)包括芯片和背板制造、巨量轉(zhuǎn)移、接合、驅(qū)動(dòng)和檢測(cè)維修等環(huán)節(jié),由于其晶粒尺寸在微米級(jí),生產(chǎn)單個(gè)成品即需要處理數(shù)百萬甚至數(shù)千萬晶粒,對(duì)技術(shù)的效率和良率提出了極為嚴(yán)苛的要求,現(xiàn)有技術(shù)水平還無法滿足其量產(chǎn)需求。而MicroLED 晶粒的發(fā) 光效率、波長(zhǎng)一致性和良率也尚未達(dá)到 MicroLED 彩色化顯示的要求?;诖?,現(xiàn)有MicroLED 屏幕價(jià)格高昂,單片售價(jià)即大于 1000 美金。2018 年三星演示的采用 microLED技術(shù)的 The Wall 電視,146 寸版報(bào)價(jià)高于 10 萬美元。
光學(xué)模組:從幾何光學(xué)到納米光學(xué)。與 VR 的不同之處在于,AR 眼鏡需要透視(see-through),既要看到真實(shí)的外部世界,也要看到虛擬信息,所以成像系統(tǒng)不能擋在實(shí)現(xiàn)前方,這就需要多加一個(gè)或一組光學(xué)組合,通過層疊的方式,將虛擬信息和真實(shí)場(chǎng)景融為一體,設(shè)計(jì)包括自由曲面,光波導(dǎo)等。
傳統(tǒng)的光學(xué)透鏡加工方式為切割/注塑/涂層/拋光等等,但隨著光波導(dǎo)等光學(xué)模組的復(fù)雜化,傳統(tǒng)加工工藝帶來了生產(chǎn)流程復(fù)雜、良率低等問題,國(guó)內(nèi)外包括 Digilens,WaveOptics,至格科技,瓏璟光電等廠家開始探索納米壓印、紫外光加工等加工方案。
AR 光學(xué)模組梳理
光波導(dǎo)技術(shù)是應(yīng) AR 需求而生的一個(gè)比較有特色的光學(xué)組件。因它的輕薄與外界光線的高穿透特性而被認(rèn)為是消費(fèi)級(jí) AR 眼鏡的必選光學(xué)方案。
AR 眼鏡中光的傳輸關(guān)鍵在于“全反射”。其實(shí),波導(dǎo)技術(shù)并不是新發(fā)明,光纖就是波導(dǎo)的一種,只不過傳輸?shù)氖俏覀兛床灰姷募t外波段的光。光機(jī)完成成像過程后,波導(dǎo)將光耦合進(jìn)自己的玻璃基底中,通過“全反射”原理將光傳輸?shù)窖劬η胺皆籴尫懦鰜恚屯瓿闪藞D像的傳輸。
越是大的視場(chǎng)角,就需要越高折射率的玻璃基底來實(shí)現(xiàn)。因此傳統(tǒng)玻璃制造商比如康寧和肖特,近年來都在為近眼顯示市場(chǎng)研制專門的高折射率并且輕薄的玻璃基底,還在努力不斷增大晶元尺寸以降低波導(dǎo)生產(chǎn)的單位成本。
具體來看,當(dāng)前光波導(dǎo)技術(shù)可以分為下面三種:
1) 幾何/列陣光波導(dǎo)。該概念和專利一直由以色列公司 Lumus 提出并持續(xù)優(yōu)化迭代,基本原理是耦合光進(jìn)入波導(dǎo)的一般是一個(gè)反射面或者棱鏡。在多輪全反射后光到達(dá)眼鏡前方時(shí),會(huì)遇到一個(gè)“半透半反”鏡面陣列,將光耦合出波導(dǎo)。幾何/列陣光波導(dǎo)目前大都只能實(shí)現(xiàn)一維擴(kuò)瞳。這里的“半透半反”鏡面陣列相當(dāng)于將出瞳沿水平方向復(fù)制了多份,每一個(gè)出瞳都輸出相同的圖像,這樣眼睛在橫向移動(dòng)時(shí)都能看到圖像,這就是一維擴(kuò)瞳技術(shù)(1D EPE)。
幾何/列陣光波導(dǎo)工藝流程復(fù)雜,良率提升難度極大。“半透半反”鏡面陣列的鍍膜工藝中,由于光在傳播過程中會(huì)越來越少,陣列中這五六個(gè)鏡面的每一個(gè)都需要不同的反射透射比(R/T),以保證整個(gè)動(dòng)眼框范圍內(nèi)的出光量是均勻的。并且由于幾何波導(dǎo)傳播的光通常是偏振的,每個(gè)鏡面的鍍膜層數(shù)可能達(dá)到十幾甚至幾十層。
這些鏡面是鍍膜后層層摞在一起并用特殊的膠水粘合,然后按照一個(gè)角度切割出波導(dǎo)的形狀,這個(gè)過程中鏡面之間的平行度和切割的角度都會(huì)影響到成像質(zhì)量。因此,即使每一步工藝都可以達(dá)到高良率,這幾十步結(jié)合起來的總良率卻是一個(gè)挑戰(zhàn)。每一步工藝的失敗都可能導(dǎo)致成像出現(xiàn)瑕疵,常見的有背景黑色條紋、出光亮度不均勻、鬼影等。
2) 浮雕光柵衍射光波導(dǎo)。傳統(tǒng)的光學(xué)結(jié)構(gòu)被平面的衍射光柵取代,通過材料表面浮雕出來的高峰和低谷,在材料中形成了一個(gè)折射率的周期性變化。通過設(shè)計(jì)光柵的參數(shù)(材料折射率、光柵形狀、厚度、占空比等)可以將某一衍射級(jí)(即某一方向)的衍射效率優(yōu)化到最高,從而使大部分光在衍射后主要沿這一方向傳播。
用衍射光柵可以實(shí)現(xiàn)二維擴(kuò)瞳,digilens 和 WaveOptics 分別具有兩種技術(shù)方案。 Hololens I, Vuzix Blade, Magic Leap One, Digilens 等使用的方法是,當(dāng)入射光柵將光耦合入波導(dǎo)后,會(huì)進(jìn)入一個(gè)轉(zhuǎn)折光柵的區(qū)域,這個(gè)區(qū)域內(nèi)的光柵溝壑方向與入射光柵呈一定角度,那么它就像一個(gè)鏡子一樣將 X 方向打來的光反射一下變成沿 Y 方向傳播。另外一種實(shí)現(xiàn)二維擴(kuò)瞳的方式是直接使用二維光柵,即光柵在至少兩個(gè)方向上都有周期,將單向“溝壑”變?yōu)橹鶢铌嚵?。WaveOptics 就是采用的這種結(jié)構(gòu),從入射光柵耦合進(jìn)波導(dǎo)的光直接進(jìn)入一個(gè)具有二維柱狀陣列發(fā)區(qū)域,可以同時(shí)將光線在 X 和 Y 兩個(gè)方向?qū)崿F(xiàn)擴(kuò)束,并且一邊傳播一邊將一部分光耦合出來進(jìn)入人眼。
3) 布拉格光柵衍射光波導(dǎo)(也叫全息光柵光波導(dǎo))。利用光全息術(shù)在記錄材料薄膜上記錄點(diǎn)光源的干涉條紋,再經(jīng)過處理制成光柵條紋結(jié)構(gòu)的薄膜光學(xué)元件,具有光束準(zhǔn)直、聚焦、偏轉(zhuǎn)等功能。其對(duì)光的衍射符合布拉格定律,只有滿足布拉格條件的入射光才會(huì)被衍射,不滿足布拉格條件的入射光不被衍射。目前在做全息體光柵(VHG)波導(dǎo)方案的廠家比較少,包括十年前就為美國(guó)軍工做 AR 頭盔的 Digilens,曾經(jīng)出過單色 AR 眼鏡的 Sony,還有由于被蘋果收購(gòu)的 Akonia。
優(yōu)點(diǎn)顯著,探索持續(xù)進(jìn)行。這種技術(shù)具有體積薄,重量輕,且可同時(shí)記錄多個(gè)全息圖等優(yōu)點(diǎn),使它能夠替代許多傳統(tǒng)的光學(xué)元件,如棱鏡、立方體分束器和光柵等,進(jìn)一步減小 AR 頭戴式顯示器體積。由于體光柵由于受到可利用材料的限制,能夠?qū)崿F(xiàn)的折射率差有限,導(dǎo)致它目前在 FOV、光效率、清晰度等方面都還未達(dá)到與表面浮雕光柵同等的水平。但是由于它在設(shè)計(jì)壁壘、工藝難度和制造成本上都有一定優(yōu)勢(shì),業(yè)內(nèi)對(duì)這個(gè)方向的探索從未停歇。
SLAM:理解環(huán)境與使用者,實(shí)現(xiàn)虛擬信息和現(xiàn)實(shí)世界的結(jié)合。SLAM(Simulataneous Localization and Mapping),同步定位與地圖構(gòu)建,指在運(yùn)動(dòng)過程中通過重復(fù)觀測(cè)到的環(huán)境特征定位自身位置和姿態(tài),再根據(jù)自身位置構(gòu)建周圍環(huán)境的增量式地圖,從而達(dá)到同時(shí)定位和地圖構(gòu)建的目的。
現(xiàn)代流行的 SLAM 系統(tǒng)大概可以分為前端和后端。前端通過傳感器實(shí)現(xiàn)數(shù)據(jù)關(guān)聯(lián),研究幀與幀之間變換關(guān)系,主要完成實(shí)時(shí)的位姿跟蹤,對(duì)輸入的圖像進(jìn)行處理,計(jì)算姿態(tài)變化。后端主要對(duì)前端的輸出結(jié)果進(jìn)行優(yōu)化,得到最優(yōu)的位姿估計(jì)和地圖。
SLAM 在 ARVR 中有較多應(yīng)用,AR 中主要是 1)現(xiàn)實(shí)物體與虛擬物體的有效交互,2)實(shí) 現(xiàn)語義理解,優(yōu)化智能輔助功能:
實(shí)現(xiàn)虛擬世界和現(xiàn)實(shí)世界之間坐標(biāo)疊加、實(shí)現(xiàn)幾何物理信息交互。與電腦、平板、手機(jī)的3D 顯示不同,AR 更注重虛擬信息與真實(shí)信息的無縫融合,即圖像出現(xiàn)的平面位置與景深準(zhǔn)確、帶來沉浸感的良好體驗(yàn)。這就需要利用 SLAM 算法,準(zhǔn)確疊加虛擬坐標(biāo)系和真實(shí)坐標(biāo)系。同時(shí),真實(shí)環(huán)境中有高低起伏、有障礙物、有遮擋關(guān)系,AR 可以讓虛擬信息跟這些真實(shí)環(huán)境中的物理信息進(jìn)行交互。
隨著機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的發(fā)展,虛擬信息可以“理解”真實(shí)世界,讓二者的融合更趨于自然。當(dāng)前計(jì)算機(jī)已經(jīng)可以已經(jīng)可以認(rèn)出圖片上的內(nèi)容,但沒有理解內(nèi)容之間的關(guān)系,當(dāng)前的一項(xiàng)研究方向是,應(yīng)用 SLAM+AI 技術(shù),通過特征提取,實(shí)現(xiàn)機(jī)器的語義理解,優(yōu)化 AR 系統(tǒng)的輔助功能。
傳感器:交互方式與應(yīng)用場(chǎng)景升級(jí)推動(dòng)傳感器升級(jí)。AR 中交互方式的升級(jí),帶來更多樣信息需求。隨著人機(jī)交互由 2D 走向 3D,交互方式逐漸多樣化,向人類本能發(fā)展,手勢(shì)交互、姿勢(shì)交互、眼動(dòng)交互、語音交互,甚至結(jié)合生物信號(hào)、周圍環(huán)境交互的方式不斷進(jìn)化,這對(duì)更多種類的信息提出了要求,用戶運(yùn)動(dòng)類、生物類信息,以及其他環(huán)境信息都將為人機(jī)交互提供底層支持。
大量信息需求為運(yùn)動(dòng)類、生物類、環(huán)境類各型傳感器提供增量機(jī)會(huì)。當(dāng)前蘋果手機(jī)、手表廣泛運(yùn)用多種運(yùn)動(dòng)、生物型傳感器,與之對(duì)比,VR 爆款產(chǎn)品 Oculus quest 2 頭顯僅搭載了4 顆黑白攝像頭,手柄配備了兩組陀螺儀加速度計(jì)傳感器。未來,為實(shí)現(xiàn)更深度沉浸和更便捷交互,測(cè)距攝像頭、眼動(dòng)追蹤攝像頭、精細(xì)化壓力傳感器,甚至生物型、環(huán)境型傳感器,都將逐漸配備。
三、腦機(jī)接口:離現(xiàn)實(shí)還有多遠(yuǎn)?
對(duì)于大多數(shù)人來說,最早接觸腦機(jī)接口概念是從科幻電影中。不管是《X-戰(zhàn)警》中博士的意念控物,還是《黑客帝國(guó)》中錫安人通過接口與電腦相連,迅速學(xué)會(huì)各種各樣的知識(shí)和技能,并進(jìn)入 Matrix 的虛擬世界中,再或是《沙丘》中人們通過腦科學(xué)的探索,不斷開發(fā)大腦潛能,通過訓(xùn)練的領(lǐng)航員的大腦能夠媲美大型計(jì)算機(jī),這些情節(jié)都讓人印象深刻,也是科學(xué)家不斷探索的方向。
使用電子計(jì)算機(jī)對(duì)人腦進(jìn)行模擬需要 172PFlops 計(jì)算量。人的大腦有接近 860 億個(gè)神經(jīng)元,每個(gè)神經(jīng)元有 1 萬個(gè)連接點(diǎn),掌管人類運(yùn)動(dòng)、聽覺、語言、嗅覺、記憶、思考、性格、情緒等功能。根據(jù)我們估算,如果想要以計(jì)算機(jī)來模擬人腦的活動(dòng)需要 172PFlops(對(duì)應(yīng)神威太湖之光 93PFlops,美國(guó) Summit 超算 122.3PFlops)。人腦的潛能或能夠達(dá)到一臺(tái)超級(jí)計(jì)算機(jī)的運(yùn)算能力。
腦機(jī)接口或支持人腦潛力持續(xù)開發(fā)。馬斯克提出的一個(gè)經(jīng)典論述是“人類不能被 AI 淘汰,要與 AI 融合,在大腦和電腦之間創(chuàng)建一個(gè)接口”。隨著我們對(duì)腦科學(xué)的不斷認(rèn)識(shí)和腦機(jī)接口技術(shù)下對(duì)人類肢體限制的不斷突破,人腦的潛能或得到釋放。
被稱作“腦機(jī)接口之父”的尼可萊利斯教授在其《腦機(jī)穿越》一書中提到,在腦機(jī)接口的幫助下,思想或能轉(zhuǎn)化為有形的動(dòng)作、印象或情感,人可以用思想操控電腦、駕駛汽車、與他人進(jìn)行交流,可以完美的轉(zhuǎn)化為納米工具的精細(xì)化操作,或者是應(yīng)用了尖端科技的機(jī)器人的復(fù)雜動(dòng)作。不用動(dòng)手輸入一個(gè)字,也不用動(dòng)口說一個(gè)詞就可以與人進(jìn)行交流,即使足不出戶,也能體驗(yàn)到觸摸遙遠(yuǎn)星球表面的感覺。
腦機(jī)接口(Brain Computer Interface,BCI)1976 年由加州大學(xué)洛杉磯分校的雅克·維達(dá)爾(Jacques J. Vidal)提出。一個(gè)完整的腦機(jī)接口過程包括信號(hào)采集、信息解碼處理、信號(hào) 輸出/執(zhí)行、反饋四個(gè)步驟實(shí)現(xiàn)。 腦機(jī)接口可以通過電、磁、光、聲進(jìn)行信號(hào)采集與反饋,而腦電技術(shù)是目前主流探索方向。 事實(shí)上采集中樞神經(jīng)信號(hào)以監(jiān)測(cè)大腦活動(dòng)的方法有很多種,包括腦電、功能近紅外光譜(functional near-infrared spectroscopy, fNIRS)、功能磁共振成像(functional magneticresonance imaging, fMRI)等,反饋技術(shù)也同樣包括電、磁、聲、光多種。在這些監(jiān)測(cè)技術(shù)中,腦電因?yàn)闀r(shí)間分辨率高、設(shè)備價(jià)格低廉且便攜等優(yōu)點(diǎn),逐漸成為腦機(jī)接口研究最主流的探索方向。
1) 腦電采集:腦電采集是 BCI 的關(guān)鍵步驟,采集的效果、信號(hào)強(qiáng)弱、穩(wěn)定性及帶寬大小直接決定后續(xù)的處理及輸出。由于大腦的中樞神經(jīng)元膜電位的變化會(huì)產(chǎn)生鋒電位(spikes),或動(dòng)作電位(action potentials),并且神經(jīng)細(xì)胞突觸間傳遞的離子移動(dòng)會(huì)形成場(chǎng)電位(field potentials),通過在大腦皮質(zhì)的運(yùn)動(dòng)神經(jīng)位置外接或植入微型電極,可以采集并放大這些神經(jīng)生理信號(hào)。
2) 信號(hào)解碼處理:信號(hào)處理是將轉(zhuǎn)化為電信號(hào)的大腦活動(dòng),去除干擾電波以及其他信號(hào),并將目標(biāo)分類并處理,轉(zhuǎn)化為可以執(zhí)行輸出的對(duì)應(yīng)信號(hào)。
3) 信號(hào)輸出及執(zhí)行:信號(hào)輸出指將收集并處理后的腦電波信號(hào)傳輸至已連接的設(shè)備器材,作為數(shù)據(jù)基礎(chǔ)加工內(nèi)容,或反饋到終端機(jī)器以形成指令,甚至實(shí)現(xiàn)直接交互。
4) 反饋:在信號(hào)執(zhí)行后,設(shè)備將產(chǎn)生動(dòng)作或顯示內(nèi)容,參與者將通過視覺、觸覺或聽覺感受到第一步產(chǎn)生的腦電波已被執(zhí)行,并觸發(fā)反饋信號(hào)。
根據(jù)腦電的采集方式,當(dāng)前的腦機(jī)接口又可以分為侵入式、非侵入式 非侵入式更多用于消費(fèi)端的腦電監(jiān)測(cè)。非侵入式是在人/動(dòng)物大腦外部佩戴腦機(jī)接口設(shè)備,通過采集腦電、神經(jīng)電獲取腦部信息,但信息精度及分辨率較低,可用于簡(jiǎn)單的信號(hào)判斷與反饋,但較難傳達(dá)復(fù)雜指令,如幫助肢體殘障人士通過意念操控機(jī)械骨骼,或用于 VR/AR游戲應(yīng)用的基礎(chǔ)手勢(shì)控制。非侵入式根據(jù)收集信息的不同可以分為 EEG(收集腦電)和MEG(收集磁場(chǎng))兩種。
1)EEG:通過導(dǎo)電凝膠將 Ag/AgCI 電極固定在頭皮上,以測(cè)量頭皮腦電信號(hào),但一般只能監(jiān)測(cè)到 0-50Hz 相對(duì)較窄頻帶中的信息。
2)MEG:通過測(cè)量細(xì)胞內(nèi)離子電流引起的小磁場(chǎng)獲得信號(hào),但由于高昂的成本和操作方法的繁瑣(電磁封鎖環(huán)境,保持絕對(duì)靜止),MEG 并不是一個(gè)理想的解決方案。
侵入式腦機(jī)接口主要應(yīng)用于醫(yī)療康復(fù)領(lǐng)域。侵入式將設(shè)備直接植入到人/動(dòng)物大腦灰質(zhì)或顱腔內(nèi),能夠獲取相對(duì)高頻、準(zhǔn)確的神經(jīng)信號(hào),不僅能夠通過讀取腦電信號(hào)來控制外部設(shè)備,還能夠通過精確的電流刺激讓大腦產(chǎn)生特定感覺。侵入式腦機(jī)接口可以分為 ECoG、LFP、SUA 等類型。
1) ECoG:測(cè)量大腦皮層電位,與 EEG 技術(shù)相似,但能夠監(jiān)測(cè)到更大帶寬的信息;
2) LFP、SUA:測(cè)量大腦皮層場(chǎng)電位與鋒電位,可以通過 Mircowire array,Michigan array,Utah array,Neurotrophic electrode 等多種傳感器實(shí)現(xiàn)。
侵入式采取電信號(hào)的方法,具有較高的空間分辨率、良好的信噪比和更寬的頻帶,但目前仍然面臨著有創(chuàng)帶來的安全問題、難以獲得長(zhǎng)期穩(wěn)定的記錄、需要醫(yī)護(hù)人員長(zhǎng)時(shí)間連續(xù)的觀察等問題,目前應(yīng)用仍局限于醫(yī)療康復(fù)領(lǐng)域。
侵入式工具也出現(xiàn)了全新不開顱植入方案。2021 年 8 月,來自美國(guó)加州伯克利大學(xué)的Synchron 公司開發(fā)的微創(chuàng)腦機(jī)接口獲得美國(guó)食品藥品監(jiān)督管理局(FDA)的人體臨床試驗(yàn)批文。其腦機(jī)裝置微小,可以安全地穿過血管,因此直接利用頸靜脈植入 BCI,使用導(dǎo)管手術(shù)將設(shè)備輸送到大腦和脊柱中,在兩小時(shí)無需開顱手術(shù)內(nèi)即可將設(shè)備植入了患者大腦內(nèi)。
由于不需要開顱手術(shù),因此這種傳感器可以靈活布置在大腦多個(gè)位置,從而捕捉各種類型的信號(hào)。與傳感器相連的 BrainPort 接收裝置植入病人的胸口,它沒有內(nèi)置電池,而是通過無線的方式進(jìn)行供電以及數(shù)據(jù)傳輸,進(jìn)一步提升了安全性。通過 Synchron 研發(fā)的 BrainOS操作系統(tǒng),可以將傳感器讀取到的信號(hào)轉(zhuǎn)化為與外界交互的通用信號(hào),從而實(shí)現(xiàn)用大腦與外界交流溝通。
醫(yī)療、消費(fèi)市場(chǎng)應(yīng)用的持續(xù)拓展或支撐起千億市場(chǎng)規(guī)模。隨著人們對(duì)大腦的認(rèn)知、電極設(shè)計(jì)、和人工智能算法的精進(jìn),腦機(jī)接口領(lǐng)域應(yīng)用也持續(xù)拓展,并向更加精細(xì)化發(fā)展。腦機(jī)接口相關(guān)的研發(fā)已經(jīng)在仿生學(xué)、醫(yī)療診斷與干預(yù)、消費(fèi)電子等多個(gè)領(lǐng)域進(jìn)行持續(xù)探索,我們認(rèn)為相關(guān)產(chǎn)品可能將在未來 20-30 年內(nèi)陸續(xù)商業(yè)化,支撐起近千億美元的市場(chǎng)規(guī)模。
二十世紀(jì)七十年代到九十年代末,腦機(jī)接口技術(shù)經(jīng)歷了從概念期到科學(xué)論證期的發(fā)展。二十世紀(jì)七十年代至八十年代,“腦機(jī)接口”專業(yè)術(shù)語出現(xiàn),1977 年 Jacques J. Vidal 開發(fā)了基于視覺事件相關(guān)電位的腦機(jī)接口系統(tǒng),通過注視同一視覺刺激的不同位置實(shí)現(xiàn)了對(duì) 4 種控制指令的選擇。1980 年德國(guó)學(xué)者提出了基于皮層慢電位的腦機(jī)接口系統(tǒng)。
二十世紀(jì)八十年代后,少數(shù)先驅(qū)研發(fā)了實(shí)時(shí)且可執(zhí)行的腦機(jī)接口系統(tǒng),并定義了至今仍在使用的幾種范式:
1) 1988 年 L.A. Farewell 和 E.Donchin 提出了著名且廣泛使用的腦機(jī)接口范式 P300 拼寫器,表明系統(tǒng)有望幫助嚴(yán)重癱瘓患者與環(huán)境進(jìn)行通信和交互。不久后研究人員都開發(fā)出基于感覺運(yùn)動(dòng)節(jié)律的腦機(jī)接口系統(tǒng),該系統(tǒng)可以控制一維光標(biāo)向使用者反饋運(yùn)動(dòng)節(jié)律幅度,從而通過訓(xùn)練實(shí)現(xiàn)通過想象控制小球向上或向下移動(dòng)。
2) 1990 年左右 Gert Pfurtscheller 開發(fā)出另一種基于感覺運(yùn)動(dòng)節(jié)律的腦機(jī)接口,用戶必須明確地想象左手或右手運(yùn)動(dòng),并通過機(jī)器學(xué)習(xí)將其轉(zhuǎn)化為計(jì)算機(jī)命令,這定義了基于運(yùn)動(dòng)想象的腦機(jī)接口。
3) 1992 年 Erich E. Sutter 提出了一種高效的基于視覺誘發(fā)電位的腦機(jī)接口系統(tǒng),在該系統(tǒng)中設(shè)計(jì)了 8×8 拼寫器,利用從視覺皮層采集的視覺誘發(fā)電位識(shí)別用戶眼睛注視方向來確定他選擇拼寫器中的哪一個(gè)符號(hào)。肌萎縮側(cè)索硬化癥患者可以實(shí)現(xiàn) 10 個(gè)單詞/分鐘的通信速度。
二十一世紀(jì)以來腦機(jī)接口技術(shù)高速成長(zhǎng),新范式、新算法、新設(shè)備層出不窮,早期范式性 能明顯提高。新型腦機(jī)接口實(shí)驗(yàn)范式相繼涌現(xiàn),如聽覺腦機(jī)接口、言語腦機(jī)接口、情感腦機(jī)接口以及混合腦機(jī)接口。先進(jìn)的腦電信號(hào)處理和機(jī)器學(xué)習(xí)算法被應(yīng)用于腦機(jī)接口,如空間模式算法、xDAWN 算法等,新型的腦信號(hào)獲取方法如功能核磁共振成像測(cè)量的血氧水平依賴信號(hào)以及功能近紅外光譜測(cè)量的皮層組織血紅蛋白濃度等被用于構(gòu)建非侵入式腦機(jī)接口。除此之外,早期開發(fā)的基于 P300 和視覺誘發(fā)電位的腦機(jī)接口性能得到了明顯提高,并在初步的臨床試驗(yàn)中證明適用于肌萎縮側(cè)索硬化癥、腦卒中以及脊髓損傷患者。
應(yīng)用場(chǎng)景1:醫(yī)療健康領(lǐng)域是腦機(jī)接口當(dāng)前最接近商業(yè)化的領(lǐng)域。腦機(jī)接口可以幫助實(shí)時(shí)監(jiān)控和測(cè)量神經(jīng)系統(tǒng)狀態(tài),輔助臨床判讀。“監(jiān)測(cè)”型腦機(jī)接口應(yīng)用方向十分多樣,包括評(píng)測(cè)陷入深度昏迷患者的意識(shí)等級(jí),測(cè)量視/聽覺障礙患者神經(jīng)通路狀態(tài)協(xié)助醫(yī)生定位病因等等。除此之外,通過結(jié)合腦電、視頻等多元信息進(jìn)行診
監(jiān)測(cè)到的腦電信息可以用于加工、反饋,針對(duì)多動(dòng)癥、中風(fēng)、抑郁癥等做對(duì)應(yīng)的恢復(fù)訓(xùn)練。 例如,對(duì)于運(yùn)動(dòng)皮層相關(guān)部位受損的中風(fēng)病人,腦機(jī)接口可以從受損的皮層區(qū)采集信號(hào),然后刺激失能肌肉或控制矯形器,改善手臂運(yùn)動(dòng);運(yùn)動(dòng)想象類腦機(jī)接口可以用于孤獨(dú)癥兒童的康復(fù)訓(xùn)練,提升他們對(duì)于感覺運(yùn)動(dòng)皮層激活程度的自我控制能力,從而改善孤獨(dú)癥的癥狀,也可以通過腦電信號(hào)的反饋,訓(xùn)練使用者的專注力。療,能夠輔助醫(yī)生判讀腦損傷、腦發(fā)育等多種臨床適應(yīng)癥。
基于電、聲、光、磁刺激進(jìn)行神經(jīng)調(diào)控的腦機(jī)接口已經(jīng)實(shí)現(xiàn)商業(yè)化。相關(guān)應(yīng)用包括:通過電刺激治療進(jìn)行神經(jīng)康復(fù),主要針對(duì)腦卒中、 帕金森等中樞神經(jīng)或周圍神經(jīng)損傷所致的運(yùn)動(dòng)功能障礙,如偏癱、肌萎縮、肌力低下、步行障礙、手功能障礙;通過顱磁刺激治療抑郁癥,以及對(duì)腦卒中所致的言語功能障礙、吞咽障礙、認(rèn)知功能障礙進(jìn)行治療。經(jīng)顱磁刺激用于抑郁癥治療已在美國(guó)、加拿大、新西蘭、以色列等國(guó)家明確獲批,與藥物治療相比,經(jīng)顱磁刺激具有副作用小、安全性高、無痛苦、不易成癮、不會(huì)影響認(rèn)知功能等優(yōu)勢(shì)。國(guó)內(nèi)外多家公司包括偉思醫(yī)療(688580 CH,未覆蓋),Neuronetics(STIM US,未覆蓋),Brainsway(BWAY US,未覆蓋)等公司已經(jīng)推出相關(guān)產(chǎn)品。
BrainCo 強(qiáng)腦科技在 2019 年推出世界上第一款可以意識(shí)控制每一根手指的非侵入式智能仿生手后,在今年再次推出一款適合不同傷殘等級(jí)的仿生腿產(chǎn)品。根據(jù)公司介紹,這款產(chǎn)品每秒可提取 2 萬個(gè)肌電神經(jīng)電數(shù)據(jù),因此能快速、準(zhǔn)確地識(shí)別用戶意圖,并根據(jù)環(huán)境、肌肉情況調(diào)整步態(tài)防止摔倒,實(shí)現(xiàn)高仿生體驗(yàn),還能夠支持攀巖、涉水等多種復(fù)雜操作,為殘障人士創(chuàng)造高品質(zhì)生活,拓展了腦機(jī)接口技術(shù)在義肢方向的應(yīng)用。
應(yīng)用場(chǎng)景2:消費(fèi)電子與 AIoT 領(lǐng)域展開消費(fèi)端應(yīng)用。腦機(jī)接口技術(shù)可以與消費(fèi)產(chǎn)品相結(jié)合,提供更直覺交互體驗(yàn)。早在 2014 年,加難道公司Thalmic Labs 就推出了一款臂帶式控制器 Myo,通過感知肌肉的生物電活動(dòng),可以讓使用者只需要?jiǎng)觿?dòng)手指就可以無線控制身邊的計(jì)算機(jī)和其他數(shù)字產(chǎn)品。隨著技術(shù)的持續(xù)升級(jí),當(dāng)前臂帶式控制器可以實(shí)現(xiàn)通過識(shí)別活動(dòng)意念帶來的電流進(jìn)行控制,意念打字、意念操作玩具等已經(jīng)不是幻想。
在腦機(jī)接口的支持下,游戲玩家可以用意念來控制 VR 界面的菜單導(dǎo)航和選項(xiàng)控制,獲得了獨(dú)立于傳統(tǒng)游戲控制方式之外的新的操作體驗(yàn);同時(shí)人們也可以用意念控制開關(guān)等,甚至控制家庭服務(wù)機(jī)器人,實(shí)現(xiàn)全新意義上的智能家居。
滲透率或隨 AR 及其他可穿戴產(chǎn)品普及持續(xù)提升。當(dāng)前更加簡(jiǎn)單形式的控制,比如眼動(dòng)追蹤攝像頭、觸摸控制等或限制腦機(jī)接口交互需求。我們認(rèn)為未來隨著一系列可穿戴設(shè)備比如 AR 眼鏡的普及,以及元宇宙的持續(xù)建設(shè),基于腦機(jī)接口技術(shù)的消費(fèi)電子產(chǎn)品滲透率將持續(xù)提升。
應(yīng)用場(chǎng)景3:實(shí)現(xiàn)大腦強(qiáng)化,運(yùn)用于國(guó)防軍事領(lǐng)域 2020 年美國(guó)蘭德公司發(fā)布了一份名為《腦機(jī)接口:美國(guó)軍事應(yīng)用和意義的初步評(píng)估》(Brain-Computer Interfaces: U.S. Military Applications and Implications)的報(bào)告,指出雖然存在一定風(fēng)險(xiǎn),“腦機(jī)接口”很可能在改進(jìn)未來作戰(zhàn)中提供相應(yīng)的支持,腦機(jī)接口在軍事 領(lǐng)域用途包括保證更高效和保密的軍事通信、提高決策速度與準(zhǔn)確性,允許操作員同時(shí)控 制多個(gè)平臺(tái)等。
進(jìn)行更高效和更保密的軍事通信。2019 年,DARPA(美國(guó)國(guó)防部高級(jí)研究計(jì)劃局)就選擇了6個(gè)團(tuán)隊(duì)來開發(fā)N3神經(jīng)技術(shù)研究計(jì)劃,旨在為美國(guó)軍方提供高精度的雙向腦機(jī)接口系統(tǒng),使服役人員能夠與計(jì)算機(jī)系統(tǒng)進(jìn)行通信。未來若腦機(jī)接口用于軍事通信的技術(shù)獲得成功,將顛覆現(xiàn)有通信技術(shù)的運(yùn)轉(zhuǎn)模式。此前的通信解密都是在得到對(duì)方通信信號(hào)的基礎(chǔ)上,依據(jù)共同、公開的技術(shù)知識(shí)進(jìn)行解密。理論上只要有足夠的時(shí)間,任何加密算法都可以被破譯。而腦機(jī)接口通信可能在雙方的主體意識(shí)尚未明確時(shí)就已經(jīng)完成;所以,不僅通信信號(hào)難以得到,即使得到信號(hào),也缺乏解密所需的技術(shù)知識(shí)。
腦機(jī)接口或用于處理大量數(shù)據(jù)來提高決策效率。未來作戰(zhàn)中,智能設(shè)備、士兵穿戴式傳感器和無人機(jī)可向士兵提供大量的行動(dòng)數(shù)據(jù),大量的信息融合將增加決策的復(fù)雜性。通過腦機(jī)接口能夠使得機(jī)器與人之間連通性增強(qiáng),促進(jìn)數(shù)據(jù)在作戰(zhàn)人員和決策者之間快速而廣泛地流動(dòng),使得相互連接的軍事系統(tǒng)能夠順利運(yùn)行。同時(shí)人工智能工具可能融入決策流程,幫助人類作戰(zhàn)人員評(píng)估環(huán)境,管理數(shù)據(jù),并最終消化更大容量的信息。
全球主要腦機(jī)接口公司