自從蘋果(Apple)去年推出iPhone X以來,業(yè)界觀察家對于其3D傳感(3D sensing)技術(shù)的看法兩極。3D傳感技術(shù)在智能手機(jī)用戶中很流行嗎?它會是未來每一支智能手機(jī)的必備功能嗎?

答案是還沒有。當(dāng)今智能手機(jī)業(yè)者的共識是——現(xiàn)在仍然是3D成像“時代”的早期階段。

Apple TrueDepth相機(jī)系統(tǒng)(來源:Apple)

業(yè)界對于智能手機(jī)搭載3D傳感技術(shù)的看法紛歧——從“為什么要這么麻煩?”到“這就是未來”等各種解讀都有。反對3D傳感的論點就來自于那些深信“屏幕內(nèi)(in-display)指紋傳感器就夠了”和“數(shù)位攝影勝過3D傳感”的智能手機(jī)相機(jī)“鐵粉”。

雖然有些人認(rèn)為iPhone X競爭對手就是因為缺少了成熟的3D傳感技術(shù)而導(dǎo)致市場興趣缺缺,但其他人并不同意這樣的看法。Yole Developpement成像技術(shù)與市場首席分析師Pierre Cambou解釋,這是因為“Apple在這方面的的發(fā)展更超前”。

此外,由于垂直共振腔面射型雷射(VCSEL)等關(guān)鍵3D傳感組件供應(yīng)受限,導(dǎo)致搭載結(jié)構(gòu)光3D傳感技術(shù)的智能手機(jī)短缺——超過8個月以上。幾位業(yè)界人士指出,這些關(guān)鍵3D傳感組件早就已經(jīng)被Apple等公司鎖定了。

中國業(yè)者崛起

同時,中國當(dāng)然也看準(zhǔn)了3D傳感市場。

過去幾個月來,當(dāng)小米(Xioami)、Oppo和Vivo等中國智能手機(jī)OEM陸續(xù)發(fā)布其3D傳感計劃時,3D傳感應(yīng)用取得了積極進(jìn)展。今年5月,小米宣布推出Mi 8 Explore Edition新機(jī),被譽為”全球首款支持3D人臉識別的Android智能手機(jī)”。

而在6月,Oppo推出配備6.42英吋AMOLED顯示器的Find X智能手機(jī),支持3D傳感功能,價格高達(dá)750美元,同時也被視為Mi 8的直接競爭對手。

同樣在6月,Vivo表示其Face ID認(rèn)證系統(tǒng)將采用新的3D傳感技術(shù)。相較于使用結(jié)構(gòu)光技術(shù)實現(xiàn)3D傳感的Apple iPhone X,Vivo將會部署的是3D飛行時間(ToF)傳感技術(shù)。

小米Mi 8 Explorer智能手機(jī)搭載Face ID(來源:小米)

業(yè)界一直密切關(guān)注這些中國OEM的3D傳感技術(shù)合作伙伴。小米與以色列的迅聯(lián)光電(Mantis Vision)合作,打造基于結(jié)構(gòu)光的3D技術(shù)。OPPO則與中國深圳奧比中光科技(Orbbec 3D Technology International Inc.)合作,同樣使用結(jié)構(gòu)光。據(jù)報導(dǎo),Vivo使用的ToF技術(shù)來自與德國錫根(Siegen)的PMD Technologies AG合作。然而,Cambou補(bǔ)充說,Oppo還可能會改與Sony合作。

加碼投入3D技術(shù)進(jìn)展

Yole Developpment最近發(fā)表了一份名為“3D成像與傳感技術(shù),2018年版”(3D Imaging & Sensing, 2018 edition)的報告,詳細(xì)介紹各種系統(tǒng)所使用的技術(shù)、3D傳感生態(tài)系統(tǒng)中的關(guān)鍵參與者,以及3D技術(shù)的市場規(guī)模和預(yù)測。

Cambou是這份報告的共同作者之一,針對3D傳感進(jìn)行了深入分析。他告訴《EE Times》的記者,“Yole深信3D傳感技術(shù)將快速發(fā)展?！?

他指出,3D傳感模塊十分復(fù)雜,加上Apple為其TruDepth相機(jī)選擇的結(jié)構(gòu)光技術(shù)成本高,這一部份解釋了為什么Android手機(jī)必須要花將近八個月甚至更長的時間才能趕上Apple。

雖然Apple的TrueDepth在2017年之前就確立了3D前置相機(jī)的趨勢,但Yole坦言,(3D傳感應(yīng)用)的浪潮在量方面轉(zhuǎn)趨保守。

每一支新iPhone都有3D——包括正面和背面?

據(jù)坊間媒體猜測,今年秋季計劃發(fā)布的Apple新款iPhone都將配備3D前置攝影機(jī)。

在iPhone X中,Apple僅將3D傳感技術(shù)用于前置攝影機(jī)?，F(xiàn)在更大的問題是3D是否也能翻轉(zhuǎn)以及支持后向攝影機(jī)。

盡管Cambou確信前置3D的發(fā)展,但對于后置攝影機(jī)采用3D仍抱持懷疑態(tài)度。他指出,擴(kuò)增實境(VR)和虛擬現(xiàn)實(AR)一直欠缺市場動能,AR的銷售推廣和游戲都尚未在市場起飛。因此,他質(zhì)疑后置攝影機(jī)要搭載3D可能仍是“未來的一個利基市場“。

但Apple的3D傳感供貨商們似乎不這么認(rèn)為。Cambou承認(rèn),他們看好3D傳感作為“通用接口“的前景。從意法半導(dǎo)體(STMicroelectronics;ST)最近召開的季度財報電話會議看來,據(jù)Cambou的觀察,”他們似乎過度看好3D傳感將進(jìn)入智能手機(jī)前、后相機(jī)市場“。

那么有多少智能手機(jī)相機(jī)將會配備3D傳感技術(shù)?滲透率如何?Yole預(yù)測,2017年約有1.4%的滲透率,并將在2023年成長至55%。至于營收呢?

Yole預(yù)測這一市場正強(qiáng)勁成長。2017年3D傳感市場規(guī)模估計約有20億美元,包括用于消費、汽車、醫(yī)療、商業(yè)、科學(xué)、國防和航天等領(lǐng)域,并將在2023年達(dá)到180億美元。據(jù)Cambou指出,這一營收數(shù)字的貢獻(xiàn)來自于較“先前預(yù)測更高的平均銷售價格(ASP),以及消費裝置的3D采用率成長“。

事實上,在部署3D的所有細(xì)分市場中,Yole預(yù)測3D傳感技術(shù)市場將以82%的復(fù)合年成長率(CAGR)成長,自2017年的3.75億美元成長至2023年約為138億美元。相形之下,他預(yù)測汽車市場的CAGR為35%,自2017年的3.91億美元成長至2023年約為24億美元。

3D的發(fā)展脈絡(luò)

很顯然地,3D傳感讓Apple得以用Face ID取代指紋傳感器。正如Yole所說的,iPhone X的3D傳感應(yīng)用實現(xiàn)了“輕松解鎖“、”透過人臉識別實現(xiàn)安全性“、”游戲“(如Avatar)以及”漸變“(morphing)等功能,包括在Facebook、Snapchat和Instagram等社群媒體的實時濾鏡(AR、臉部漸變與合成等)等。

但如果你只是在智能手機(jī)的發(fā)展背景下思考3D,很可能會錯過3D為市場帶來的更大機(jī)會。

Cambou:“想想亞馬遜(Amazon)的Echo如何透過連接語音與人工智能(AI),并將語音提升為主要用戶接口(UI),從而改變了人機(jī)接口(HMI)“。同樣地,3D傳感技術(shù)使得生物特征識別”萬無一失“,如人臉識別等。因此,他強(qiáng)調(diào),3D也開啟了通往AI的大門。

事實上,智能手機(jī)讓3D傳感更加普及。但3D傳感并不僅僅是智能手機(jī)的專屬功能。Cambou說,它還具有深遠(yuǎn)的社會和政治影響力。

他在最近發(fā)表的“人臉識別技術(shù):亟需公共監(jiān)管與企業(yè)責(zé)任“(Facial recognition technology: The need for public regulation andcorporate responsibility)部落格文章中提到:”鑒于人臉識別技術(shù)的廣泛社會影響力以及被濫用的可能性,政府實施周全的監(jiān)管似乎特別重要,否則可能導(dǎo)致公共機(jī)構(gòu)以帶有缺陷或偏見的技術(shù)方法來決定要追蹤或調(diào)查誰,甚至逮捕罪犯等?！?

因此,3D傳感的影響力更甚于在這里討論誰家的智能手機(jī)搭載3D或使用哪一家的3D技術(shù)等。

3D技術(shù)生態(tài)系統(tǒng)

然而,從工程的角度來看,最耐人尋味之處在于揭密移動設(shè)備中搭載的各種深度傳感技術(shù)途徑。在即將來臨的3D傳感時代,全球生態(tài)系統(tǒng)中的每一家參與業(yè)者都在爭搶設(shè)計訂單。

簡而言之,結(jié)構(gòu)光和ToF技術(shù)是目前可用于深度傳感的兩種不同方法。結(jié)構(gòu)光透過將已知圖案投影到對象上再進(jìn)行3D掃描。當(dāng)光線照射到物體上,圖案會變形。這時再透過結(jié)構(gòu)光分析已知圖案的變形情況,以推斷深度。

ToF則透過調(diào)變光源照射場景,并觀察反射光源。測量照明和反射之間的相移后,再將其轉(zhuǎn)換為距離。

雖然Apple為其前置深度相機(jī)選擇了結(jié)構(gòu)光途徑,作為3D成像時代的起點,但Yole深信3D前端模塊“未來可能會朝向ToF技術(shù)發(fā)展”。Cambou認(rèn)為,ToF途徑“在陽光直射下更可靠,而且運算需求更低“。

移動設(shè)備中的深度傳感技術(shù)(來源:Yole Developpement)

Yole描述了三種不同的3D成像和傳感技術(shù)——包括立體視覺、結(jié)構(gòu)光到ToF。其中,ToF在技術(shù)上最不成熟。但可提供ToF解決方案的主要業(yè)者包括PMD、Sony、ST和英飛凌科技(Infineon Technologies)。結(jié)構(gòu)光技術(shù)則有Mantis、Vision、ams和ST、英特爾(Intel)、奇景光電(Himax)以及韓國的Namuga。ST同時投入兩大技術(shù)陣營。

Yole預(yù)期,短期內(nèi),Apple并不至于從結(jié)構(gòu)光轉(zhuǎn)向ToF。Cambou認(rèn)為,Apple至少要再過二到四年才可能推出新的硬件。同時,他補(bǔ)充說,ST是iPhone X基于結(jié)構(gòu)光的3D技術(shù)供貨商,“但它同時也推出了基于ToF的3D技術(shù)?！?

數(shù)字?jǐn)z影與3D傳感

Apple如今面臨的一個窘境是對于3D傳感博下重注,最后是否可能會因為犧牲傳統(tǒng)數(shù)字?jǐn)z影質(zhì)量反而傷害了Apple自己?

Cambou以華為(Huawei)為例指出,該公司現(xiàn)正斥重資于數(shù)字?jǐn)z影。以主動矩陣(用于傳統(tǒng)攝影)的尺寸來比較,他計算出Apple僅用了52 mm2,而三星(Samsung)則有91 mm2,華為的是112 mm2。

誰在打造3D深度傳感技術(shù)?

在Yole的協(xié)助下,《EE Times》列出了3D傳感生態(tài)系統(tǒng)的關(guān)鍵業(yè)者,尤其是在3D軟件/運算和3D系統(tǒng)設(shè)計領(lǐng)域。

3D軟件與運算

Faceshift (Apple旗下子公司)

Apple在2015年底悄悄地收購了Faceshift——這是一家從瑞士洛桑聯(lián)邦理工學(xué)院(EPFL)獨立出來的新創(chuàng)公司。這家瑞士新創(chuàng)公司開發(fā)了一種能實時捕捉角色的人臉識別而打造動畫化身的技術(shù)。

Apple iPhone X提供Animoji動畫表情(來源:Apple)

聽起來很耳熟吧?沒錯!就是有了Faceshift的臉部追蹤技術(shù),才成就了iPhone X Animoji動畫表情的基礎(chǔ)。

Movidius (英特爾旗下子公司)

英特爾子公司Movidius在今年初推出Myriad X視覺處理單元(VPU),被稱為“業(yè)界首款帶有專用神經(jīng)運算引擎的SoC,可用于邊緣為深度學(xué)習(xí)推理進(jìn)行硬件加速?！?

Movidius在被收購之前,即展開3D傳感的技術(shù)開發(fā)。其芯片最初用于作為3D渲染的引擎。Movidius曾與Google合作開發(fā)Tango (Google先進(jìn)技術(shù)與項目。

Project Tango(Google)

Google Project Tango的目標(biāo)是使用計算機(jī)視覺,讓移動設(shè)備能夠在沒有GPS或其他外部信號的情況下,檢測其相對于周圍環(huán)境的3D位置。Movidius為Project Tango提供了一種用于計算機(jī)視覺定位與動作追蹤的芯片。

Movidius的超低功耗視覺芯片最先出現(xiàn)在這一市場上,并成為3D傳感在移動設(shè)備上的先驅(qū)。大多數(shù)的視覺處理平臺出現(xiàn)在2010年初,例如微軟(Microsoft)一開始的Kinect中搭載的PrimeSense芯片(比Movidius的視覺處理器功耗更高)。值得注意的是,PrimeSense于2013年底被Apple以3.6億美元收購。

Project Tango (來源:Google)

Softkinetic (現(xiàn)為Sony Depthsensing Solution)

2015年10月,Sony收購位于比利時的3D傳感計算機(jī)視覺技術(shù)制造商SoftKinetics。SoftKinetic的技術(shù)包括微軟的Kinect深度相機(jī)、CMOS深度芯片和手勢追蹤中介固件。

從各種跡象來看,這家日本巨擘目前正積極地成為3D CMOS ToF傳感器和相機(jī)的關(guān)鍵廠商,Sony并于去年底將SoftKinetics改名為Sony Depthsensing Solution。

Sony最新的娛樂機(jī)器人'aibo'就采用了DepthSense技術(shù)和手勢識別軟件(來源:Sony)

據(jù)Sony表示,SoftKinetic開發(fā)CMOS 3D傳感器、3D相機(jī)參考設(shè)計、SDK、算法以及用于手勢識別、對象掃描、汽車控制和AR/VR等應(yīng)用,始終如一地提供3D傳感和處理方面的先進(jìn)解決方案。

由布魯塞爾團(tuán)隊開發(fā)的DepthSense相機(jī)模塊和軟件已經(jīng)被設(shè)計用于Sony最新的娛樂機(jī)器人——aibo。

Inuitive

以色列無晶圓廠芯片公司Intuitive Ltd.專注于3D成像的發(fā)展。去年秋天,該公司推出了一款多核心視覺處理器NU4000,支持3D成像、深度學(xué)習(xí)和計算機(jī)視覺處理,適用于AR/VR、無人機(jī)、機(jī)器人和許多其他應(yīng)用。

視頻鏈接:https://youtu.be/lsz4kJo-yz8

該公司聲稱,其新款處理器將實現(xiàn)“高質(zhì)量的深度傳感、芯片上SLAM、計算機(jī)視覺和深度學(xué)習(xí)(CNN)等——這些功能都整合于精巧的外形和最低功耗中。”

3D系統(tǒng)設(shè)計

LIPS

臺灣立普思(LIPS)成立于2013年,是3D深度相機(jī)和3D完整解決方案的供貨商,擁有專利的相機(jī)設(shè)計和軟件算法。

LIPSedge M3是一款專為嵌入式系統(tǒng)設(shè)計的多功能ToF深度相機(jī),可產(chǎn)生實時3D數(shù)據(jù)(來源:LIPS)

LIPS設(shè)計、建構(gòu)和客制3D深度相機(jī),同時還創(chuàng)建了識別中介固件和解決方案,以滿足OEM的各種應(yīng)用,包括機(jī)器人真空吸塵器、AR/VR、家用機(jī)器人、ADAS和工廠自動化等。

Mantis Vision

以色列Mantis Vision將自家定位為3D視覺的重要推手,并為其技術(shù)繪制了3D視覺的美好未來——讓消費者可在智能手機(jī)上拍攝3D照片或使用平板電腦掃描對象,然后將其發(fā)送到3D打印機(jī)。該公司擁有所謂的“專用編碼結(jié)構(gòu)光技術(shù)”。

Mantis Vision的模式采用獨特的程序代碼,能在更小面積上識別較標(biāo)準(zhǔn)方法更多的點。該公司聲稱,這種獨特的技術(shù)提供了更高的分辨率和準(zhǔn)確度,以降低最小的對象尺寸(來源:Mantis Vision)

Mantis Vision不久前還宣布與小米合作,該公司首席執(zhí)行官Gur Arie Bittan指出,該公司的團(tuán)隊克服了許多挑戰(zhàn),透過使用其內(nèi)部IP,才使迅聯(lián)開發(fā)出市場上最具成本效益的3D結(jié)構(gòu)光攝像頭模塊。

他指出,該公司還能夠?qū)⒐鈱W(xué)堆棧和尺寸從厘米(cm)縮小到毫米(mm),并采用當(dāng)時仍處于新興技術(shù)的VCSEL雷射,滿足OEM廠商的功耗要求,并符合眼睛安全規(guī)定。他表示,Mantis Vision還能打造了一個與RGB現(xiàn)有相機(jī)同步的攝影機(jī)支架模塊、定義并準(zhǔn)備量產(chǎn)校準(zhǔn),以及開發(fā)一個可在Arm Core上執(zhí)行的有效譯碼模式算法和管線。

Orbbec

深圳奧比中光科技是黃源浩在2013年成立的公司。他畢業(yè)于中國北京大學(xué),并在美國麻省理工學(xué)院(MIT)的SMART Center取得博士學(xué)位。他以雷射散斑干涉、數(shù)字散斑相關(guān)、射彈結(jié)構(gòu)光和計算機(jī)視覺等方面的研究而聞名。自2001年以來,他一直在研究和開發(fā)3D掃描技術(shù)。

據(jù)奧比中光表示,“過去三年來一直在努力實現(xiàn)3D——完善該公司的Astra 3D相機(jī)系列,并設(shè)計內(nèi)建完備計算機(jī)功能的Orbbec Persee 3D相機(jī)。

Astra Mini有兩個版本。短程版Astra Mini S相機(jī)支持0.35~1公尺的追蹤范圍,Astra Mini遠(yuǎn)程相機(jī)的范圍約為0.6~5公尺(來源:Orbbec)

Orbbec聲稱其Astra 3D相機(jī)“比當(dāng)今市場上的其他相機(jī)更好”,提供“最高深度分辨率、更卓越的范圍、卓越的準(zhǔn)確性和最低延遲”。

Orbbec據(jù)稱是Oppo的合作伙伴——使用其基于結(jié)構(gòu)光的3D傳感技術(shù)。

PMD

德國PMD Technologies AG成立于2002年,致力于開發(fā)CMOS半導(dǎo)體3D ToF組件,同時為數(shù)字3D成像領(lǐng)域提供工程支持。

值得一提的是,該公司引以為榮的先進(jìn)ToF技術(shù)——整合于芯片上,PMD稱其“十分精巧、可擴(kuò)展且功能強(qiáng)大”。

德國徠卡(Leica)為PMD設(shè)計了專用的光學(xué)鏡頭,用于其移動設(shè)備的3D深度傳感成像器和相機(jī)模塊。(來源:PMD)

PMD并為OEM的相機(jī)開發(fā)提供參考設(shè)計,包括標(biāo)準(zhǔn)和客制版。PMD聲稱擁有多年的ToF相機(jī)設(shè)計經(jīng)驗,可協(xié)助系統(tǒng)設(shè)計人員加速其硬件開發(fā)過程,而該公司的可擴(kuò)展技術(shù)“將符合各種不同的特定相機(jī)模塊要求”。

英飛凌一直是PMD的長期合作伙伴。雙方共同開發(fā)了用于3D人臉識別的ToF影像傳感器。英飛凌的Real3 (或IRS238xC)尺寸還不到12mm x 8mm,包括接收光學(xué)系統(tǒng)和VCSEL照明,能將相機(jī)模塊整合于智能手機(jī)中。

PMD據(jù)傳與中國智能手機(jī)供應(yīng)商Vivo合作伙伴,為其提供配備基于ToF的3D技術(shù)。

原文標(biāo)題:獨家:3D成像應(yīng)該成為未來手機(jī)標(biāo)配嗎?

文章出處:【微信號:eet-china,微信公眾號:電子工程專輯】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。