當(dāng)某廠把相機(jī)鏡頭塞到手機(jī)上時，不知道有多少人和我們有一樣的想法：
“手機(jī)攝影硬件走到頭了。”
極致的硬件堆料，是手機(jī)廠商在影像畫質(zhì)競爭中的首選項。從“底大一級壓死人”到把潛望鏡/相機(jī)鏡頭搬上手機(jī)，手機(jī)廠商在物理上提升光學(xué)性能的手段幾乎使了個遍。如何能在光學(xué)硬件堆到極致的情況下再進(jìn)一步？這個答案可能要給到——計算攝影。
是SoC還是ISP？沒有對錯的路線之分
無論是引發(fā)爭議的華為“月亮模式”還是今天發(fā)布的vivo自研芯片V2、各大手機(jī)廠商都開始深耕計算攝影的潛力，計算攝影已經(jīng)成為手機(jī)行業(yè)下一個突破口。
計算攝影聽起來高級，實際就是在鏡頭和傳感器光學(xué)性能之外，對采集到的畫面信息進(jìn)行優(yōu)化，輸出更高質(zhì)量或更符合需求的畫面。所以嚴(yán)格來講，早期的美顏濾鏡和HDR都是計算攝影的一部分。我們對計算攝影并不陌生。但想要用計算攝影做更多的事，額外的畫面處理會帶來對硬件計算性能成倍增長的需求。
蘋果很早就意識到這個問題。他們選擇自研SoC，并參考具體應(yīng)用的性能需求與功耗來對自研SoC進(jìn)行調(diào)整優(yōu)化。iPhone 13上驚艷的電影模式，也是基于AI分析畫面中人物關(guān)系，錄制淺景深視頻并柔順地轉(zhuǎn)換焦點，從而讓視頻呈現(xiàn)出電影般的質(zhì)感。
依靠自研SoC解決計算攝影軟硬件配套。這個思路很棒，但SoC行業(yè)太卷。
《SoC芯片行業(yè)研究》中就表明，國內(nèi)集成電路設(shè)計企業(yè)所需的IP核大多來自境外供應(yīng)商，每年進(jìn)口金額10億美元以上，占全球市場的1/3左右。產(chǎn)業(yè)鏈下游的晶圓制造環(huán)節(jié)也呈現(xiàn)非常明顯的頭部效應(yīng)，根據(jù)IC Insights的數(shù)據(jù)顯示，在全球前十大代工廠商中，臺積電一家占據(jù)了超過一半的市場份額，前八家市場份額接近90%。與手機(jī)廠商關(guān)系最密切的產(chǎn)業(yè)鏈中游，因為手機(jī)對制程與性能的極致需求、只有高通、三星、聯(lián)發(fā)科仍在對外提供手機(jī)旗艦處理器，近期三星也傳出下代旗艦上放棄使用自家獵戶座處理器，全面轉(zhuǎn)向高通。
如果只需要一個輪子，就不要去再造一輛車。特斯拉智能駕駛芯片負(fù)責(zé)人Peter Bannon在接受采訪時就表示，“特斯拉開始研發(fā)FSD（特斯拉智能駕駛芯片）的初衷是，我們發(fā)現(xiàn)市場上沒有一種芯片是從底層出發(fā)為自動駕駛和深度神經(jīng)網(wǎng)絡(luò)算法設(shè)計的。”對于提升計算攝影性能，自研SoC并不是唯一道路，手機(jī)拍攝會經(jīng)過鏡組-傳感器-ADC（模數(shù)轉(zhuǎn)換器）-ISP(圖像信號處理)-CPU這個工作流程，在計算攝影中，主要負(fù)責(zé)圖像處理的ISP才是流程中的“瓶頸工序”。針對計算攝影需求開發(fā)，專用性更強(qiáng)的定制化ISP在計算攝影應(yīng)用中會更得心應(yīng)手。
（vivo剛發(fā)布的自研芯片V2，就是一顆AI-ISP架構(gòu)的低功耗AI加速芯片）
深入芯片，是什么為計算攝影提供動力？
Mobileye創(chuàng)始人兼CEO AnnonShashua曾表示，“只有深入了解軟硬件之間的相互作用是什么，才能清楚到底應(yīng)該用什么樣的芯片去支持什么樣的算法。”
蘋果大家很熟，我們就借由vivo這顆V2自研芯片來看看計算攝影是怎么在軟硬件之間交織的。
與初代相比，V2這次迭代非同小可。它采用AI-ISP架構(gòu)，將傳統(tǒng)ISP低延時、高能效的特點進(jìn)一步帶入到AI實時處理運算架構(gòu)中。
首先是通過與聯(lián)發(fā)科天璣9200的聯(lián)調(diào)與深度合作，vivo在天璣9200上可以借助自研芯片和SoC的雙芯配合來突破原有性能上限，滿足計算攝影暴增的算力需求。
從具體實現(xiàn)方式來說，V2采用了異構(gòu)多芯片計算方式，vivo稱其為FIT雙芯互聯(lián)技術(shù)。
vivo將兩顆芯片做了一個分工，將大型復(fù)雜算法模塊拆分，把算力密度小、網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜的小模型部分，通過軟件部署在平臺NPU上；把算力密度大、數(shù)據(jù)吞吐密集的大模型部分，部署在V2硬件上，讓它們處理各自擅長的運算模塊。發(fā)揮平臺和外掛芯片的各自優(yōu)勢，做出1+1>2的效果。
計算性能上去了，往往帶來的是功耗的提升，這也是傳統(tǒng)外掛芯片難以回避的問題。
vivo對此給出的答案是專芯專用，通過芯片的定向設(shè)計達(dá)到實際功耗的降低及用戶體驗的提升。
V2的AI計算單元上選擇了更適合做復(fù)雜成像運算的DLA加速器而非傳統(tǒng)的NPU，并且專門搭載了更大的片上緩存，讓V2的片上SRAM容量較V1提升了40%，達(dá)到等效45MB。跳出行業(yè)常用的外存DDR架構(gòu)的好處是最大程度避免內(nèi)存瓶頸限制數(shù)據(jù)運算效率，同時減小了影像計算中的延遲問題，為低延遲計算影像鋪平了道路。
vivo將其稱為全硬化定制設(shè)計近存DLA
并且在些特定場景下只調(diào)用V2自研芯片。例如V2專門內(nèi)置了10bit的MAC單元以滿足針對專業(yè)視頻的10bit色深處理需求，據(jù)vivo稱，這樣相較平臺SoC軟件部署所采用的合并運算方式，10bit算力密度提升了4-6倍的巨幅提升。
芯片進(jìn)步，為計算攝影應(yīng)用帶來什么改變？
雙芯互聯(lián)保證能同時高效運行不同架構(gòu)的算法模型。近存DLA縮短了影像在整個手機(jī)拍攝管線中的處理時間，同時做好功耗控制。擁有獨立影像芯片的vivo，可以在此基礎(chǔ)上對其攝影算法進(jìn)行更進(jìn)一步的軟硬結(jié)合來提升效果，而本次雙芯技術(shù)溝通發(fā)布會中重點講述的技術(shù)也是其算法提升的表現(xiàn)。我們可以借此一窺——技術(shù)進(jìn)步會帶來哪些計算攝影新方向？
1、部分解決手機(jī)相機(jī)鏡組光學(xué)素質(zhì)的局限性
手機(jī)相機(jī)受限于手機(jī)本身的厚度，鏡頭模組難以靠堆疊鏡片來進(jìn)行畫質(zhì)矯正。在已大量使用非球面鏡片等設(shè)計下，相較相機(jī)鏡頭在解析度，色差、色散上仍有不小差距，尤其是長焦端。通常的解決方法是更換參數(shù)更高的鏡頭，通過機(jī)身設(shè)計來掩飾增大的鏡組體積。
而vivo在發(fā)布會上提出了一種新思路，是和蔡司聯(lián)合研發(fā)的一種計算光學(xué)算法，預(yù)先對每款手機(jī)的攝像模組特性做建模分析，預(yù)估光學(xué)缺陷并做動態(tài)補(bǔ)償，彌補(bǔ)手機(jī)相對薄弱的光學(xué)性能。
（vivo展示的蔡司光學(xué)超分算法樣張對比，據(jù)稱可以恢復(fù)5倍以上焦段約35%的清晰度信息。）
提升暗光下的極限拍照能力
夜景模式幾乎每一家手機(jī)廠商都有嘗試，有兩條常見路線：一條技術(shù)路線為拍攝多張畫面，通過算法進(jìn)行多幀合成，盡量還原真實場景。另一條技術(shù)路線是依靠AI模型預(yù)訓(xùn)練，再對畫面進(jìn)行推算，谷歌相機(jī)就是最典型的例子。但無論是哪種方案，都需要圖像處理芯片在短時間內(nèi)對大量畫面的存儲調(diào)度和計算。
vivo的解決思路更傾向第一條路線，于軟硬件結(jié)合下提升暗光環(huán)境的抓拍能力，一方面將傳感器的ISO高感從上一代的16000提升到10萬，大幅提升感光能力，再配合以發(fā)布會上提到的運動自適應(yīng)多幀融合技術(shù)，嘗試突破多幀合成方案中難以解決的拖影問題。
（根據(jù)vivo發(fā)布會數(shù)據(jù)，新架構(gòu)的暗光對焦能力最高可覆蓋至-6EV曝光環(huán)境）
在低至5lux的暗光場景下都能擁有極佳的畫面定格能力
降低拍攝延遲和智能預(yù)判被攝人物運動
vivo提出的運動抓拍概念也相當(dāng)有趣，他們將運動抓拍的需求拆解為“降低延遲”和“提前預(yù)判畫面動向”。
當(dāng)“決定性瞬間”出現(xiàn)的時候，手機(jī)往往是手邊唯一的拍攝設(shè)備。想要在轉(zhuǎn)瞬即逝的時機(jī)中記錄準(zhǔn)確的畫面，對拍攝設(shè)備的延遲有相當(dāng)?shù)囊蟆５謾C(jī)的快門延遲往往高達(dá)170-300ms，常常是按下快門卻錯過了畫面，這就需要在鏡組-傳感器-ADC-ISP-CPU這個工作流程中盡量縮短處理路徑，V2芯片搭載的近存DLA的重要性就體現(xiàn)在這里，極短的數(shù)據(jù)鏈路能讓快門延遲大幅降低，實現(xiàn)vivo宣稱的“零延時”抓拍。官方稱全面優(yōu)化圖像處理管線，快門延遲低至30ms。
同時可以根據(jù)現(xiàn)有畫面，檢測肢體運動強(qiáng)度并跟蹤，畫面走向并及時鎖定畫面。vivo嘗試通過這二者的疊加讓運動抓拍更準(zhǔn)確。
除了計算攝影，芯片進(jìn)步還有什么值得期待的？
手機(jī)性能目前已經(jīng)達(dá)到瓶頸，SoC升級帶來的提升已經(jīng)低于10%，而作為廠商為了在競爭中贏得勝利，必須在通過其他手段提升表現(xiàn)，自研芯片就應(yīng)運而生。
在魯大師看來，自研芯片V2還會在以下方面帶來不錯的效果表現(xiàn)。
AI性能的提升：目前看來，vivo 基于芯片V2的出現(xiàn)會帶動聯(lián)發(fā)科9200的AI性能表現(xiàn)大幅提升，這部分AI性能的提升會帶來的直接效果就是需要運用AI算法的APP響應(yīng)時間會大幅加速。魯大師具有對應(yīng)的AI測試，會在后續(xù)的評測內(nèi)容中進(jìn)行針對性評測。
功耗的降低：在針對影像方面的專芯專用會帶來功耗的降低，拍攝和視頻是手機(jī)耗電重災(zāi)區(qū)，vivo自研芯片V2的出現(xiàn)會降低這部分功耗，搭配上功耗方面比較占優(yōu)勢的天璣9200，堪稱vivo史上最強(qiáng)旗艦X90系列的功耗值得期待，這部分敬請關(guān)注魯大師功耗測試。
未來，計算攝影或?qū)⒊墒謾C(jī)圈共逐之鹿
只要影像能力仍是消費者選擇手機(jī)的核心要素，手機(jī)廠商間的“影像軍備競賽”就不會停止。但相比于堆無可堆的光學(xué)硬件，計算攝影的想象空間還遠(yuǎn)未被限制。如蘋果、vivo、華為等提前布局計算攝影技術(shù)的廠商已經(jīng)逐漸收獲用戶的認(rèn)同。
以驍龍8 Gen2和天璣9200為代表的新一代安卓旗艦即將面世，極大概率剛發(fā)布的V2自研芯片也會出現(xiàn)在vivo今年的影像旗艦X90上。
如何從一眾一英寸傳感器中脫穎而出？定制化的圖像處理硬件及依附于其上的計算攝影，或成接下來主導(dǎo)移動攝影天花板的關(guān)鍵要素。憑借領(lǐng)先的計算攝影能力，我們期待vivo將一英寸等頂尖光學(xué)器件的能力發(fā)揮至更佳。
