來(lái)源：創(chuàng)業(yè)邦

來(lái)源丨創(chuàng)業(yè)邦（ID：ichuangyebang）

作者丨博雯

編輯丨海腰

圖源丨深知未來(lái)官網(wǎng)

在黑暗中視物是人類(lèi)一直以來(lái)的追求，而智能時(shí)代的到來(lái)，又使整個(gè)夜視領(lǐng)域進(jìn)入了新的階段。

今年3月，AI增強(qiáng)夜視公司深知未來(lái)完成數(shù)千萬(wàn)人民幣A+輪融資，由景泰資本投資。

所謂“AI增強(qiáng)夜視”，是指通過(guò)計(jì)算機(jī)視覺(jué)和深度學(xué)習(xí)卷積網(wǎng)絡(luò)技術(shù),，能夠在0.001Lux的極低照度下實(shí)現(xiàn)全彩細(xì)節(jié)成像,。

照度是反映光照強(qiáng)度的物理量，Lux（勒克斯）則是其基本單位,。

對(duì)于人眼來(lái)說(shuō),，適宜閱讀的照度約為500Lux，能感受到的極限照度為1Lux,，相當(dāng)于在全黑環(huán)境中點(diǎn)燃一根蠟燭,。

目前市場(chǎng)上大部分夜視相機(jī)可達(dá)到的極限為0.01Lux，也就是月夜下的亮度,，而深知未來(lái)能達(dá)到的最低照度0.001Lux被稱(chēng)為“極弱光”,，相當(dāng)于夜晚星空下的光照強(qiáng)度。

那么,，這種突破性的夜間視物能力到底是怎么做到的？又有什么用,？

夜視領(lǐng)域：從卷硬件到用AI

夜視技術(shù)最早誕生于20世紀(jì)初，本質(zhì)是在低照度條件下,， 將不可見(jiàn)的輻射加入轉(zhuǎn)換,，或?qū)⑽⑷醯沫h(huán)境光進(jìn)行增強(qiáng)，最終得以成像的一種技術(shù),。

這種技術(shù)首先需要一個(gè)感知光信號(hào)的前端設(shè)備,，也就是圖像傳感器，負(fù)責(zé)感知和接收光信號(hào),，并將其轉(zhuǎn)變成電信號(hào),。

接下來(lái)，前端傳感器輸出的電壓,、電流信號(hào)就要通過(guò)ISP（圖像信號(hào)處理器）,，對(duì)上一步的輸出信號(hào)做“后期處理”——

比如“線(xiàn)性校正”，也就是通過(guò)線(xiàn)性變換抵消較為偏暗的成像,；

比如“降噪”，也就是在弱光條件下,，當(dāng)傳感器難以接收到足夠的光信息,，從而導(dǎo)致發(fā)熱,，產(chǎn)生噪點(diǎn)圖像時(shí)，去減少這些圖案圖案噪聲,，同時(shí)保留紋理細(xì)節(jié),。

再比如“白平衡”，通過(guò)分析來(lái)自傳感器的亮度信息,，計(jì)算和控制光圈,、快門(mén)速度和感光度（ISO） ，使得圖像亮度適宜,。

從本質(zhì)來(lái)說(shuō),，ISP是一系列圖像處理算法的集合，通過(guò)各種增強(qiáng),、矯正,、去噪、轉(zhuǎn)換等環(huán)節(jié),，力求還原圖像,。

從重要性來(lái)說(shuō)，如果說(shuō)圖像傳感器是人眼,，那么ISP就是視覺(jué)處理中樞,。

在2018年之前,，夜視領(lǐng)域的玩家們大都都選擇卷硬件,，試圖對(duì)感光設(shè)備進(jìn)行工藝改進(jìn)，增加其感光面積,。

其中的最強(qiáng)玩家索尼,，就曾花費(fèi)5年的時(shí)間，將低照度感光芯片的光照感知能力從0.14Lux提升到了0.07Lux,。

然而,，由于材料學(xué)以及制造工藝難以突破，視覺(jué)成像效果漸漸難以從硬件層面得到大幅提升,。

與此同時(shí),，一些特定場(chǎng)景對(duì)于最低照度的需求越來(lái)越高，比如夜間偵查瞄準(zhǔn)等現(xiàn)代軍事應(yīng)用,，或者安保監(jiān)測(cè)等公共安全領(lǐng)域,，都要求在0.001Lux及以下的星光級(jí)環(huán)境下仍能成像。

2018年,，英特爾實(shí)驗(yàn)室發(fā)表論文《Learning to see in the dark》,，提出通過(guò)深度學(xué)習(xí)算法打造一種全新的AI-ISP成像體系。

傳統(tǒng)ISP常?；谟布?，通過(guò)不斷擴(kuò)充參數(shù)庫(kù)來(lái)調(diào)試各種效果。

這篇論文則論證了通過(guò)神經(jīng)網(wǎng)絡(luò)算法實(shí)現(xiàn)ISP全部功能的可能性——即通過(guò)深度學(xué)習(xí)海量場(chǎng)景和數(shù)據(jù),，輸出算法模型,，對(duì)圖像進(jìn)行精準(zhǔn)處理。

神經(jīng)網(wǎng)絡(luò)算法本就是模仿生物神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)所建立的,，因此,，這就像是將人類(lèi)復(fù)雜的視覺(jué)神經(jīng)網(wǎng)絡(luò)融入ISP，使其成為了真正的“視覺(jué)處理中樞”

這篇論文在當(dāng)年被計(jì)算機(jī)視覺(jué)頂會(huì)CVPR收錄,，而文中提出的方法也為夜視領(lǐng)域帶來(lái)了一條全新思路,。

夜間圖像亮度提升200倍

2015年,，32歲的張齊寧從任職8年的騰訊離職,，開(kāi)始做互聯(lián)網(wǎng)方面的創(chuàng)業(yè)。

他本科就讀于武漢大學(xué)的計(jì)算機(jī)科學(xué)與技術(shù)專(zhuān)業(yè),，畢業(yè)后先后任職于華為和騰訊,，在騰訊創(chuàng)新中心、騰訊研究院,、IEG等多個(gè)部門(mén)歷任研發(fā),、策劃和管理職務(wù)。

離職兩年后,，張齊寧于2017年10月創(chuàng)立了深知未來(lái),。

公司的另一位聯(lián)合創(chuàng)始人兼CTO郭奇鋒曾任騰訊SOSO搜索系統(tǒng)架構(gòu)師、百度商務(wù)搜索部基礎(chǔ)檢索組技術(shù)負(fù)責(zé)人,、小米MIUI 9多個(gè)人工智能項(xiàng)目技術(shù)負(fù)責(zé)人,。

英特爾的那篇關(guān)鍵論文在他們公司成立一年后發(fā)布，也正是在那一年12月,，深知未來(lái)獲得了南嶺投資的種子輪融資,。

萬(wàn)事俱備，深知未來(lái)便和很多企業(yè)一樣,，開(kāi)始沿著這條新路線(xiàn)探索,。

在張齊寧看來(lái)，AI-ISP的定義,，是完成從感光芯片到成像過(guò)程的一整個(gè)算法集合體,，包含20-30個(gè)算法，如降噪,、銳化,、HDR等等。

但如果通過(guò)神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)ISP的所有功能,，當(dāng)時(shí)端側(cè)的算力有限,，不同功能要全部實(shí)現(xiàn)的難度也很高,，從商業(yè)化角度來(lái)說(shuō)性?xún)r(jià)比不大。

此外,，不同產(chǎn)品對(duì)于視覺(jué)成像的要求也不同，因此,，一般芯片廠(chǎng)商會(huì)預(yù)留大量參數(shù),，以供產(chǎn)品廠(chǎng)商再做下游的調(diào)試。

所以,，深知未來(lái)決定只做部分關(guān)鍵ISP環(huán)節(jié)的AI化,，如白平衡、降噪等,。

在去年的某次采訪(fǎng)中,，張齊寧提到，整個(gè)AI-ISP體系的20-30個(gè)算法,，有的廠(chǎng)商關(guān)注了其中2-4個(gè)成像領(lǐng)域,，而他們關(guān)注了7-8個(gè)領(lǐng)域，在涵蓋范圍和深度上是行業(yè)中最大的,。

基于英特爾論文的基本思路,，深知未來(lái)利用神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)噪聲和信號(hào)的分布特性，在2019年推出了自研的夜視神經(jīng)網(wǎng)絡(luò)EODNet（end of dark）,，意為“黑暗終結(jié)者”,。

這套系統(tǒng)能夠從極弱光信號(hào)中分離噪聲和真實(shí)信號(hào),，在降噪的同時(shí)將真實(shí)信號(hào)增強(qiáng)至正常光環(huán)境強(qiáng)度,，還能夠在復(fù)雜光線(xiàn)、抖動(dòng)和幀率等情況下保持穩(wěn)定的成像質(zhì)量,。

從最直觀的數(shù)字來(lái)講,，能夠?qū)⒂布淖畹驼斩葟?.1lux提升至0.003lux，最高能將夜間圖像的亮度提升200倍,。

應(yīng)用場(chǎng)景多為G端、B端

2023年,，全球夜視設(shè)備市場(chǎng)規(guī)模約為89.5億美元,，而國(guó)內(nèi)的夜視設(shè)備市場(chǎng)規(guī)模同比增長(zhǎng)6.3%。

這并不是一個(gè)規(guī)模巨大的市場(chǎng),，但其應(yīng)用場(chǎng)景,，卻已在G端、B端和C端都形成了分支,。

比如,，公安領(lǐng)域有數(shù)據(jù)顯示,，七成以上的犯罪都在晚上7點(diǎn)到次日凌晨5點(diǎn)的時(shí)間段內(nèi)發(fā)生，但此前,，市面上主流的熱成像夜視儀和紅外補(bǔ)光夜視儀,，成像多為黑白或弱彩，存在目標(biāo)細(xì)節(jié)特征不明顯等缺點(diǎn),。

因此,，在這種極低照度下的夜間，能夠提供彩色清晰的圖像,，尤其是像衣著顏色,、車(chē)身顏色、車(chē)牌等,，往往就能成為破案的關(guān)鍵線(xiàn)索,。

不僅在刑偵領(lǐng)域，還有環(huán)境惡劣的邊防,、山嶺和沙漠油田區(qū)的違規(guī)監(jiān)控,、國(guó)家自然保護(hù)區(qū)的野生動(dòng)物監(jiān)測(cè)、禁漁期的河流監(jiān)測(cè),，都是低照度全彩夜視成像的應(yīng)用范圍,。

除此之外，面臨夜間行駛場(chǎng)景的自動(dòng)駕駛領(lǐng)域,，在拍照功能上無(wú)限內(nèi)卷的手機(jī)廠(chǎng)商,，都在近些年或多或少地引入了基于AI-ISP的低照度全彩夜視成像，改善圖像質(zhì)量,。

過(guò)去一年,，深知未來(lái)的全彩夜視產(chǎn)品已在多個(gè)全天候安防場(chǎng)景中實(shí)現(xiàn)落地應(yīng)用，并與中海油等大型企業(yè)建立了深度合作關(guān)系,。

至于消費(fèi)端,，則多見(jiàn)于戶(hù)外運(yùn)動(dòng)場(chǎng)景，比如夜爬,、露營(yíng)等等,。

對(duì)于深知未來(lái),，他們目前最大的商業(yè)化場(chǎng)景是工業(yè)級(jí)無(wú)人機(jī)的全彩夜視相機(jī)掛載,，也是最早商業(yè)化的領(lǐng)域。

目前官網(wǎng)展示出了三種型號(hào)的整機(jī)產(chǎn)品,，可適配搭載于大疆的行業(yè)機(jī),。

這類(lèi)產(chǎn)品主要針對(duì)B端場(chǎng)景，主要圍繞著農(nóng)業(yè)植保、電力巡檢和警用安防三大領(lǐng)域,。

在汽車(chē)領(lǐng)域,，張齊寧在去年接受采訪(fǎng)時(shí)透露，公司已與國(guó)內(nèi)一線(xiàn)主機(jī)廠(chǎng)商聯(lián)合開(kāi)展相關(guān)研發(fā),，推進(jìn)夜視模組上車(chē)應(yīng)用,。

而對(duì)于C端客戶(hù)，深知未來(lái)也在2023年推出了類(lèi)似單筒望遠(yuǎn)鏡形態(tài)的P8 Pro,，和一款單反式的夜視設(shè)備P6,。

截至目前，算上最近的這一次,，深知未來(lái)已獲得5輪融資，團(tuán)隊(duì)規(guī)模則為50人左右,。

除了用于產(chǎn)品出海,，組建北美小型本地化團(tuán)隊(duì)之外，張齊寧也在去年年底時(shí)表示,，將繼續(xù)進(jìn)行AI-ISP的研發(fā),。

在五六年前，業(yè)界考慮到端側(cè)算力,、訓(xùn)練推理成本等問(wèn)題,，大多建立的是部分傳統(tǒng)ISP+部分神經(jīng)網(wǎng)絡(luò)流程的管線(xiàn)。

但現(xiàn)在,，隨著底層技術(shù)的不斷進(jìn)步,，是否有可能繼續(xù)與AI融合？

“ 接下來(lái),，我們想完全切掉所有傳統(tǒng)ISP流程,，用神經(jīng)網(wǎng)絡(luò)替代?！?/p>

去年8月,，張齊寧在接受媒體“機(jī)器之能”采訪(fǎng)時(shí)這樣說(shuō)。他希望建立一個(gè)all in one的神經(jīng)網(wǎng)絡(luò),，不再依賴(lài)于任何傳統(tǒng)ISP管線(xiàn),。