來源：創(chuàng)業(yè)邦

來源丨創(chuàng)業(yè)邦（ID：ichuangyebang）

作者丨博雯

編輯丨海腰

圖源丨深知未來官網(wǎng)

在黑暗中視物是人類一直以來的追求,，而智能時(shí)代的到來，又使整個(gè)夜視領(lǐng)域進(jìn)入了新的階段。

今年3月,，AI增強(qiáng)夜視公司深知未來完成數(shù)千萬人民幣A+輪融資,，由景泰資本投資。

所謂“AI增強(qiáng)夜視”,，是指通過計(jì)算機(jī)視覺和深度學(xué)習(xí)卷積網(wǎng)絡(luò)技術(shù)，能夠在0.001Lux的極低照度下實(shí)現(xiàn)全彩細(xì)節(jié)成像,。

照度是反映光照強(qiáng)度的物理量,，Lux（勒克斯）則是其基本單位。

對(duì)于人眼來說,，適宜閱讀的照度約為500Lux,，能感受到的極限照度為1Lux，相當(dāng)于在全黑環(huán)境中點(diǎn)燃一根蠟燭,。

目前市場(chǎng)上大部分夜視相機(jī)可達(dá)到的極限為0.01Lux,，也就是月夜下的亮度，而深知未來能達(dá)到的最低照度0.001Lux被稱為“極弱光”,，相當(dāng)于夜晚星空下的光照強(qiáng)度,。

那么,，這種突破性的夜間視物能力到底是怎么做到的,？又有什么用？

夜視領(lǐng)域：從卷硬件到用AI

夜視技術(shù)最早誕生于20世紀(jì)初,，本質(zhì)是在低照度條件下， 將不可見的輻射加入轉(zhuǎn)換,，或?qū)⑽⑷醯沫h(huán)境光進(jìn)行增強(qiáng),，最終得以成像的一種技術(shù)。

這種技術(shù)首先需要一個(gè)感知光信號(hào)的前端設(shè)備,，也就是圖像傳感器,，負(fù)責(zé)感知和接收光信號(hào)，并將其轉(zhuǎn)變成電信號(hào),。

接下來,，前端傳感器輸出的電壓、電流信號(hào)就要通過ISP（圖像信號(hào)處理器）,，對(duì)上一步的輸出信號(hào)做“后期處理”——

比如“線性校正”,，也就是通過線性變換抵消較為偏暗的成像；

比如“降噪”,，也就是在弱光條件下,，當(dāng)傳感器難以接收到足夠的光信息，從而導(dǎo)致發(fā)熱，產(chǎn)生噪點(diǎn)圖像時(shí),，去減少這些圖案圖案噪聲,，同時(shí)保留紋理細(xì)節(jié)。

再比如“白平衡”,，通過分析來自傳感器的亮度信息,，計(jì)算和控制光圈,、快門速度和感光度（ISO） ，使得圖像亮度適宜,。

從本質(zhì)來說,，ISP是一系列圖像處理算法的集合,，通過各種增強(qiáng)、矯正,、去噪,、轉(zhuǎn)換等環(huán)節(jié)，力求還原圖像,。

從重要性來說,，如果說圖像傳感器是人眼，那么ISP就是視覺處理中樞,。

在2018年之前，夜視領(lǐng)域的玩家們大都都選擇卷硬件,，試圖對(duì)感光設(shè)備進(jìn)行工藝改進(jìn),，增加其感光面積。

其中的最強(qiáng)玩家索尼,，就曾花費(fèi)5年的時(shí)間,，將低照度感光芯片的光照感知能力從0.14Lux提升到了0.07Lux。

然而,，由于材料學(xué)以及制造工藝難以突破,，視覺成像效果漸漸難以從硬件層面得到大幅提升。

與此同時(shí),，一些特定場(chǎng)景對(duì)于最低照度的需求越來越高,，比如夜間偵查瞄準(zhǔn)等現(xiàn)代軍事應(yīng)用，或者安保監(jiān)測(cè)等公共安全領(lǐng)域,，都要求在0.001Lux及以下的星光級(jí)環(huán)境下仍能成像,。

2018年，英特爾實(shí)驗(yàn)室發(fā)表論文《Learning to see in the dark》,，提出通過深度學(xué)習(xí)算法打造一種全新的AI-ISP成像體系,。

傳統(tǒng)ISP常常基于硬件,，通過不斷擴(kuò)充參數(shù)庫來調(diào)試各種效果,。

這篇論文則論證了通過神經(jīng)網(wǎng)絡(luò)算法實(shí)現(xiàn)ISP全部功能的可能性——即通過深度學(xué)習(xí)海量場(chǎng)景和數(shù)據(jù)，輸出算法模型,，對(duì)圖像進(jìn)行精準(zhǔn)處理,。

神經(jīng)網(wǎng)絡(luò)算法本就是模仿生物神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)所建立的，因此,，這就像是將人類復(fù)雜的視覺神經(jīng)網(wǎng)絡(luò)融入ISP,，使其成為了真正的“視覺處理中樞”

這篇論文在當(dāng)年被計(jì)算機(jī)視覺頂會(huì)CVPR收錄，而文中提出的方法也為夜視領(lǐng)域帶來了一條全新思路,。

夜間圖像亮度提升200倍

2015年，32歲的張齊寧從任職8年的騰訊離職,，開始做互聯(lián)網(wǎng)方面的創(chuàng)業(yè),。

他本科就讀于武漢大學(xué)的計(jì)算機(jī)科學(xué)與技術(shù)專業(yè)，畢業(yè)后先后任職于華為和騰訊,，在騰訊創(chuàng)新中心,、騰訊研究院、IEG等多個(gè)部門歷任研發(fā),、策劃和管理職務(wù),。

離職兩年后，張齊寧于2017年10月創(chuàng)立了深知未來,。

公司的另一位聯(lián)合創(chuàng)始人兼CTO郭奇鋒曾任騰訊SOSO搜索系統(tǒng)架構(gòu)師,、百度商務(wù)搜索部基礎(chǔ)檢索組技術(shù)負(fù)責(zé)人、小米MIUI 9多個(gè)人工智能項(xiàng)目技術(shù)負(fù)責(zé)人,。

英特爾的那篇關(guān)鍵論文在他們公司成立一年后發(fā)布,，也正是在那一年12月，深知未來獲得了南嶺投資的種子輪融資,。

萬事俱備,，深知未來便和很多企業(yè)一樣，開始沿著這條新路線探索,。

在張齊寧看來,，AI-ISP的定義，是完成從感光芯片到成像過程的一整個(gè)算法集合體,，包含20-30個(gè)算法,，如降噪、銳化,、HDR等等,。

但如果通過神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)ISP的所有功能,，當(dāng)時(shí)端側(cè)的算力有限，不同功能要全部實(shí)現(xiàn)的難度也很高,，從商業(yè)化角度來說性價(jià)比不大,。

此外，不同產(chǎn)品對(duì)于視覺成像的要求也不同,，因此,，一般芯片廠商會(huì)預(yù)留大量參數(shù)，以供產(chǎn)品廠商再做下游的調(diào)試,。

所以,，深知未來決定只做部分關(guān)鍵ISP環(huán)節(jié)的AI化，如白平衡,、降噪等。

在去年的某次采訪中,，張齊寧提到,，整個(gè)AI-ISP體系的20-30個(gè)算法，有的廠商關(guān)注了其中2-4個(gè)成像領(lǐng)域,，而他們關(guān)注了7-8個(gè)領(lǐng)域,，在涵蓋范圍和深度上是行業(yè)中最大的。

基于英特爾論文的基本思路,，深知未來利用神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)噪聲和信號(hào)的分布特性,，在2019年推出了自研的夜視神經(jīng)網(wǎng)絡(luò)EODNet（end of dark），意為“黑暗終結(jié)者”,。

這套系統(tǒng)能夠從極弱光信號(hào)中分離噪聲和真實(shí)信號(hào)，在降噪的同時(shí)將真實(shí)信號(hào)增強(qiáng)至正常光環(huán)境強(qiáng)度,，還能夠在復(fù)雜光線,、抖動(dòng)和幀率等情況下保持穩(wěn)定的成像質(zhì)量。

從最直觀的數(shù)字來講,，能夠?qū)⒂布淖畹驼斩葟?.1lux提升至0.003lux,，最高能將夜間圖像的亮度提升200倍。

應(yīng)用場(chǎng)景多為G端,、B端

2023年，全球夜視設(shè)備市場(chǎng)規(guī)模約為89.5億美元,，而國(guó)內(nèi)的夜視設(shè)備市場(chǎng)規(guī)模同比增長(zhǎng)6.3%,。

這并不是一個(gè)規(guī)模巨大的市場(chǎng)，但其應(yīng)用場(chǎng)景,，卻已在G端,、B端和C端都形成了分支,。

比如，公安領(lǐng)域有數(shù)據(jù)顯示,，七成以上的犯罪都在晚上7點(diǎn)到次日凌晨5點(diǎn)的時(shí)間段內(nèi)發(fā)生，但此前,，市面上主流的熱成像夜視儀和紅外補(bǔ)光夜視儀,，成像多為黑白或弱彩，存在目標(biāo)細(xì)節(jié)特征不明顯等缺點(diǎn),。

因此,，在這種極低照度下的夜間，能夠提供彩色清晰的圖像,，尤其是像衣著顏色,、車身顏色、車牌等,，往往就能成為破案的關(guān)鍵線索,。

不僅在刑偵領(lǐng)域，還有環(huán)境惡劣的邊防,、山嶺和沙漠油田區(qū)的違規(guī)監(jiān)控,、國(guó)家自然保護(hù)區(qū)的野生動(dòng)物監(jiān)測(cè)、禁漁期的河流監(jiān)測(cè),，都是低照度全彩夜視成像的應(yīng)用范圍,。

除此之外，面臨夜間行駛場(chǎng)景的自動(dòng)駕駛領(lǐng)域,，在拍照功能上無限內(nèi)卷的手機(jī)廠商,，都在近些年或多或少地引入了基于AI-ISP的低照度全彩夜視成像，改善圖像質(zhì)量,。

過去一年,，深知未來的全彩夜視產(chǎn)品已在多個(gè)全天候安防場(chǎng)景中實(shí)現(xiàn)落地應(yīng)用，并與中海油等大型企業(yè)建立了深度合作關(guān)系,。

至于消費(fèi)端,，則多見于戶外運(yùn)動(dòng)場(chǎng)景，比如夜爬,、露營(yíng)等等,。

對(duì)于深知未來,，他們目前最大的商業(yè)化場(chǎng)景是工業(yè)級(jí)無人機(jī)的全彩夜視相機(jī)掛載,，也是最早商業(yè)化的領(lǐng)域。

目前官網(wǎng)展示出了三種型號(hào)的整機(jī)產(chǎn)品,，可適配搭載于大疆的行業(yè)機(jī),。

這類產(chǎn)品主要針對(duì)B端場(chǎng)景,，主要圍繞著農(nóng)業(yè)植保、電力巡檢和警用安防三大領(lǐng)域,。

在汽車領(lǐng)域,，張齊寧在去年接受采訪時(shí)透露，公司已與國(guó)內(nèi)一線主機(jī)廠商聯(lián)合開展相關(guān)研發(fā),，推進(jìn)夜視模組上車應(yīng)用,。

而對(duì)于C端客戶，深知未來也在2023年推出了類似單筒望遠(yuǎn)鏡形態(tài)的P8 Pro,，和一款單反式的夜視設(shè)備P6,。

截至目前，算上最近的這一次,，深知未來已獲得5輪融資,，團(tuán)隊(duì)規(guī)模則為50人左右。

除了用于產(chǎn)品出海,，組建北美小型本地化團(tuán)隊(duì)之外,，張齊寧也在去年年底時(shí)表示，將繼續(xù)進(jìn)行AI-ISP的研發(fā),。

在五六年前，業(yè)界考慮到端側(cè)算力,、訓(xùn)練推理成本等問題，大多建立的是部分傳統(tǒng)ISP+部分神經(jīng)網(wǎng)絡(luò)流程的管線,。

但現(xiàn)在,，隨著底層技術(shù)的不斷進(jìn)步，是否有可能繼續(xù)與AI融合,？

“ 接下來,，我們想完全切掉所有傳統(tǒng)ISP流程，用神經(jīng)網(wǎng)絡(luò)替代,?！?/p>

去年8月，張齊寧在接受媒體“機(jī)器之能”采訪時(shí)這樣說,。他希望建立一個(gè)all in one的神經(jīng)網(wǎng)絡(luò),，不再依賴于任何傳統(tǒng)ISP管線。