來源：創(chuàng)業(yè)邦

來源丨創(chuàng)業(yè)邦（ID：ichuangyebang）

作者丨博雯

編輯丨海腰

圖源丨深知未來官網(wǎng)

在黑暗中視物是人類一直以來的追求,，而智能時代的到來,，又使整個夜視領(lǐng)域進(jìn)入了新的階段,。

今年3月,，AI增強(qiáng)夜視公司深知未來完成數(shù)千萬人民幣A+輪融資，由景泰資本投資,。

所謂“AI增強(qiáng)夜視”，是指通過計算機(jī)視覺和深度學(xué)習(xí)卷積網(wǎng)絡(luò)技術(shù),，能夠在0.001Lux的極低照度下實現(xiàn)全彩細(xì)節(jié)成像,。

照度是反映光照強(qiáng)度的物理量，Lux（勒克斯）則是其基本單位,。

對于人眼來說,，適宜閱讀的照度約為500Lux，能感受到的極限照度為1Lux,，相當(dāng)于在全黑環(huán)境中點(diǎn)燃一根蠟燭,。

目前市場上大部分夜視相機(jī)可達(dá)到的極限為0.01Lux，也就是月夜下的亮度,，而深知未來能達(dá)到的最低照度0.001Lux被稱為“極弱光”,，相當(dāng)于夜晚星空下的光照強(qiáng)度。

那么,，這種突破性的夜間視物能力到底是怎么做到的？又有什么用,？

夜視領(lǐng)域：從卷硬件到用AI

夜視技術(shù)最早誕生于20世紀(jì)初,，本質(zhì)是在低照度條件下， 將不可見的輻射加入轉(zhuǎn)換,，或?qū)⑽⑷醯沫h(huán)境光進(jìn)行增強(qiáng),，最終得以成像的一種技術(shù)。

這種技術(shù)首先需要一個感知光信號的前端設(shè)備,，也就是圖像傳感器,，負(fù)責(zé)感知和接收光信號，并將其轉(zhuǎn)變成電信號,。

接下來,，前端傳感器輸出的電壓、電流信號就要通過ISP（圖像信號處理器）,，對上一步的輸出信號做“后期處理”——

比如“線性校正”,，也就是通過線性變換抵消較為偏暗的成像；

比如“降噪”,，也就是在弱光條件下,，當(dāng)傳感器難以接收到足夠的光信息，從而導(dǎo)致發(fā)熱,，產(chǎn)生噪點(diǎn)圖像時,，去減少這些圖案圖案噪聲，同時保留紋理細(xì)節(jié),。

再比如“白平衡”,，通過分析來自傳感器的亮度信息，計算和控制光圈,、快門速度和感光度（ISO） ,，使得圖像亮度適宜。

從本質(zhì)來說,，ISP是一系列圖像處理算法的集合，通過各種增強(qiáng),、矯正,、去噪、轉(zhuǎn)換等環(huán)節(jié),，力求還原圖像,。

從重要性來說，如果說圖像傳感器是人眼,，那么ISP就是視覺處理中樞,。

在2018年之前,，夜視領(lǐng)域的玩家們大都都選擇卷硬件,，試圖對感光設(shè)備進(jìn)行工藝改進(jìn),，增加其感光面積。

其中的最強(qiáng)玩家索尼,，就曾花費(fèi)5年的時間,，將低照度感光芯片的光照感知能力從0.14Lux提升到了0.07Lux。

然而,，由于材料學(xué)以及制造工藝難以突破,，視覺成像效果漸漸難以從硬件層面得到大幅提升。

與此同時,，一些特定場景對于最低照度的需求越來越高,，比如夜間偵查瞄準(zhǔn)等現(xiàn)代軍事應(yīng)用，或者安保監(jiān)測等公共安全領(lǐng)域,，都要求在0.001Lux及以下的星光級環(huán)境下仍能成像,。

2018年，英特爾實驗室發(fā)表論文《Learning to see in the dark》,，提出通過深度學(xué)習(xí)算法打造一種全新的AI-ISP成像體系,。

傳統(tǒng)ISP常?；谟布?，通過不斷擴(kuò)充參數(shù)庫來調(diào)試各種效果。

這篇論文則論證了通過神經(jīng)網(wǎng)絡(luò)算法實現(xiàn)ISP全部功能的可能性——即通過深度學(xué)習(xí)海量場景和數(shù)據(jù),，輸出算法模型,，對圖像進(jìn)行精準(zhǔn)處理。

神經(jīng)網(wǎng)絡(luò)算法本就是模仿生物神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)所建立的,，因此,，這就像是將人類復(fù)雜的視覺神經(jīng)網(wǎng)絡(luò)融入ISP，使其成為了真正的“視覺處理中樞”

這篇論文在當(dāng)年被計算機(jī)視覺頂會CVPR收錄,，而文中提出的方法也為夜視領(lǐng)域帶來了一條全新思路,。

夜間圖像亮度提升200倍

2015年,，32歲的張齊寧從任職8年的騰訊離職,，開始做互聯(lián)網(wǎng)方面的創(chuàng)業(yè)。

他本科就讀于武漢大學(xué)的計算機(jī)科學(xué)與技術(shù)專業(yè),，畢業(yè)后先后任職于華為和騰訊,，在騰訊創(chuàng)新中心、騰訊研究院,、IEG等多個部門歷任研發(fā),、策劃和管理職務(wù)。

離職兩年后,，張齊寧于2017年10月創(chuàng)立了深知未來,。

公司的另一位聯(lián)合創(chuàng)始人兼CTO郭奇鋒曾任騰訊SOSO搜索系統(tǒng)架構(gòu)師,、百度商務(wù)搜索部基礎(chǔ)檢索組技術(shù)負(fù)責(zé)人、小米MIUI 9多個人工智能項目技術(shù)負(fù)責(zé)人,。

英特爾的那篇關(guān)鍵論文在他們公司成立一年后發(fā)布,，也正是在那一年12月，深知未來獲得了南嶺投資的種子輪融資,。

萬事俱備,，深知未來便和很多企業(yè)一樣，開始沿著這條新路線探索,。

在張齊寧看來,，AI-ISP的定義，是完成從感光芯片到成像過程的一整個算法集合體,，包含20-30個算法,，如降噪、銳化,、HDR等等,。

但如果通過神經(jīng)網(wǎng)絡(luò)實現(xiàn)ISP的所有功能，當(dāng)時端側(cè)的算力有限,，不同功能要全部實現(xiàn)的難度也很高,，從商業(yè)化角度來說性價比不大。

此外,，不同產(chǎn)品對于視覺成像的要求也不同,，因此，一般芯片廠商會預(yù)留大量參數(shù),，以供產(chǎn)品廠商再做下游的調(diào)試,。

所以，深知未來決定只做部分關(guān)鍵ISP環(huán)節(jié)的AI化,，如白平衡,、降噪等。

在去年的某次采訪中,，張齊寧提到,，整個AI-ISP體系的20-30個算法，有的廠商關(guān)注了其中2-4個成像領(lǐng)域,，而他們關(guān)注了7-8個領(lǐng)域，在涵蓋范圍和深度上是行業(yè)中最大的,。

基于英特爾論文的基本思路,，深知未來利用神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)噪聲和信號的分布特性，在2019年推出了自研的夜視神經(jīng)網(wǎng)絡(luò)EODNet（end of dark）,，意為“黑暗終結(jié)者”,。

這套系統(tǒng)能夠從極弱光信號中分離噪聲和真實信號，在降噪的同時將真實信號增強(qiáng)至正常光環(huán)境強(qiáng)度,，還能夠在復(fù)雜光線,、抖動和幀率等情況下保持穩(wěn)定的成像質(zhì)量。

從最直觀的數(shù)字來講,，能夠?qū)⒂布淖畹驼斩葟?.1lux提升至0.003lux,，最高能將夜間圖像的亮度提升200倍。

應(yīng)用場景多為G端,、B端

2023年，全球夜視設(shè)備市場規(guī)模約為89.5億美元,，而國內(nèi)的夜視設(shè)備市場規(guī)模同比增長6.3%,。

這并不是一個規(guī)模巨大的市場，但其應(yīng)用場景,，卻已在G端,、B端和C端都形成了分支。

比如,，公安領(lǐng)域有數(shù)據(jù)顯示,，七成以上的犯罪都在晚上7點(diǎn)到次日凌晨5點(diǎn)的時間段內(nèi)發(fā)生，但此前,，市面上主流的熱成像夜視儀和紅外補(bǔ)光夜視儀,，成像多為黑白或弱彩，存在目標(biāo)細(xì)節(jié)特征不明顯等缺點(diǎn),。

因此,，在這種極低照度下的夜間，能夠提供彩色清晰的圖像,，尤其是像衣著顏色,、車身顏色、車牌等,，往往就能成為破案的關(guān)鍵線索,。

不僅在刑偵領(lǐng)域，還有環(huán)境惡劣的邊防,、山嶺和沙漠油田區(qū)的違規(guī)監(jiān)控,、國家自然保護(hù)區(qū)的野生動物監(jiān)測、禁漁期的河流監(jiān)測,，都是低照度全彩夜視成像的應(yīng)用范圍,。

除此之外，面臨夜間行駛場景的自動駕駛領(lǐng)域,，在拍照功能上無限內(nèi)卷的手機(jī)廠商,，都在近些年或多或少地引入了基于AI-ISP的低照度全彩夜視成像,，改善圖像質(zhì)量。

過去一年,，深知未來的全彩夜視產(chǎn)品已在多個全天候安防場景中實現(xiàn)落地應(yīng)用,，并與中海油等大型企業(yè)建立了深度合作關(guān)系。

至于消費(fèi)端,，則多見于戶外運(yùn)動場景,，比如夜爬、露營等等,。

對于深知未來，他們目前最大的商業(yè)化場景是工業(yè)級無人機(jī)的全彩夜視相機(jī)掛載,，也是最早商業(yè)化的領(lǐng)域,。

目前官網(wǎng)展示出了三種型號的整機(jī)產(chǎn)品，可適配搭載于大疆的行業(yè)機(jī),。

這類產(chǎn)品主要針對B端場景,，主要圍繞著農(nóng)業(yè)植保、電力巡檢和警用安防三大領(lǐng)域,。

在汽車領(lǐng)域,，張齊寧在去年接受采訪時透露，公司已與國內(nèi)一線主機(jī)廠商聯(lián)合開展相關(guān)研發(fā),，推進(jìn)夜視模組上車應(yīng)用,。

而對于C端客戶，深知未來也在2023年推出了類似單筒望遠(yuǎn)鏡形態(tài)的P8 Pro,，和一款單反式的夜視設(shè)備P6,。

截至目前，算上最近的這一次,，深知未來已獲得5輪融資,，團(tuán)隊規(guī)模則為50人左右。

除了用于產(chǎn)品出海,，組建北美小型本地化團(tuán)隊之外,，張齊寧也在去年年底時表示，將繼續(xù)進(jìn)行AI-ISP的研發(fā),。

在五六年前,，業(yè)界考慮到端側(cè)算力、訓(xùn)練推理成本等問題,，大多建立的是部分傳統(tǒng)ISP+部分神經(jīng)網(wǎng)絡(luò)流程的管線,。

但現(xiàn)在，隨著底層技術(shù)的不斷進(jìn)步，是否有可能繼續(xù)與AI融合,？

“ 接下來，我們想完全切掉所有傳統(tǒng)ISP流程,，用神經(jīng)網(wǎng)絡(luò)替代,。”

去年8月,，張齊寧在接受媒體“機(jī)器之能”采訪時這樣說,。他希望建立一個all in one的神經(jīng)網(wǎng)絡(luò)，不再依賴于任何傳統(tǒng)ISP管線,。