來源：電子產(chǎn)品世界

智能手機(jī)和各類物聯(lián)網(wǎng)設(shè)備的指數(shù)級增長推動了網(wǎng)絡(luò)邊緣計算的發(fā)展,，這些設(shè)備無處不在,，但如果將其產(chǎn)生的全部數(shù)據(jù)都向云端發(fā)送,，毫無疑問將為云端處理帶來極大的負(fù)擔(dān)。因此,，基于網(wǎng)絡(luò)邊緣的處理十分必要,，不僅可以降低云端的網(wǎng)絡(luò)通信成本和云存儲成本，還能避免云端數(shù)據(jù)通道過載,。

本文引用地址：

目前,，網(wǎng)絡(luò)邊緣產(chǎn)品和應(yīng)用的開發(fā)人員越來越多地采用人工智能和機(jī)器學(xué)習(xí)(AI/ML)算法來匹配和識別復(fù)雜的模式，以幫助分析數(shù)據(jù)并據(jù)此做出決策,。事實(shí)上,，AI/ML技術(shù)的使用增長極其迅猛，ABI Research的數(shù)據(jù)顯示,，預(yù)計到2024年,，設(shè)備端AI推理功能將覆蓋60%的設(shè)備。

但許多可以利用AI/ML功能的網(wǎng)絡(luò)邊緣設(shè)備,，往往需要在極其嚴(yán)苛的功耗限制下運(yùn)行,，充一次電或者僅依靠收集和存儲能量就要工作幾個月甚至幾年。另一方面,，近十年來AI模型快速發(fā)展,，不斷有新的實(shí)現(xiàn)方式產(chǎn)生，需要有更出色的硬件來承載,，這就需要硬件和算法上的優(yōu)化,。

作為萊迪思推出的業(yè)界第一款用于網(wǎng)絡(luò)邊緣設(shè)備端AI處理的完整解決方案集合，SensAITM提供了供開發(fā)人員評估,、開發(fā)和部署基于FPGA的機(jī)器學(xué)習(xí)/人工智能解決方案所需的全部資源,，包括模塊化硬件平臺,、演示示例,、參考設(shè)計、神經(jīng)網(wǎng)絡(luò)IP核,、軟件開發(fā)工具和定制化設(shè)計服務(wù),，旨在解決系統(tǒng)對于日益嚴(yán)格的功耗和小尺寸(5mm2到100mm2)的要求，目前已演進(jìn)到最新的6.0版本,。

初識sensAI 6.0

增強(qiáng)對高性能機(jī)器視覺AI解決方案的支持,，是此次sensAI 6.0版本推出的初衷。根據(jù)IoT Analytics報告,，2020年,，制造業(yè)和工業(yè)中的人工智能機(jī)器視覺市場規(guī)模約為41億美元，預(yù)計到2025年將增加至152億美元,，年復(fù)合年增長率(GAGR)為30%,，而傳統(tǒng)機(jī)器視覺部署的年復(fù)合增長率僅為6.5%。

如此高的年復(fù)合增長率是因?yàn)橄乱淮鷮?shí)時邊緣人工智能機(jī)器視覺的應(yīng)用,，不僅限于質(zhì)量保證和產(chǎn)品檢測應(yīng)用,，還要幫助制造商和使用者獲得更多的正常運(yùn)行時間、獲得預(yù)防性維護(hù)的能力,、提高生產(chǎn)力和確保工人安全等諸多受益,。

為順應(yīng)這一趨勢，sensAI 6.0對硬件平臺的支持從最初的iCE40/CrossLink-NX/ECP5/CertusPro-NX拓展到了Avant,，這也是萊迪思新推出的低功耗中端FPGA平臺,。與此前的產(chǎn)品相比，Avant平臺在性能和硬件資源方面得到了進(jìn)一步的強(qiáng)化,，例如邏輯單元容量達(dá)到了500K,，相比以往100K-150K的配置，提升了5倍,；帶寬提升了10倍,，計算性能提升30倍。它的面世不但意味著萊迪思邁入了中端FPGA供應(yīng)商的行列,，還打開了一扇通往30億美元增量市場的新大門。

萊迪思sensAI 6.0解決方案集合中的IP核包括多種類型的卷積神經(jīng)網(wǎng)絡(luò)(CNN)加速器——CNN,、CNN Plus、CNN Compact,、Advanced CNN,、以及一個CNN協(xié)處理器引擎，能讓開發(fā)人員使用其他人發(fā)布的廣泛使用的各類CNN,，例如Mobilenet v1/v2,、Resent,、SSD、VGG,、OpenCV和標(biāo)準(zhǔn)機(jī)器學(xué)習(xí)(ML)訓(xùn)練平臺,，或者根據(jù)需要自定義CNN模型，再依托萊迪思FPGA的并行處理能力,、分布式存儲器和DSP資源,，極大簡化了超低功耗AI設(shè)計的實(shí)現(xiàn)。

SensAI支持多種AI算法模型

軟件工具層面,，sensAI Studio設(shè)計環(huán)境是一種基于圖形用戶界面(GUI)的工具，擁有AI模型庫,，經(jīng)過配置和訓(xùn)練可適用于各類主流應(yīng)用場景,，可幫助開發(fā)人員快速構(gòu)建機(jī)器學(xué)習(xí)應(yīng)用，此番在sensAI 6.0中與編譯器工具一起獲得更新,，用以支持新的AI加速引擎,。

Glance by Mirametrix?計算機(jī)視覺軟件(V10.0)的更新，則主要集中在對用戶界面,、攝像頭功能,、外部用戶界面(UI)模式的優(yōu)化和低功耗FPGA的支持，是本次更新的重點(diǎn)內(nèi)容之一,。

Glance是由Mirametrix公司開發(fā)的注意力感應(yīng)軟件,，軟件配合IR Camera(紅外攝像頭)可捕捉用戶的面部、眼睛和凝視動作,，從而了解用戶的意識和注意力,。利用這項(xiàng)獨(dú)特的技術(shù)開發(fā)的智能設(shè)備，能提供更自然和沉浸式的用戶體驗(yàn)和設(shè)備交互,。2021年,，萊迪思通過全現(xiàn)金方式交易收購Mirametrix公司，將Mirametrix的專業(yè)知識與萊迪思創(chuàng)新的硬件和軟件解決方案堆棧相結(jié)合,，從而創(chuàng)建出了一個從硬件到應(yīng)用層的端到端AI和計算機(jī)視覺解決方案,。

塑造深度情境感知能力

萊迪思FPGA提供可編程I/O，經(jīng)配置可支持傳感器接口常用的多種電氣接口標(biāo)準(zhǔn),，公司還提供許多硬核和軟核IP模塊以支持不同的傳感器通信協(xié)議,。由于FPGA長期以來在傳感器融合方面具有顯著優(yōu)勢，因此萊迪思sensAI 6.0解決方案集合包括許多參考設(shè)計示例,，演示了多種智能傳感器融合的應(yīng)用案例,，它們可以同時運(yùn)行，實(shí)現(xiàn)深入的情景感知,，例如：

l人員偵測

該參考設(shè)計使用CMOS圖像傳感器持續(xù)檢測人員的存在,?；诖嗽O(shè)計的AI系統(tǒng)可以使用深度學(xué)習(xí)框架（例如Caffe或Tensorflow）更新所提供的訓(xùn)練模型來檢測和定位任何感興趣的目標(biāo)。該參考設(shè)計包括一個神經(jīng)網(wǎng)絡(luò)模型,、一個訓(xùn)練數(shù)據(jù)集和可使用常用訓(xùn)練工具訓(xùn)練的腳本,。

l條形碼檢測和讀取

條形碼檢測和讀取是一種應(yīng)用程序，通常使用混合了傳統(tǒng)和基于AI/ML的算法的加速工業(yè)PC運(yùn)行,。由于設(shè)計者希望降低部署成本,，具有內(nèi)置條形碼讀取功能的攝像頭可以更簡單地實(shí)現(xiàn)應(yīng)用程序。因此,，此參考設(shè)計演示了使用CertusPro NX FPGA語音和視覺機(jī)器學(xué)習(xí)板的條形碼檢測,，該板實(shí)現(xiàn)了基于Yolov5 NN模型的攝像頭條形碼檢測功能。

資料顯示,，該參考設(shè)計允許640 x 480的圖像分辨率輸入,，裁剪并縮小到160 x 120進(jìn)行處理，檢測結(jié)果可在FPGA內(nèi)疊加至輸入圖像的頂部,。同時,，使用Yolov5型網(wǎng)絡(luò)，實(shí)現(xiàn)了在小占地面積內(nèi)提高精度的目標(biāo),。

條形碼檢測和讀取參考設(shè)計

l目標(biāo)檢測、分類,、追蹤和計數(shù)

該參考設(shè)計提供了目標(biāo)檢測,、分類、追蹤和計數(shù)的示例,，擁有完整的設(shè)計,，包括用于萊迪思開發(fā)板的FPGA RTL、神經(jīng)網(wǎng)絡(luò)模型,、示例訓(xùn)練數(shù)據(jù)集以及用于重新創(chuàng)建和更新設(shè)計的腳本,。

目標(biāo)分類參考設(shè)計

l手勢檢測

該參考設(shè)計使用IR圖像傳感器,，實(shí)現(xiàn)了一個基于AI的低功耗手勢檢測系統(tǒng),。該參考設(shè)計提供了一個訓(xùn)練數(shù)據(jù)集、可使用常用神經(jīng)網(wǎng)絡(luò)訓(xùn)練工具訓(xùn)練的腳本以及一個神經(jīng)網(wǎng)絡(luò)模型,，方便用戶進(jìn)行修改,。

l人臉檢測

該參考設(shè)計使用圖像傳感器實(shí)現(xiàn)基于CNN的人臉識別，并且可以通過修改訓(xùn)練數(shù)據(jù)庫來識別其他類型的目標(biāo),。

l關(guān)鍵詞檢測

該參考設(shè)計使用數(shù)字MEMS麥克風(fēng)持續(xù)檢測關(guān)鍵詞話語。設(shè)計人員可以使用深度學(xué)習(xí)框架（例如Caffe,、Tensorflow或Keras）更新提供的訓(xùn)練數(shù)據(jù)集,，為系統(tǒng)添加喚醒詞功能,。參考設(shè)計包括一個訓(xùn)練數(shù)據(jù)集、可使用常用神經(jīng)網(wǎng)絡(luò)訓(xùn)練工具訓(xùn)練的腳本以及一個神經(jīng)網(wǎng)絡(luò)模型,，方便用戶進(jìn)行修改,。

與此同時，萊迪思還正與合作伙伴和客戶合作,，利用多模式,、智能傳感器融合和AI/ML技術(shù)，不斷提升PC/筆記本電腦用戶的體驗(yàn),，并顯著降低筆記本電腦的運(yùn)行功耗,，在某些應(yīng)用中，電池使用時間最多提高了28%,。

結(jié)語

此次更新的Automate?3.0和sensAI?6.0解決方案集合,，均在萊迪思低功耗FPGA上運(yùn)行，可實(shí)現(xiàn)高效,、靈活和安全的工業(yè)應(yīng)用開發(fā),，同時帶來低功耗和小尺寸優(yōu)勢。設(shè)計人員可以在不依賴云端的情況下,，快速為網(wǎng)絡(luò)邊緣設(shè)備提供更多計算資源,，從而最大程度幫助客戶實(shí)現(xiàn)最新的工廠自動化和工業(yè)機(jī)器視覺應(yīng)用。