“兩張人眼看上去一模一樣的照片,，機(jī)器人讀取后為何會(huì)攻擊其中一張圖呢？因?yàn)椴徽５恼掌斜磺度肓颂厥獾脑肼暎?span id="a6otyhj" class="wpcom_tag_link">人工智能產(chǎn)品讀取了帶有攻擊性的信息,?！薄巴粡埥箻?biāo)記，被放入了不同信息,，人工智能產(chǎn)品讀取一張是正常的停止標(biāo)簽，另一個(gè)則是綠燈,?！鄙虾？茖W(xué)院直屬單位上海計(jì)算機(jī)軟件技術(shù)開發(fā)中心主任蔡立志介紹道,，以上就是上海市生成式人工智能質(zhì)量檢驗(yàn)檢測(cè)中心（質(zhì)檢中心）所提供的檢測(cè)服務(wù)之一,。

7月20日下午，記者走入剛剛成立的上海市生成式人工智能質(zhì)量檢驗(yàn)檢測(cè)中心（質(zhì)檢中心）內(nèi),，深入了解當(dāng)下最火熱的生成式人工智能如何保障可靠可信,，為人工智能產(chǎn)業(yè)的健康發(fā)展保駕護(hù)航。

防止人工智能“變壞”

做產(chǎn)業(yè)健康診斷師

近年來,，隨著生成式人工智能技術(shù)的快速發(fā)展,，為經(jīng)濟(jì)社會(huì)發(fā)展帶來新機(jī)遇的同時(shí)，也產(chǎn)生了傳播虛假信息,、侵害個(gè)人信息權(quán)益（換臉侵害明星肖像,、合成語音進(jìn)行詐騙等）、數(shù)據(jù)安全和偏見歧視等問題,。

在此背景下,，上海首個(gè)生成式人工智能質(zhì)檢中心在6月8日正式批籌。該中心由上海計(jì)算機(jī)軟件技術(shù)開發(fā)中心籌建,，上海市人工智能行業(yè)協(xié)會(huì)推薦指導(dǎo),，提供人工智能質(zhì)量“一站式”測(cè)評(píng)服務(wù)，面向生成式人工智能及其涉及的計(jì)算機(jī)視覺,、自然語言處理,、AI內(nèi)容生成等領(lǐng)域，打造人工智能測(cè)評(píng)第三方服務(wù)新模式,，聚焦生成式人工智能系統(tǒng)的邏輯推理能力,、生成內(nèi)容語義和諧性、功能有效性,、性能,、安全隱私風(fēng)險(xiǎn)等方面，開展系統(tǒng)檢測(cè)、風(fēng)險(xiǎn)評(píng)估,、內(nèi)容鑒別等專業(yè)服務(wù),。

人工智能發(fā)展不同于此前的軟件時(shí)代，需要不斷開放數(shù)據(jù),，不斷學(xué)習(xí),，才能不斷進(jìn)步，走得更好,。而開源開放也就意味著產(chǎn)生更多潛在的“危險(xiǎn)”。蔡立志說：“就像孩子一樣,，不正確的教育方式會(huì)教壞孩子,，我們就是防止人工智能產(chǎn)品‘變壞’，阻止不良數(shù)據(jù)導(dǎo)入等,?！?/p>

據(jù)悉，上海計(jì)算機(jī)軟件技術(shù)開發(fā)中心去年就推進(jìn)了300多個(gè)人工智能質(zhì)檢項(xiàng)目,，并在業(yè)界取得了良好的口碑,。

“與傳統(tǒng)的檢測(cè)以發(fā)現(xiàn)不合格為首要任務(wù)不同，在人工智能時(shí)代,，新設(shè)立的生成式人工智能質(zhì)量檢驗(yàn)檢測(cè)中心不僅僅是守底線,，更多的是引導(dǎo)產(chǎn)業(yè)向健康的方向發(fā)展?！鄙虾Ｓ?jì)算機(jī)軟件技術(shù)開發(fā)中心副主任宋俊典解釋說,，這就是新型產(chǎn)業(yè)檢測(cè)中心的不同之處。

近年來,，在上?？茖W(xué)院的整體部署下，上海軟件中心積極布局并開展了人工智能應(yīng)用,、人工智能治理,、人工智能測(cè)評(píng)等技術(shù)研究與第三方技術(shù)服務(wù)。陸續(xù)參與人工智能國(guó)際,、國(guó)家標(biāo)準(zhǔn)的研制,，是國(guó)家信標(biāo)委SC42人工智能分委會(huì)首批單位會(huì)員，參與編寫了《中國(guó)人工智能標(biāo)準(zhǔn)化白皮書（2021）》,，完成了《人工智能 深度合成圖像系統(tǒng)技術(shù)規(guī)范》《人工智能 深度學(xué)習(xí)算法評(píng)估規(guī)范》《人工智能 計(jì)算機(jī)視覺系統(tǒng)測(cè)評(píng)規(guī)范》等30余項(xiàng)標(biāo)準(zhǔn)研制,。

“我們還在牽頭制定多項(xiàng)新標(biāo)準(zhǔn)，生成式只是人工智能的一部分,，未來我們還會(huì)探索工業(yè)智能質(zhì)檢,、智慧醫(yī)療等領(lǐng)域?！辈塘⒅颈硎?。

給狂飆的生成式人工智能

系上“安全帶”

生成式人工智能的狂飆突進(jìn),，大模型時(shí)代已然降臨。在“百模大戰(zhàn)”越戰(zhàn)越酣之時(shí),，大模型其內(nèi)生及衍生安全威脅也愈演愈烈,，數(shù)據(jù)泄露、幻想,、生產(chǎn)歧視,、排斥和有害內(nèi)容等安全問題層出不窮。如何將制約大模型應(yīng)用發(fā)展的“絆腳石”變?yōu)椤皦号撌保?/p>

以自動(dòng)駕駛領(lǐng)域而言,，自動(dòng)駕駛需要通過真實(shí)世界的數(shù)據(jù)來訓(xùn)練,、測(cè)試和驗(yàn)證模型算法的安全性和準(zhǔn)確性，其過程需要大量數(shù)據(jù)支持和復(fù)雜的駕駛環(huán)境,。然而,，讓汽車通過實(shí)際道路測(cè)試在道路上可能遇到的每一個(gè)場(chǎng)景是不現(xiàn)實(shí)的，AIGC（人工智能生產(chǎn)內(nèi)容）正可以用于模擬各種駕駛場(chǎng)景,。

在上海市生成式人工智能質(zhì)量檢驗(yàn)檢測(cè)中心（質(zhì)檢中心）內(nèi),，檢測(cè)平臺(tái)正在進(jìn)行“自動(dòng)駕駛魯棒性檢測(cè)”。魯棒測(cè)試是對(duì)各個(gè)模塊的功能進(jìn)行容錯(cuò)性的測(cè)試,，檢測(cè)AI模型或者系統(tǒng)在異常輸入和苛刻環(huán)境條件下能否保持正常工作,。

“自動(dòng)駕駛包括車道、紅綠燈檢測(cè)等模塊,，我們基于視覺去攻擊自動(dòng)駕駛系統(tǒng)的感知算法,，針對(duì)每一個(gè)模塊進(jìn)行仿真檢測(cè)?！辟|(zhì)檢中心檢測(cè)工程師馬澤宇說,。

自動(dòng)駕駛正快速在上海發(fā)展，如《浦東新區(qū)無駕駛?cè)酥悄芫W(wǎng)聯(lián)汽車創(chuàng)新應(yīng)用規(guī)定》以及相關(guān)實(shí)施細(xì)則的落實(shí),，上海浦東新區(qū)自動(dòng)駕駛汽車已迎來了無人化階段,，眾多企業(yè)正在加速產(chǎn)品的研發(fā)。業(yè)界專家認(rèn)為,，在人工智能領(lǐng)域建立質(zhì)檢中心,，正是為了給狂飆的生成式人工智能系上“安全帶”。

截止到2023年7月8日,，中國(guó)國(guó)內(nèi)推出了近100個(gè)大模型,，如何客觀地評(píng)價(jià)、比較大模型及其他AIGC模型的性能,，成為大模型應(yīng)用的關(guān)鍵一環(huán),。7月10日，國(guó)家網(wǎng)信辦等國(guó)家七部委聯(lián)合發(fā)文《生成式人工智能服務(wù)管理暫行辦法》，自2023年8月15日起施行,，管理辦法明確了AIGC服務(wù)提供者的責(zé)任,，包括信息源可信責(zé)任、生成內(nèi)容合法合規(guī)責(zé)任,、申報(bào)安全評(píng)估及算法備案責(zé)任,。管理辦法的落地亟需專業(yè)的第三方機(jī)構(gòu)提供人工智能質(zhì)量檢驗(yàn)檢測(cè)服務(wù)。

據(jù)悉,，新建立的質(zhì)檢中心將參考國(guó)內(nèi)外人工智能測(cè)評(píng)標(biāo)準(zhǔn)和前沿技術(shù),，建立人工智能檢驗(yàn)檢測(cè)評(píng)價(jià)指標(biāo)體系等?！耙屍髽I(yè)的人工智能研發(fā)工作平穩(wěn)可持續(xù)發(fā)展,，為人工智能產(chǎn)品的安全性保駕護(hù)航，讓老百姓在使用人工智能產(chǎn)品時(shí)用得放心,，用得安心?！辈塘⒅菊f,。

來源：浦東發(fā)布