包括我們的蟻鑒,，之前已經具備模型魯棒性等檢測能力,，今年也嘗試在AIGC和模型可解釋方面進行更新。可解釋性的量化非常困難,，現(xiàn)在我們也算是做了一個嘗試,。經過和行業(yè)內不少機構的討論，今天我們初步制定了包括正確性,、完備性,、一致性、連續(xù)性,、簡潔性等7個維度,。未來，蟻鑒還會向事中阻攔,、事后糾偏能力延展,。

李琦：我個人觀察到，大模型的出現(xiàn)使得做NLP和傳統(tǒng)做安全的研究者的交集在逐漸增多,。比如,，做NLP的研究者現(xiàn)在也開始關注如何使模型更安全地應用。而傳統(tǒng)做安全的研究者也在關注如何對抗NLP模型的問題,。這是因為隨著大模型的出現(xiàn),，幻覺、越獄和模型劫持等問題已經成為了這些領域的共性問題,。

之前NLP的研究者可能更多從模型和算法的角度來看待這些問題,，安全研究者可能更關心AI平臺整體的問題，包括模型輸入到模型輸出過程中所有可能的安全問題,。當然這可能涉及模型本身的問題,，也可能涉及數據輸入和預處理過程,、以及NLP模型的學習框架依賴庫中的安全問題。但現(xiàn)在不論是做安全的還是做NLP的研究者,，大家都開始關注這些,。

常永波：去年之前很多的案例，都聚焦在模型穩(wěn)定性和隱私保護這一塊,，尤其是隱私保護這一部分非常多,。可解釋和公平性更多處于研究階段,，也會有一些企業(yè)結合專家系統(tǒng)或行業(yè)知識等,，輔助提高可解釋性。

大模型出現(xiàn)之后,，安全風險主要體現(xiàn)在三個大方面,，一個是生成內容的風險，第二是大模型自身安全的風險,，以及可解釋性等,。這些方面不管是理論還是技術，都需要持續(xù)研究,。后續(xù)信通院也會推動一系列大模式評估評測工作,。

36氪：另一個現(xiàn)象是，全球都在討論大模型的監(jiān)管,，但這可能不是單個角色就可以解決的問題,。你覺得大家應該怎樣一起推進這件事？

李琦：我覺得對大語言模型來說,，合規(guī)和可信比過去的AI更難,。OpenAI雇了很多人對數據打標、做調優(yōu),，還是沒辦法達成嚴格的法規(guī)預期,，這已經證明了這件事的難度。這件事可能需要我們學術界一起參與,，大家一起共建,，目前來說還是有一些距離。

法規(guī)的完善有一個過程,，但從技術本身來說,，可解釋、可控,，目前看來還是難題,。OpenAI大力發(fā)展人類反饋強化學習(RLHF)，為了增強模型與人類價值觀的對齊，讓大模型生成內容更加可控,，但是RLHF本身訓練起來比較困難,，這個方向還存在較大的研究空間。

再加上,，法規(guī)是一方面,，但具體怎么去評測，理想和現(xiàn)實是有差距的,。我個人理解,，大語言模型會有各種變種，不同模型特點不同,，可能適合的測試也不一樣,，這是比較復雜的問題，特別是大模型還可能涉及多模態(tài)的問題?，F(xiàn)在其實很多研究者也在做評測標準,，根據模型輸出來對準則進行一些判別,，這里面需要很多專家支持,，也需要生態(tài)共建。

常永波：大模型現(xiàn)在類似于互聯(lián)網革命的初期的形態(tài),，現(xiàn)在我們在評測中可能會更關注內容生成,，當然這也是我們眼中最亟待解決的問題，這方面的規(guī)則要求也推出得比較早,。其他尤其是可解釋性的問題,，可能需要很長的一段時間才能解決，目前這方面更多停留在前瞻性研究階段,。未來我們總體還是會從整套體系上對可信AI進行設計,，而不是只關注其中的某個部分。

36氪：最后一個問題,?？尚臕I是比較早就提出的概念，當前在產學研界看來,，AI安全,、可信AI以及安全的AI三者的關系是怎樣的？

張?zhí)煲恚?/strong>我覺得安全AI和可信AI的概念側重點不同,。在討論可信AI的基本概念或原則時,，雖然各國組織和學術機構的表述有所差異，但基本原則上仍存在廣泛共識,。比如在螞蟻集團,，我們認為有四個基本原則，即AI本身的安全性，這里包括魯棒性,，另外還有隱私保護,、公平性和可解釋性。除了魯棒性通常被認為與安全密切相關,，可解釋性也與安全有很大關系,，有時候，算法的不可解釋性或黑箱性可能對公眾構成安全隱患,。綜上,，可信AI和安全AI雖然有關聯(lián)，但還是兩個有所區(qū)別的概念,。