財(cái)聯(lián)社12月19日訊（編輯 牛占林）要說人工智能大模型最強(qiáng)大的能力,，那肯定是最基礎(chǔ)的文本處理功能，但一家名為Patronus AI的初創(chuàng)公司的研究人員發(fā)現(xiàn),，即使是目前最強(qiáng)大的大模型，也無法準(zhǔn)確分析美國證券交易委員會(huì)(SEC)的企業(yè)財(cái)報(bào)文件,。

OpenAI的GPT-4-Turbo應(yīng)該說是目前市場(chǎng)上性能最好的人工智能模型了,，而在Patronus AI的最新測(cè)試中,，針對(duì)SEC文件的問題，只有79%的答案是正確的,。

讓普通人工智能工具回答這類問題的話,，一般不是無法回答,，就是會(huì)出現(xiàn)“幻覺”，也就是胡編亂造SEC文件中沒有的數(shù)字和事實(shí),。

Patronus AI的聯(lián)合創(chuàng)始人Anand Kannappan表示：“這樣的性能是絕對(duì)不可接受的,，它的準(zhǔn)確率必須要高得多，才能真正以自動(dòng)化和生產(chǎn)就緒的方式開始工作,?！?/p>

這些發(fā)現(xiàn)突顯了人工智能模型面臨的一些挑戰(zhàn)，因?yàn)榇蠊?，尤其是金融等受監(jiān)管行業(yè)的大公司,，正尋求將尖端技術(shù)納入其業(yè)務(wù)，無論是客戶服務(wù)還是數(shù)據(jù)研究方面,。

自去年年底ChatGPT發(fā)布以來,，快速提取重要數(shù)字和文字，并對(duì)財(cái)務(wù)報(bào)表進(jìn)行分析的能力一直被視為聊天機(jī)器人最有前途的應(yīng)用之一,。而SEC的備案文件中充滿了重要的數(shù)據(jù)，如果人工智能能夠準(zhǔn)確地總結(jié)這些數(shù)據(jù),，或者快速回答有關(guān)其中內(nèi)容的問題,，它可能會(huì)讓用戶在競爭激烈的金融行業(yè)中占據(jù)優(yōu)勢(shì)。

因此,，各大投行和金融公司都在對(duì)此進(jìn)行布局,。全球最大的財(cái)經(jīng)資訊公司彭博社發(fā)布了專門為金融領(lǐng)域打造的大模型BloombergGPT，商學(xué)院教授研究了ChatGPT是否可以分析金融頭條新聞,，摩根大通正在開發(fā)一種人工智能驅(qū)動(dòng)的自動(dòng)投資工具,。麥肯錫最近的一項(xiàng)預(yù)測(cè)稱，生成式人工智能每年可以為銀行業(yè)帶來數(shù)萬億美元的收入,。

金融領(lǐng)域應(yīng)用

但人工智能進(jìn)入金融行業(yè)并不順利,。當(dāng)微軟首次使用OpenAI的大模型推出必應(yīng)聊天機(jī)器人時(shí)，它的主要例子之一就是快速總結(jié)業(yè)績新聞稿,。觀察人士很快意識(shí)到,，微軟發(fā)布的數(shù)字是錯(cuò)誤的，有些數(shù)字甚至完全是編造的,。

Patronus AI的聯(lián)合創(chuàng)始人指出,，將大模型納入實(shí)際產(chǎn)品的部分挑戰(zhàn)在于，它是不確定的——它們不能保證每次對(duì)相同的輸入產(chǎn)生相同的輸出,。這意味著公司需要進(jìn)行更嚴(yán)格的測(cè)試,，以確保它們正確運(yùn)行，不偏離主題,，并提供可靠的結(jié)果,。

Patronus AI測(cè)試了四種大模型:OpenAI的GPT-4和GPT-4- turbo, Anthropic的Claude2和Meta的Llama 2,。在進(jìn)行了相關(guān)測(cè)試之后，Patronus AI兩位聯(lián)合創(chuàng)始人對(duì)大模型的糟糕表現(xiàn)感到驚訝,。

Patronus AI的Rebecca Qian指出：“令人驚訝的是,，大模型們經(jīng)常拒絕回答問題，拒答率非常高,，即使答案在語境中,，即使是普通人也能回答的問題?！?/p>

不過,，該公司也認(rèn)為，如果人工智能繼續(xù)進(jìn)步,，像GPT這樣的大模型將有巨大的潛力來幫助金融行業(yè)的人們——無論是分析師還是投資者,。

OpenAI的一名代表指出，該公司的使用指南禁止在沒有合格人員審查信息的情況下,，使用OpenAI模型提供量身定制的金融建議,，并要求任何在金融行業(yè)使用OpenAI模型的人提供免責(zé)聲明。OpenAI的使用政策還表示,，OpenAI的模型并沒有經(jīng)過微調(diào),，無法提供財(cái)務(wù)建議。