財聯(lián)社12月19日訊（編輯 牛占林）要說人工智能大模型最強大的能力,，那肯定是最基礎(chǔ)的文本處理功能，但一家名為Patronus AI的初創(chuàng)公司的研究人員發(fā)現(xiàn),，即使是目前最強大的大模型,，也無法準確分析美國證券交易委員會(SEC)的企業(yè)財報文件,。

OpenAI的GPT-4-Turbo應該說是目前市場上性能最好的人工智能模型了,，而在Patronus AI的最新測試中,，針對SEC文件的問題，只有79%的答案是正確的,。

讓普通人工智能工具回答這類問題的話,，一般不是無法回答，就是會出現(xiàn)“幻覺”,，也就是胡編亂造SEC文件中沒有的數(shù)字和事實,。

Patronus AI的聯(lián)合創(chuàng)始人Anand Kannappan表示：“這樣的性能是絕對不可接受的，它的準確率必須要高得多,，才能真正以自動化和生產(chǎn)就緒的方式開始工作,?！?/p>

這些發(fā)現(xiàn)突顯了人工智能模型面臨的一些挑戰(zhàn)，因為大公司,，尤其是金融等受監(jiān)管行業(yè)的大公司,，正尋求將尖端技術(shù)納入其業(yè)務(wù)，無論是客戶服務(wù)還是數(shù)據(jù)研究方面,。

自去年年底ChatGPT發(fā)布以來,，快速提取重要數(shù)字和文字，并對財務(wù)報表進行分析的能力一直被視為聊天機器人最有前途的應用之一,。而SEC的備案文件中充滿了重要的數(shù)據(jù),，如果人工智能能夠準確地總結(jié)這些數(shù)據(jù)，或者快速回答有關(guān)其中內(nèi)容的問題,，它可能會讓用戶在競爭激烈的金融行業(yè)中占據(jù)優(yōu)勢,。

因此，各大投行和金融公司都在對此進行布局,。全球最大的財經(jīng)資訊公司彭博社發(fā)布了專門為金融領(lǐng)域打造的大模型BloombergGPT,，商學院教授研究了ChatGPT是否可以分析金融頭條新聞，摩根大通正在開發(fā)一種人工智能驅(qū)動的自動投資工具,。麥肯錫最近的一項預測稱,，生成式人工智能每年可以為銀行業(yè)帶來數(shù)萬億美元的收入。

金融領(lǐng)域應用

但人工智能進入金融行業(yè)并不順利,。當微軟首次使用OpenAI的大模型推出必應聊天機器人時,，它的主要例子之一就是快速總結(jié)業(yè)績新聞稿。觀察人士很快意識到,，微軟發(fā)布的數(shù)字是錯誤的,，有些數(shù)字甚至完全是編造的。

Patronus AI的聯(lián)合創(chuàng)始人指出,，將大模型納入實際產(chǎn)品的部分挑戰(zhàn)在于,，它是不確定的——它們不能保證每次對相同的輸入產(chǎn)生相同的輸出。這意味著公司需要進行更嚴格的測試,，以確保它們正確運行,，不偏離主題，并提供可靠的結(jié)果,。

Patronus AI測試了四種大模型:OpenAI的GPT-4和GPT-4- turbo, Anthropic的Claude2和Meta的Llama 2,。在進行了相關(guān)測試之后，Patronus AI兩位聯(lián)合創(chuàng)始人對大模型的糟糕表現(xiàn)感到驚訝,。

Patronus AI的Rebecca Qian指出：“令人驚訝的是,，大模型們經(jīng)常拒絕回答問題，拒答率非常高,，即使答案在語境中,，即使是普通人也能回答的問題,。”

不過,，該公司也認為,，如果人工智能繼續(xù)進步，像GPT這樣的大模型將有巨大的潛力來幫助金融行業(yè)的人們——無論是分析師還是投資者,。

OpenAI的一名代表指出,，該公司的使用指南禁止在沒有合格人員審查信息的情況下，使用OpenAI模型提供量身定制的金融建議,，并要求任何在金融行業(yè)使用OpenAI模型的人提供免責聲明,。OpenAI的使用政策還表示，OpenAI的模型并沒有經(jīng)過微調(diào),，無法提供財務(wù)建議,。