來源:中國新聞周刊
我國人工智能專門立法具有一定的可行性,,但是也面臨著諸多現(xiàn)實難題,。
全球AI立法進程明顯提速,世界各國的監(jiān)管都在追趕AI的演化速度,。
當?shù)貢r間6月14日,,歐洲議會以499票贊成,、28票反對和93票棄權(quán),高票通過了《人工智能法案》(AI Act)談判授權(quán)草案,。按照歐盟立法程序,歐洲議會,、歐盟成員國和歐盟委員會將開始“三方談判”,,以確定法案的最終條款。
歐洲議會稱“已經(jīng)為制定史上首部人工智能法案做好談判準備”,。美國總統(tǒng)拜登釋放管控AI信號,,有美國國會議員提交了AI監(jiān)管立法提案。美國參議院民主黨領(lǐng)袖查克·舒默展示了他的“人工智能安全創(chuàng)新框架”,,并計劃在短短“幾個月”內(nèi)制定聯(lián)邦層面的人工智能法案,。
我國相關(guān)立法也已提上日程,人工智能法草案預備在今年內(nèi)提請全國人大常委會審議,。6月20日,,首批境內(nèi)深度合成服務算法備案清單也已經(jīng)出爐,百度,、阿里巴巴,、騰訊等26家公司、共計41個算法榜上有名,。
盡管中國,、美國、歐盟都倡導準確,、安全,、透明度等原則性的AI監(jiān)管理念,但在具體思路和方式上,,存在許多不同,。頒布全面的AI法律,背后是對自身規(guī)則的輸出,,欲掌握規(guī)則優(yōu)勢,。
國內(nèi)一些專家呼吁盡快開展人工智能法律規(guī)制,但目前面臨的現(xiàn)實難題不容忽視,。此外還有一個重要的考慮是:要監(jiān)管還是要發(fā)展,。這并不是一個二元對立的選擇,但在數(shù)字領(lǐng)域,,平衡兩者卻頗為不易,。
圖/視覺中國
歐盟沖刺,中美提速
如果一切順利,,歐洲議會通過的《人工智能法案》有望在今年年底前獲批,。全球首部綜合性人工智能監(jiān)管法律很有可能落地歐盟。
“該草案會影響其他處于觀望的國家加速立法,。一直以來,,人工智能技術(shù)是否應當納入法治監(jiān)管范疇始終爭議不斷?,F(xiàn)在來看,《人工智能法案》落地后,,相關(guān)網(wǎng)絡平臺,,如業(yè)務內(nèi)容以用戶信息生成為主的平臺,勢必會承擔更高的審核義務,?!北本┖娇蘸教齑髮W法學院副教授趙精武告訴《中國新聞周刊》。
作為數(shù)字戰(zhàn)略的一部分,,歐盟希望通過《人工智能法案》全面監(jiān)管人工智能,,其背后的戰(zhàn)略布局也已擺到臺面。
北京萬商天勤(杭州)律師事務所執(zhí)行主任彭曉燕告訴《中國新聞周刊》,,《人工智能法案》除適用于歐盟境內(nèi),,還規(guī)范位于歐盟之外、但系統(tǒng)輸出數(shù)據(jù)在歐盟使用的系統(tǒng)提供方或使用者,。極大擴展了法案的管轄適用范圍,,也可以窺見搶占數(shù)據(jù)要素管轄范圍的端倪。
中國國際問題研究院歐洲研究所副所長,、研究員金玲在《全球首部人工智能立法:創(chuàng)新和規(guī)范之間的艱難平衡》一文中也寫道,,《人工智能法案》突出歐盟人工智能治理的道德優(yōu)勢,是歐盟又一次欲發(fā)揮其規(guī)范性力量,,通過規(guī)則優(yōu)勢彌補技術(shù)短板的嘗試,。反映了歐盟欲搶占人工智能領(lǐng)域道德制高點的戰(zhàn)略意圖。
《人工智能法案》已醞釀兩年,。2021年4月,歐盟委員會提出基于“風險分級”框架的人工智能立法提案,,后經(jīng)多輪討論和修訂,。在ChatGPT等生成式AI風靡后,歐盟立法者又緊急添“補丁”,。
一個新變化是,,《人工智能法案》最新草案加強了對通用人工智能(general purpose AI)的透明度要求。例如,,基于基礎(chǔ)模型的生成式AI必須要對生成的內(nèi)容進行標注,,幫助用戶區(qū)分深度偽造和真實信息,并確保防止生成非法內(nèi)容,。像OpenAI,、Google等基礎(chǔ)模型的提供者,若是在培訓模型期間使用了受版權(quán)保護的數(shù)據(jù),,也需要公開訓練數(shù)據(jù)的詳細信息,。
此外,,公共場所的實時遠程生物識別技術(shù)從“高風險”級別調(diào)整為“被禁止”級別,即不得利用AI技術(shù),,在歐盟國家的公共場合進行人臉識別,。
最新草案也進一步提高了違法處罰數(shù)額,將最高3000萬歐元或侵權(quán)公司上一財政年度全球營業(yè)額的6%,,修改為最高4000萬歐元或侵權(quán)公司上一年度全球年營業(yè)額的7%,。這比歐洲的標志性數(shù)據(jù)安全法律《通用數(shù)據(jù)保護條例》所規(guī)定的,最高可處以全球收入的4%或2000萬歐元罰款高出不少,。
彭曉燕告訴《中國新聞周刊》,,處罰數(shù)額的提高,側(cè)面反映了歐盟當局對人工智能監(jiān)管決心與力度,。對于谷歌,、微軟、蘋果等營收數(shù)千億美元的科技巨頭而言,,若違反《人工智能法案》規(guī)定,,罰款可能達到上百億美元。
而在大洋彼岸的美國,,華盛頓忙于回應馬斯克等人呼吁加強AI管控之際,,6月20日,美國總統(tǒng)拜登在舊金山會見了一群人工智能專家和研究人員,,討論如何管理這項新技術(shù)的風險,。拜登當時稱,在抓住AI巨大潛力的同時,,需要管理其對社會,、經(jīng)濟和國家安全帶來的風險。
風險管控成為AI熱門話題的背景是,,美國并未對AI技術(shù)采取像反壟斷那般嚴厲措施,,尚未出臺聯(lián)邦層面、綜合性的AI監(jiān)管法律,。
美國聯(lián)邦政府首次正式涉足人工智能監(jiān)管領(lǐng)域是在2020年1月,,當時發(fā)布了《人工智能應用監(jiān)管指南》,為新出現(xiàn)的人工智能問題提供監(jiān)管和非監(jiān)管措施指引,。2021年出臺的《2020年國家人工智能倡議法案》更多算是在AI領(lǐng)域的政策布局,,與人工智能治理和強監(jiān)管還有一定距離。一年后,,白宮于2022年10月發(fā)布的《人工智能權(quán)利法案藍圖》(簡稱“《藍圖》”)為人工智能治理提供了支持框架,,但并不是美國官方政策,不具備約束力。
美國AI立法進展甚微,,已招致許多不滿,。不少人批評,在數(shù)字經(jīng)濟的規(guī)則制定方面,,美國已落后歐盟和中國,。不過,或許是看到歐盟《人工智能法案》即將走過最后“關(guān)卡”,,美國國會近期出現(xiàn)了立法加速跡象,。
拜登舉行AI會議當天,民主黨眾議員泰德·劉(Ted W.Lieu),、安娜·埃舒(Anna Eshoo),,以及共和黨眾議員肯·巴克(Ken Buck)一同提交了《國家人工智能委員會法案》提案。同時,,民主黨參議員布萊恩·夏茲(Brian Schatz)將在參議院提出配套立法,,一同專注于人工智能監(jiān)管問題。
根據(jù)法案內(nèi)容,,人工智能委員會將由來自政府,、行業(yè)、民間社會和計算機科學領(lǐng)域的共20名專家組成,,將審查美國當前的人工智能監(jiān)管方法,,共同制定全面的監(jiān)管框架。
“AI正在社會上做出令人驚嘆的事情,。如果不受控制和監(jiān)管,,會造成重大傷害。國會絕不能袖手旁觀,?!碧┑隆⒃谝环萋暶髦姓f。
一天后,,6月21日,,參議院民主黨領(lǐng)袖查克·舒默(Chuck Schumer)在戰(zhàn)略和國際研究中心(CSIS)發(fā)表演講,揭示他的“人工智能安全創(chuàng)新框架”(簡稱“AI框架”)——鼓勵創(chuàng)新,,同時推進安全、問責制,、基礎(chǔ)和可解釋性,,呼應了包括《藍圖》在內(nèi)的宏觀規(guī)劃。他曾在4月提出過該框架,,但當時基本沒有透露細節(jié),。
AI框架背后是查克·舒默的一項立法戰(zhàn)略。他在此次演講中表示,要在短短“幾個月”內(nèi)制定聯(lián)邦層面的人工智能法案,。不過,,美國立法程序繁瑣,不僅要經(jīng)過參眾兩院投票,,還需經(jīng)過多輪聽證會,,耗時長久。
為了拉快進度,,作為AI框架的組成部分,,查克·舒默計劃從今年9月起舉辦一系列人工智能洞察力論壇,涵蓋創(chuàng)新,、知識產(chǎn)權(quán),、國家安全和隱私在內(nèi)的10個主題。他告訴外界,,洞察論壇不會取代國會關(guān)于人工智能的聽證會,,而是同步進行,以便立法機構(gòu)可以在幾個月而不是幾年內(nèi)推出有關(guān)該技術(shù)的政策,。他預計,,美國的AI立法可能要到秋天“才能開始看到一些具體的東西”。
雖進度并未趕上歐盟,,但我國相關(guān)立法也已提上日程,。6月初,國務院辦公廳印發(fā)《國務院2023年度立法工作計劃》,,其中提到,,人工智能法草案等預備提請全國人大常委會審議。
按照我國《立法法》的規(guī)定,,國務院向全國人大常務委員會提出法律草案后,,由委員長會議決定列入常務委員會會議議程,或者先交有關(guān)的專門委員會審議,、提出報告,,再決定列入常務委員會會議議程,后續(xù)一般需經(jīng)歷三次審議后再交付表決,。
今年以來,,不少國家AI立法提速,彭曉燕認為這是競爭和技術(shù)發(fā)展一同催熱的結(jié)果,。
“數(shù)據(jù)要素越來越成為國家戰(zhàn)略要素,,各國也希望通過立法確立管轄權(quán),搶占人工智能話語權(quán),。同時,,ChatGPT等人工智能技術(shù)的迭代更新,,讓社會看見了強人工智能發(fā)展的新希望。新技術(shù)的發(fā)展勢必會帶來新的社會問題與社會矛盾,,需要規(guī)范介入調(diào)整,,技術(shù)的發(fā)展某種程度上推動了立法的更新?!迸頃匝嗾f,。
分歧遠多于趨同
中國、美國,、歐盟是全球AI發(fā)展的主要驅(qū)動力,,但三者在AI立法方面也存在一些不同。
歐盟《人工智能法案》從用途,、功能等角度將人工智能應用風險分為4個層級,,無論草案經(jīng)過幾輪修改,“風險分級”仍然是歐盟治理AI的核心理念,。
金字塔頂端對應對人類安全造成“不可接受”的風險,。例如,根據(jù)人們的社會行為或個人特征對其進行分類的打分系統(tǒng)等,,這些將被完全禁止使用,。
在最新草案中,歐洲議會擴大了“不可接受的風險”清單,,防止人工智能系統(tǒng)出現(xiàn)侵入性和歧視性,。全面禁止公共空間生物識別、情感識別,、預測性警務(基于側(cè)寫,、地點或過去的犯罪行為),以及從網(wǎng)絡隨意抓取面部圖像等六類人工智能系統(tǒng),。
第二類是對人類安全或基本權(quán)利產(chǎn)生負面影響的人工智能系統(tǒng),,會被視為“高風險”。例如,,航空,、汽車、醫(yī)療設(shè)備等產(chǎn)品中使用的AI系統(tǒng),,以及必須在歐盟數(shù)據(jù)庫中注冊的八個特定領(lǐng)域,,涵蓋關(guān)鍵基礎(chǔ)設(shè)施、教育,、培訓,、執(zhí)法等。在符合人工智能規(guī)定和事先合格評定的情況下,,各種“高風險”人工智能系統(tǒng)將獲得授權(quán),,遵守一系列要求和義務才能進入歐盟市場。
另外,,影響選民和選舉結(jié)果的人工智能系統(tǒng),,以及根據(jù)歐盟《數(shù)字服務法》,擁有超過4500萬用戶的社交媒體平臺所使用的推薦系統(tǒng)也將被列入高風險名單,,例如Facebook,、Twitter和Instagram。
處在金字塔底部的是有限風險,、風險很小或沒有風險的人工智能系統(tǒng),。前者具有特定透明度義務,需要告知用戶正在與AI系統(tǒng)互動,,后者無強制性規(guī)定,,基本上不受監(jiān)管,如垃圾郵件過濾器等應用,。
因有著嚴格的監(jiān)管條款,,《人工智能法案》被很多業(yè)內(nèi)人士視為長了許多尖銳的“牙齒”。不過,,該法案也試圖在強監(jiān)管和創(chuàng)新之間尋求平衡,。
例如,最新草案要求成員國至少建立一個可供中小企業(yè)和初創(chuàng)企業(yè)免費使用的“監(jiān)管沙盒”,,在一個受監(jiān)督和安全可控的場景中,,對創(chuàng)新性人工智能系統(tǒng)在投入使用前進行測試,直到滿足合規(guī)要求,。歐盟普遍認為,,該提議不僅可以讓當局實時關(guān)注技術(shù)變化,也幫助AI企業(yè)減輕監(jiān)管壓力的同時能繼續(xù)創(chuàng)新,。
金玲在前述文章中稱,,歐盟的上游治理方法一方面要求企業(yè)承擔更多的前置成本,另一方面也因為風險評估不確定性影響企業(yè)投資熱情,。因此,,盡管委員會一再強調(diào)人工智能立法將支持歐洲數(shù)字經(jīng)濟的創(chuàng)新和增長,但現(xiàn)實的經(jīng)濟分析似乎并不認同這個結(jié)論,。法案反映了歐盟在促進創(chuàng)新和權(quán)利保護之間難以有效平衡的內(nèi)在沖突,。
美國同歐盟、中國一樣,,都支持主要基于風險的人工智能監(jiān)管方法,,倡導準確、安全,、透明度,。不過,,在趙精武看來,美國監(jiān)管思路更注重利用AI,,推動AI行業(yè)的創(chuàng)新和發(fā)展,,最終是為了保持美國的領(lǐng)導地位和競爭力。
“不同于中國和歐盟秉持的‘風險預防和技術(shù)安全’監(jiān)管理念,,美國則側(cè)重商業(yè)發(fā)展優(yōu)先,。中國和歐盟均側(cè)重人工智能技術(shù)應用安全保障,避免人工智能技術(shù)濫用侵害個體權(quán)利,,美國則是以產(chǎn)業(yè)發(fā)展作為監(jiān)管重心,。”趙精武說,。
有研究發(fā)現(xiàn),,美國國會立法主要集中在鼓勵和指導政府使用人工智能。例如,,美國參議院曾于2021年推出一項人工智能創(chuàng)新法案,,要求美國國防部實施一項試點計劃,以確保其能夠獲得最佳的人工智能和機器學習軟件能力,。
查克·舒默在前述演講中就將創(chuàng)新視為北極星,,其AI框架就是要釋放人工智能的巨大潛力,支持美國主導的人工智能技術(shù)創(chuàng)新,?!度斯ぶ悄軕帽O(jiān)管指南》在開篇就明確應繼續(xù)促進技術(shù)和創(chuàng)新的進步?!?020年國家人工智能倡議法案》最終目標也是要通過增加研究投入,、建立勞動力系統(tǒng)等手段確保美國在全球AI技術(shù)領(lǐng)域保持領(lǐng)先地位。
彭曉燕表示,,從指導性的規(guī)范設(shè)計角度來看,,美國立法及制度層面上對人工智能發(fā)展尚且處在弱監(jiān)管的態(tài)勢,社會層面以開放的態(tài)度積極鼓勵人工智能技術(shù)的創(chuàng)新與拓展,。
與歐盟具有更加明確的調(diào)查權(quán)和全面的監(jiān)管覆蓋范圍相比,,美國采取了一種分散化的人工智能監(jiān)管方式,部分州和機構(gòu)以較小程度推進AI治理,。這樣導致的結(jié)果是,,全國性的AI監(jiān)管倡議都非常地寬泛和原則化。
例如,,《藍圖》作為美國人工智能治理政策里程碑事件,,制定了安全有效的系統(tǒng)、防止算法歧視,、保護數(shù)據(jù)隱私,、通知及說明,、人類參與決策制定等五項基本原則,并無更加細致條款,。
彭曉燕認為,,《藍圖》未制定具體的實施措施,而是以原則性規(guī)定的方式搭建人工智能發(fā)展基本框架,,旨在指導人工智能系統(tǒng)設(shè)計、使用及部署,。
“像這類規(guī)范,,不具有強制性,這是美國出于對人工智能產(chǎn)業(yè)扶持發(fā)展的考慮,。目前,,人工智能尚處于新興發(fā)展階段,高強度監(jiān)管勢必會一定程度上限制產(chǎn)業(yè)發(fā)展與創(chuàng)新,,因而美國在立法上保持相對謙抑態(tài)度,。”彭曉燕說,。
“如果沒有法律賦予各機構(gòu)新的權(quán)力,,它們就只能根據(jù)已有權(quán)力規(guī)范人工智能的使用。另一方面,,對人工智能相關(guān)的道德原則保持較少規(guī)定,,各機構(gòu)可以自行決定如何監(jiān)管,保留哪些使用權(quán)利,?!笨▋?nèi)基分析師哈德里恩·普格(Hadrien Pouget)認為,這使得以白宮為首的聯(lián)邦機構(gòu)既受限制又自由,。
以利用和創(chuàng)新為主導的AI治理理念,,注定美國的“拳頭”不會太硬。美國著名智庫布魯金斯學會研究員亞歷克斯·恩格勒(Alex Engler)指出,,對于教育,、金融、就業(yè)等具有社會影響力的人工智能,,歐盟和美國正采取不同的監(jiān)管方法,。
在對具體AI應用上,歐盟《人工智能法案》對聊天機器人有透明度要求,,而在美國還沒有聯(lián)邦層面的規(guī)定,。面部識別被歐盟視為“不可接受的風險”,美國則是通過美國國家標準與技術(shù)研究院(NIST)人臉識別供應商測試計劃提供公共信息,,但不強制制定規(guī)則,。
“歐盟的監(jiān)管范圍不僅涵蓋了更廣泛的應用,,而且為這些人工智能應用制定了更多規(guī)則。而美國的做法更狹隘地局限于調(diào)整當前的機構(gòu)監(jiān)管機構(gòu)來嘗試治理人工智能,,人工智能的范圍也有限得多,。”亞歷克斯·恩格勒說,,盡管存在寬泛的相同原則,,但在AI風險管理中,分歧遠多于趨同,。
趙精武總結(jié)中國,、歐盟、美國的AI監(jiān)管模式,,發(fā)現(xiàn)中國以人工智能技術(shù)應用場景為限,,專門針對人臉識別技術(shù)、深度合成,、自動化推薦等應用場景制定專門監(jiān)管規(guī)則,。歐盟是以風險水平為導向,根據(jù)人工智能應用的風險水平是否屬于可接受水平,。美國則是在既有的傳統(tǒng)法律制度框架判斷人工智能技術(shù)應用的合法性,。
此外,美國也將更多注意力集中在人工智能研究上面,,為其投入更多資金,。就在5月初,美國白宮宣布投資約1.4億美元,,建立七個新的國家級人工智能研究所,。有研究者認為,美國此舉是希望能更加了解AI,,從而減輕監(jiān)管過程中產(chǎn)生的擔憂,。
彭曉燕則表示,我國采取鼓勵人工智能技術(shù)發(fā)展同時有限規(guī)范相關(guān)領(lǐng)域管理的措施,,以調(diào)和的政策與管理要求引導人工智能技術(shù)發(fā)展,。
我國立法面臨諸多現(xiàn)實難題
歐盟正加速落地全球首部AI監(jiān)管法案,趙精武告訴《中國新聞周刊》,,歐盟的“風險等級制”人工智能監(jiān)管措施,,《人工智能法案》提出的“通用模型”監(jiān)管概念,以及專門針對ChatGPT這類生成式人工智能應用的披露義務,、數(shù)據(jù)版權(quán)合規(guī)義務,,都對我國人工智能立法有參考價值。
事實上,我國對于人工智能的立法早已起步,,2017年國務院發(fā)布的《新一代人工智能發(fā)展規(guī)劃》提出,,到2025年,初步建立人工智能法律法規(guī),、倫理規(guī)范和政策體系,,形成人工智能安全評估和管控能力。
地方上,,2022年,,深圳市出臺《深圳經(jīng)濟特區(qū)人工智能產(chǎn)業(yè)促進條例》,被看作我國首部人工智能產(chǎn)業(yè)專項立法,?!稐l例》提到,完善人工智能領(lǐng)域監(jiān)管機制,,防范人工智能產(chǎn)品和服務可能出現(xiàn)的倫理安全風險和合規(guī)風險。
當前,,我國人工智能規(guī)制主要由幾大部委共同推進,,分別從不同領(lǐng)域推動人工智能領(lǐng)域的規(guī)范和發(fā)展?!痘ヂ?lián)網(wǎng)信息服務算法推薦管理規(guī)定》《互聯(lián)網(wǎng)信息服務深度合成管理規(guī)定》《生成式人工智能服務管理辦法(征求意見稿)》等規(guī)范性文件也相繼出臺,。
“綜合歷來管理規(guī)范來看,我國關(guān)于人工智能領(lǐng)域的規(guī)定采用區(qū)分業(yè)務領(lǐng)域,、區(qū)分技術(shù)方向的措施,,管理規(guī)范趨于分散化。在規(guī)范出臺上,,往往具有應時性特征,,在特定技術(shù)出現(xiàn)后作出專門性管理規(guī)定。規(guī)范由行政部門主導頒布,,側(cè)重監(jiān)管,,在規(guī)范層級上未上升為法律?!迸頃匝嗾f,。
值得注意的是,6月20日,,首批境內(nèi)深度合成服務算法備案清單出爐,,百度、阿里巴巴,、騰訊,、字節(jié)跳動、美團等26家公司,、共計41個算法榜上有名,。
隨著AI立法熱度升溫,,國內(nèi)開始有專家呼吁盡快開展人工智能法律規(guī)制。不過,,在趙精武看來,,我國人工智能專門立法具有一定的可行性,但是也面臨著諸多現(xiàn)實難題,。
“一是立法文件之間的體系銜接問題,,人工智能專門立法與其他規(guī)范性文件之間的適用關(guān)系尚未解決,尤其是專門立法與現(xiàn)行立法在內(nèi)容層面的重疊問題亟待解決,。二是人工智能技術(shù)更新迭代速度加快,,保障法律與技術(shù)的同步發(fā)展存在一定的難度;三是人工智能監(jiān)管規(guī)則缺乏整體性,,數(shù)據(jù),、算法和算力三大核心要素的監(jiān)管規(guī)則仍處于探索階段;四是人工智能立法的重心究竟是以安全風險治理為主,,還是以產(chǎn)業(yè)發(fā)展保障為主爭議較大,。”趙精武說,。
無論是歐盟的《人工智能法案》,,還是中國、美國等國家針對AI的規(guī)定,、倡議,、規(guī)劃,都在試圖構(gòu)建一個完善的監(jiān)管框架:既能確保安全,,又能為AI創(chuàng)造更好條件,。
基于這種普適性原則,彭曉燕告訴《中國新聞周刊》,,我國建立的人工智能法律,,首先應當建立在積極鼓勵發(fā)展創(chuàng)新的基礎(chǔ)上,使得人工智能在相對開放的空間領(lǐng)域進行規(guī)范發(fā)展,,劃定發(fā)展紅線,。
“此外,還需要解決現(xiàn)下大家集中關(guān)心的人工智能領(lǐng)域法律問題,,包括但不限于人工智能違法違規(guī)內(nèi)容的禁止,、人工智能數(shù)據(jù)安全保護、人工智能倫理安全的保障,、知識產(chǎn)權(quán)侵權(quán)的防范等等,。”彭曉燕說。
趙精武認為,,我國應當建立以產(chǎn)業(yè)發(fā)展保障為導向的人工智能法律,。
“現(xiàn)行立法在一定程度已經(jīng)可以基本滿足人工智能技術(shù)應用監(jiān)管的需求。預防技術(shù)風險,,保障技術(shù)安全只是治理過程,,其最終目的仍然還是需要回歸到人工智能產(chǎn)業(yè)發(fā)展層面。畢竟人工智能法律不是限制產(chǎn)業(yè)發(fā)展,,而是引導和保障相關(guān)產(chǎn)業(yè)的良性發(fā)展,。”趙精武說,。
作者:哈力克
免責聲明:本文來自網(wǎng)絡收錄或投稿,,觀點僅代表作者本人,不代表芒果財經(jīng)贊同其觀點或證實其描述,,版權(quán)歸原作者所有,。轉(zhuǎn)載請注明出處:http://lequren.com/1053140.html
溫馨提示:投資有風險,入市須謹慎,。本資訊不作為投資理財建議,。