大家好,，我是谷智軒,。很久沒和大家聊聊巴以局勢了。最近,，有外媒曝光了一件嚇人的事：長期以來,，以色列都在使用 人工智能“薰衣草”（Lavander）識別和打擊加沙的目標，造成了大量平民傷亡,。經(jīng)?？次覀児?jié)目的小伙伴都知道，我們一直在關(guān)注人工智能的發(fā)展,，不只是技術(shù)上的進展，還有在法律和倫理上,，人類對于AI的各種爭論和探索,。我們對于如何利用AI，遠遠沒有形成共識,。各國對于AI的立法和管理，還在摸石頭過河,。實在是沒想到,，竟然有一個國家，跳過了前面的所有環(huán)節(jié),，直接到了用AI殺人的階段,。聯(lián)合國秘書長古特雷斯就此發(fā)表聲明，表示“深感不安”（deeply troubled）,；我只能說,，用詞過于委婉了。本期《軒講》,，我們就來聊聊以色列用AI殺人這事,，究竟有多可怕。本月初,，以色列-巴勒斯坦地區(qū)的兩家左翼媒體+972雜志和Local Call網(wǎng)站,，發(fā)布了一份調(diào)查報告。他們的記者采訪了六名以色列情報官員,。這些人都參與了眼下這場加沙戰(zhàn)爭,，而且是親身參與了利用AI生成打擊目標的過程。當然了,，他們的名字肯定是不能透露的,，以色列軍方也否認了他們的說法。報告里的事到底有沒有，我沒法評價,。我只說兩點：第一,，報告邏輯自洽、細節(jié)豐富,，而且確實解釋了以軍在這場戰(zhàn)爭中的很多行為,；第二，有的時候,，謊言太離譜,，反而可能是真相。這個報告里講了個什么故事呢,？我給大家總結(jié)一下,。首先，以色列軍方多年以前就在開發(fā)可以甄別攻擊目標的人工智能,。背后的動機簡單直白：確認目標的事情,，人也可以做，但效率太低,。在過去的戰(zhàn)爭中,，要授權(quán)擊殺單個人類目標，必須先給目標“定罪”,。軍隊肯定不會像法院做得那么細,，也沒那么講究原則和程序，但交叉核對證據(jù),，證明“這個人”確實是“那個人”,，還是要的。確定目標后,，再收集他的活動軌跡,，制定擊殺計劃。如果只想干掉哈馬斯的高級成員,，數(shù)量控制在兩位數(shù),，定罪和定位都不是難事。但以色列不滿足于此,。高級成員要殺,，數(shù)以萬計的低級成員也要殺。這種五位數(shù)以上的擊殺名單,，情報人員肯定做不了,，交給AI，那就省事多了,。那么這個AI由誰來開發(fā)呢,？這里就要提到以色列著名的8200部隊了,。插播一小段背景介紹啊。8200是番號,，這支部隊正式的名稱是中央情報搜集部隊（Central Intelligence Gathering Unit）,，成立于1952年，可謂戰(zhàn)功赫赫,，比如在1967年第三次中東戰(zhàn)爭的開戰(zhàn)首日,，截獲了埃及總統(tǒng)納賽爾和約翰國王侯賽因的高保密專線，1985年截獲了巴解領(lǐng)導人阿拉法特和“恐怖分子”的電話,，等等,。除了“戰(zhàn)績”之外，8200的另一個招牌,，就是它的成員了,。以色列是全民兵役制，不管男女,，18歲都得服役,。而8200有提前搖人的特權(quán)，在不到18歲的所有以色列人里面,，把智商最高,、能力最強、最有潛力的五千號人挑出來,，然后干嘛呢,？PUA、特訓,、搞情報。這里面還會選出千人左右,，專門開發(fā)一些用于作戰(zhàn)和情報收集的高科技“小玩意兒”,，里面就包括了戰(zhàn)場內(nèi)外使用的人工智能。以色列8200部隊,，匯聚了電腦精英，負責信號情報收集,、密碼解密,、反間諜、網(wǎng)絡(luò)戰(zhàn),、軍事情報監(jiān)視等情報工作8200有一個數(shù)據(jù)科學與人工智能中心,，中心負責人在多個場合都提及他們正在開發(fā)目標識別AI，而以色列媒體的報告就引用了他的很多說法,。比如說,，這類AI的訓練流程,。把已知的哈馬斯和杰哈德成員名單喂給AI，利用一種叫做正樣本未標注學習（Positive-unlabeled learning）的機器學習算法,，讓AI提取他們之間的共同特征,。接下來，AI就可以比對這些特征,，對所有巴勒斯坦人打分,，越是符合特征的，分數(shù)越高,。最后,，情報人員會把樣本按照分數(shù)排個序，確定下“及格線”,，過線的,，就是恐怖分子，可以殺,。這位負責人在特拉維夫大學講演的時候,，還一再強調(diào)，AI只是起到輔助篩選的作用,，最后決定殺不殺的,，還是有血有肉的人。以色列國防軍 8200 部隊數(shù)據(jù)科學和人工智能中心指揮官2023年2月出席特拉維夫大學AI周可真的到了實踐的時候,，就完全不是這么回事了。咱們有句老話,，叫“兵貴神速”,。AI給出一份名單，還要人來核驗,，這多浪費時間,？去年10月，哈馬斯發(fā)動襲擊,，殺了以色列1200人,，綁架240人。以色列報之以“鐵劍行動”（Operation Iron Swords）,，軍方火速決定,，要把哈馬斯清除干凈，所有成員——不論他們高低貴賤,，有多少軍事價值——一個不留,。然后他們問了AI一個問題：薰衣草啊薰衣草，告訴我誰是哈馬斯,？這個名叫薰衣草的AI,，生成了一份37000人左右的名單,。8200的情報人員花了兩周時間，在名單里隨機挑了幾百個名字,，檢查了一下是不是真的哈馬斯,，結(jié)論是，薰衣草的正確率達到了90%,。軍方很滿意,，當即授權(quán)，就按照AI的名單來辦,。程序上需要人工核驗,，判斷是否擊殺？沒事,，工作人員花上20秒,，核驗一下目標是男是女，男的殺了,，女的留下——決定在我,。那還有10%的錯誤率怎么辦？統(tǒng)計誤差嘛,。誰讓這些人具有“哈馬斯特征”呢,？誰讓他們是哈馬斯成員的親戚，或者和哈馬斯成員同名同姓,、用同一個昵稱,，或者使用的二手手機，剛巧是一個哈馬斯成員用過的,？再說了,，統(tǒng)計學肯定比人更靠譜。要知道,，很多以軍士兵都有親朋好友死在哈馬斯手里,，他們很容易做出不理性的事情，手里的“誤殺”也不在少數(shù),。以色列國防軍 8200 部隊數(shù)據(jù)科學和人工智能中心指揮官在特拉維夫大學的演講幻燈片中透露“薰衣草”擊殺目標的步驟：建立目標的特征,，并根據(jù)目標進行排名但問題是，統(tǒng)計學的那些規(guī)則,、標準,，也是人設(shè)計出來的。什么才叫“哈馬斯成員”呢,？領(lǐng)哈馬斯錢的人,？還是不拿錢,，但幫哈馬斯做事的人？或者是幫了哈馬斯,，但沒有實際危險的人,？畢竟，哈馬斯在加沙執(zhí)政多年,，手底下有一大幫子公務(wù)員,，配武器的也不少。還有,，以前幫過哈馬斯,，現(xiàn)在不幫了，算不算,？這些個定義,，是可以人為調(diào)整的。實際上,，8200在訓練AI的時候,，使用了一個非常寬泛的定義，喂給AI的數(shù)據(jù)里面,，至少包括了哈馬斯政府國內(nèi)安全部的雇員,。前面我們講過，AI會根據(jù)一個人的“哈馬斯特征”來打分,，高于“及格線”的才會判定是哈馬斯成員,。技術(shù)人員就可以通過操控“及格線”，來放寬和收窄“哈馬斯成員”的范圍,。根據(jù)以色列官員的說法,，在戰(zhàn)爭過程中，AI不斷生成名單,，以軍照單殺人,，但有時候，AI生成名單的速度,，還跟不上以軍殺人的速度,。以軍需要更多的打擊目標，就會把“及格線”調(diào)低,。這樣,，機器就會把很多新人加到名單上，比如民防人員和警察,，他們有武裝,，是在幫哈馬斯政府，湊合湊合,，也能算是“哈馬斯成員”,。3月底的時候,，《耶路撒冷郵報》發(fā)了篇報道，說哈馬斯好像越打越多了,。軍方一直估計有3萬人,，但現(xiàn)在，光是已經(jīng)打死和打傷的人加在一起都不止這個數(shù),，一會兒還這里又出來一堆哈馬斯,，那里又打死一堆哈馬斯，數(shù)字根本對不上,。我覺得,，這里面估計也有“薰衣草”的鍋，誰讓它速度太慢,，還需要靠人手動給名單擴容呢,？耶路撒冷郵報2024年3月27日報道《震驚,！哈馬斯的戰(zhàn)士比以色列初期預設(shè)的多數(shù)千人》這種種的不靠譜,，以色列軍方心知肚明，而且毫不在意,。一切都掩蓋在了“戰(zhàn)爭”的名義之下,。他們辯護說：情報機構(gòu)人力有限，不值得核查低級武裝分子上浪費時間,；咱們是在打仗,，沒時間給每個目標“定罪”，你得接受算法有誤差,，接受殺錯人的風險,。這話聽著很有道理，和“寧可錯殺一萬,，不可放過一個”,，有異曲同工之妙。而且好像還要感謝AI,，把錯殺率,，從萬分之九千九百九十九，降到了百分之十,，讓大規(guī)模的“定點清除”成為可能,。這個邏輯的問題，我們等會兒再討論,。退一萬步講,，即使接受了邏輯,，還有個程度的問題,?！稗挂虏荨钡腻e誤率有10%，不代表以色列每炸死10個人,，有九個是哈馬斯,。很多信源的數(shù)據(jù)都顯示，死在以色列炮火下的平民,，遠超哈馬斯武裝分子的數(shù)量,。因為確定要殺誰之后，還有個怎么殺的問題,，而這一步,，以色列也是大幅仰仗AI的助力。從目前收集到的信息看,，除了“薰衣草”之外,，明確在加沙戰(zhàn)場上出現(xiàn)過的AI，至少還有三個,。第一個叫“福音”（The Gospel）,，它是專門和“薰衣草”打配合的?！稗挂虏荨贝_定要殺誰,，“福音”則把這些人身處的建筑物標記出來。第二個叫“爸爸在哪兒”（Where’s Daddy）,，它負責利用各種監(jiān)視系統(tǒng)跟蹤目標,，在對方進入房間的那一刻發(fā)出信號。第三個叫“火力工廠”（Fire Factory）,，負責計算彈藥裝載量,，對數(shù)千個目標進行優(yōu)先級排序，并將其分配給飛機和無人機,，再制定出一個空襲時間表,。我們在過去的節(jié)目里面講過，“定點清除”的技術(shù)要領(lǐng),，一在信息采集和處理,，二在精確和快速的打擊技術(shù)。這四個AI相互配合,，覆蓋了“定點清除”的全套流程,，大幅提高了殺人的效率。它們具體是怎么做的呢,？首先,，要確定一個合適的擊殺地點。在哪里殺人更容易？當然是目標在家里的時候,。對AI來說,，它們很容易就能把目標和他的私人住宅關(guān)聯(lián)起來。實際上,，加沙的每個人都被標記了對應的住宅,，誰住在什么地方，全部在以軍的數(shù)據(jù)庫當中,，在此基礎(chǔ)上,，追蹤目標歸家、離家的軌跡也不困難,。除此之外,，在民宅里面，反偵察,、反打擊措施要薄弱許多,，目標在家中警戒心也低，簡直是理想的殺人場所,。但問題,，這些民宅里面，往往不是只有一個人,。加沙人習慣一大家子住在一起,。爹媽老婆孩子兄弟姐妹，親朋好友,、左鄰右舍,，一發(fā)炮彈下去，就整整齊齊的了,。以軍攻擊民宅的理由有很多,，比如哈馬斯就喜歡把窩點藏在民用設(shè)施當中，拿平民當擋箭牌,，醫(yī)院,、清真寺、學校,、聯(lián)合國設(shè)施,，大概率都有哈馬斯。但這解釋不了一個現(xiàn)象：為什么以家庭為單位的傷亡,，占比特別高,？開戰(zhàn)45天的時候，聯(lián)合國機構(gòu)公布過一個數(shù)據(jù)：當時巴勒斯坦方面死亡11078人,，有501個家庭,，死亡人數(shù)大于6人,，312個家庭，死亡人數(shù)超過10人,，至少有6120人,，也就是一半以上，屬于825個家庭,。聯(lián)合國人道主義事務(wù)協(xié)調(diào)廳12月29日關(guān)于加沙-以色列危機傷亡情況的總結(jié)報告中顯示,，巴勒斯坦地區(qū)至少有6120人的死亡以825個家庭的形式產(chǎn)生這種以家庭為單位的傷亡模式,，確實呼應了以色列情報官員的說法：以軍在有意識地攻擊哈馬斯成員的私宅。當然了,，這也不算新聞,，2014年以色列對加沙的空襲，也做了同樣的事情,。那次襲擊當中,，共造成了超過2200名巴勒斯坦人的死亡，其中至少有70次針對私人住宅的襲擊,，造成606人死亡,，比例是27%。而這次提高到一半以上,，估計就是AI的“助攻”了,。“薰衣草”生產(chǎn)名單的速度,，那就不用說了,。“爸爸在哪兒”可以同時跟蹤數(shù)千個目標,，效率也是非同一般,。再加上“火力工廠”，不但優(yōu)化了空襲的效率,，而且還大幅降低了彈藥的成本,。根據(jù)美國情報部門的估計，以色列空軍在加沙使用的彈藥里面,，有45%是非制導炸彈,，也叫“傻彈”（dumb dombs）。它們比制導炸彈便宜很多,，價格要差個幾倍,，但命中精確度也低，會造成大量的“附帶損害”,。但有了AI的幫助之后,，命中的問題就解決了一大半,。比如說，如果他們發(fā)現(xiàn)目標住的是高層建筑,，就不打了,，因為需要用特殊的精確制導炸彈來打穿樓板。那玩意兒太貴了,，不值得浪費在低級成員身上,。但如果這些哈馬斯住在平房里面，那么只要在他們回家后扔個“傻彈”就行了,，直接把房子給你平了,，不存在什么命中問題。幾千美金換一個人頭,，哪怕是低級成員,，效費比也可以接受。然而,，命中問題“解決”了,，“附帶損害”的問題怎么辦呢？以軍設(shè)計AI的時候,，還考慮過這個問題,。AI在做空襲規(guī)劃的時候，“附帶損害”也是一個參數(shù),。它會根據(jù)建筑物的大小以及登記的居民名單,，計算戰(zhàn)前居住在此的平民人數(shù)，再根據(jù)撤離的居民比例,，來估算一個建筑物內(nèi)的即時人數(shù),，再做相應的規(guī)劃。比如說,，一棟房子,，名單上顯示戰(zhàn)前住了10個人，根據(jù)手機信號測算,，小區(qū)撤了一半人,，那么AI就認為，房子里住了5個人,。有時候,，算出來的人數(shù)，甚至不是整數(shù),。我們光聽就知道,，這種估算有多不靠譜。戰(zhàn)前和戰(zhàn)時,，根本是兩個概念,。根據(jù)世界銀行的數(shù)據(jù),，加沙地帶超過60%的房屋和80%的商業(yè)設(shè)施都已經(jīng)被摧毀，幾乎全部人口流離失所,，這大幅削弱了軍隊數(shù)據(jù)庫的準確性和AI自動標記住宅的能力,。很多時候，戰(zhàn)爭期間居住的,，完全就不是戰(zhàn)前的那批人,，兩者之間也沒什么聯(lián)系。有時候,，以軍炸了一棟房子,，根本不知道房里是好幾戶人家躲在一起的。在以前的戰(zhàn)爭里面,，情報人員會花大量的時間監(jiān)視房屋,、核實人數(shù),，事后還有一道炸彈損害評估程序（Bomb Damage Assessment）,，簡稱BDA，檢查目標是否死亡,，以及造成了多少平民死亡,。這一次，為了節(jié)省時間,，事前事后的步驟,，全都省略了，一切都交給了AI和統(tǒng)計學,。情報人員對于會死多少,，死了多少人，里面包不包括目標,，可謂一概不知,。他們唯一知道的，就是空軍告訴他們,，房子被炸了,，然后他們再告訴軍隊，去炸更多的房子,。不過,，有一個問題，依然沒交給統(tǒng)計學,，就是允許“附帶損害”的大小,。軍方會事先給一個授權(quán)，殺一個哈馬斯,，允許多少平民陪葬,，這個數(shù)字叫非戰(zhàn)斗人員傷亡值,，簡稱NCV（Non-combatant Casualty Value）。AI在計算殺誰,、怎么殺的時候,，就會根據(jù)這個標準來。NCV是浮動的,，軍事價值越高,，NCV越大——這是以軍自己承認的，對高級哈馬斯成員,，這個數(shù)字可以達到三位數(shù),。軍隊有一套大致的標準，一個旅長配多少人,，一個營長配多少人,，還會考慮到具體的情況。比如說哈馬斯卡桑旅的指揮官艾曼·諾法爾（Ayman Nofal）,，以軍在擊殺他的時候,，得到的位置情報不是很精確，軍方授權(quán)的人數(shù)是300人,。對比一下,，當年美軍擊殺本·拉登，授權(quán)的NCV“只有”30,。路透社2023年10月17日報道，以色列空襲加沙,，擊殺了哈馬斯軍事指揮官艾曼·諾法爾對于低級哈馬斯成員,，這個標準還要“彈性”一點。去年10月7日的空襲之后,，以軍陷入了歇斯底里的狀態(tài),，只要目標是哈馬斯，幾乎任何“附帶損害”都可以得到批準,。反正炸就是了,，他們只在乎炸的目標夠不夠多。有時候,，他們知道目標在一棟里面,，然后就炸平了四棟樓。整個軍隊與其說是在作戰(zhàn),，還不如說是在泄憤,。之后，軍隊的行為稍微理性了一些,，NCV被控制在了15人左右,，也就是殺一個普通的哈馬斯,，可以殺15個平民。有段時間降到5人,，但軍方發(fā)現(xiàn),，這讓空襲沒法進行，因為只要目標的家人都在家,，他們就沒法炸屋子,，所以又把上限提了上去。再后來,，以軍整體上減小了攻擊低級哈馬斯的頻率,。這客觀上降低了“附帶損害”，卻不是因為以軍想降低“附帶損害”,，而是考慮到彈藥經(jīng)濟性,。以色列正準備在北部地區(qū)和黎巴嫩真主黨動手，這開頭幾波消耗的炸彈,，委實有點多了,。由此可見，人工智能輔助下的“自動化”殺人,，并沒有什么“理性”的優(yōu)勢,。AI對于人類干壞事,，沒有什么限制和糾正作用,。相反，它只是讓殺戮,，變得更有效率,。它降低了殺人的經(jīng)濟和道德成本，幫助人類在有限的資源和可承受的道德壓力下,，殺掉盡可能多的目標,。“薰衣草”生成名單,，“福音”標記住宅,，低級別的情報人員象征性地看一看，復制粘貼到“爸爸在哪兒”,，執(zhí)行目標追蹤,，“火力工廠”據(jù)此分配彈藥，制定空襲計劃,，在目標回家的那一刻,，由空軍完成擊殺。除了最后的擊殺外,，整個流程,，都實現(xiàn)了高度的自動化,，而這“最后一步”，可能在不久的將來,，也可以由自動化的武器來完成,。我們之前做過一期節(jié)目，叫“定點清除”,，讓網(wǎng)上一大群“烏友”破了大防,，直到今天還陷在他們的邏輯謬誤中不能自拔，挺可憐的,。我們再來復習一下相關(guān)專業(yè)知識：“定點清除”,，Targeted Killing，有時候也叫“斬首行動”,，Decapitation Strike,，即通過消滅一個組織中的關(guān)鍵人物，來對組織造成破壞?，F(xiàn)在,，“定點清除”和“斬首”之間，不能再劃等號,，它有了一個新分支,，叫“Broad Hunting”，大范圍獵殺,。從戰(zhàn)場表現(xiàn)來看,，這種同時針對數(shù)萬目標的大規(guī)模“定點清除”,，已經(jīng)成為了一種可行的,、且經(jīng)過實踐應用的戰(zhàn)術(shù)。這是好是壞,，尚有爭議,。支持的人說：它好過無差別襲擊。這次加沙戰(zhàn)爭持續(xù)了六個月,，巴勒斯坦方面,，傷亡總數(shù)超11萬；哈馬斯武裝分子,，滿打滿算有三萬多,，占比達到30%。和歷史上的各種“屠城”相比,，是不是要好上很多,？AI是在降低“錯殺率”啊！反對的人說：除了“錯殺率”,，還有“錯殺數(shù)”,。“大范圍獵殺”的應用,，實際上大幅增加了攻擊次數(shù),，推高了平民的傷亡人數(shù)。而且,，70%的錯殺率,，你覺得可以接受嗎？然后,，支持的人又會反駁：如果把技術(shù)改進一下,，把錯殺率降到一半以下，你還會這么說嘛,？降到10%以下,，1%以下呢？百分之0.000001呢,？什么比例,，是可以接受的呢？誰能保證不殺錯一個,？你說人命無價,，殺錯一個都不行？我們是在打仗,，國家利益為重,，國民的安全為重。算個總賬,，“錯殺”帶來的損失,，小于“殺對”帶來的利益就可以了,。最后那句話,，我直接引用了以色列國防軍對“薰衣草”問題的回復。以色列國防軍回應在加沙地區(qū)使用“薰衣草”：算個總賬,，“錯殺”帶來的損失小于“殺對”帶來的利益就可以了哲學上的論辯，很難有什么結(jié)果,。但有一點,，我想大家是有共識的：為了剿滅三萬多名哈馬斯，超過2.4萬名巴勒斯坦婦女和兒童死亡,，11萬人死傷,，110萬人食不果腹，170萬人流離失所,，這超過了絕大部分人的道德紅線,，但凡是有點良知的人,，都無法接受。如果沒有AI,，可能傷亡會更大，但即使有了AI,，后果依然如此嚴重,。所以說，問題并不出在AI身上,，該為此負責的,，也并非人工智能。戰(zhàn)爭,，是高尚者的墓志銘,，卑鄙者的通行證。戰(zhàn)場之上,，以國之名,，滔天的罪惡也能戴上正義的光環(huán)。如果殺錯人之后,，唯一的后果是浪費了彈藥,，那么AI存在的意義，也只能是減少了彈藥的浪費,。從歷史經(jīng)驗來看,，把人工智能技術(shù)引入軍事作戰(zhàn)是不可避免的。聯(lián)合國主持了10年的談判,，希望對AI在戰(zhàn)場的角色做一點限制,，讓各國可以更加“負責任”地開發(fā)和利用軍用AI，但目前并沒有多少成果,。至少還沒有一個國際公約規(guī)定,，當人工智能判斷錯誤時，誰應該對平民的傷亡和戰(zhàn)爭的意外升級負責,，也沒有一個有效機制,，防止AI被有心之人濫用，成為排除異己,、剝削“他者”的工具,。去年2月，第一屆“全球軍事領(lǐng)域負責任的人工智能峰會”在荷蘭舉行,，中國和美國等60多個國家參加,，并簽署了《關(guān)于軍事領(lǐng)域負責任使用人工智能的行動倡議》。以色列是唯一沒有簽署的與會國家。所以,，巴勒斯坦成千上萬條被AI“錯殺”的人命,，到底該由誰來負責呢？