大家好,，我是谷智軒,。很久沒和大家聊聊巴以局勢了,。最近,，有外媒曝光了一件嚇人的事：長期以來,，以色列都在使用 人工智能“薰衣草”（Lavander）識別和打擊加沙的目標,，造成了大量平民傷亡,。經(jīng)?？次覀児?jié)目的小伙伴都知道,，我們一直在關注人工智能的發(fā)展,，不只是技術(shù)上的進展,，還有在法律和倫理上，人類對于AI的各種爭論和探索,。我們對于如何利用AI,，遠遠沒有形成共識。各國對于AI的立法和管理,，還在摸石頭過河,。實在是沒想到，竟然有一個國家,，跳過了前面的所有環(huán)節(jié),，直接到了用AI殺人的階段。聯(lián)合國秘書長古特雷斯就此發(fā)表聲明,，表示“深感不安”（deeply troubled）,；我只能說，用詞過于委婉了,。本期《軒講》,，我們就來聊聊以色列用AI殺人這事，究竟有多可怕,。本月初,，以色列-巴勒斯坦地區(qū)的兩家左翼媒體+972雜志和Local Call網(wǎng)站，發(fā)布了一份調(diào)查報告,。他們的記者采訪了六名以色列情報官員,。這些人都參與了眼下這場加沙戰(zhàn)爭，而且是親身參與了利用AI生成打擊目標的過程,。當然了,，他們的名字肯定是不能透露的，以色列軍方也否認了他們的說法,。報告里的事到底有沒有,，我沒法評價。我只說兩點：第一,，報告邏輯自洽,、細節(jié)豐富，而且確實解釋了以軍在這場戰(zhàn)爭中的很多行為,；第二,，有的時候，謊言太離譜,，反而可能是真相,。這個報告里講了個什么故事呢？我給大家總結(jié)一下。首先,，以色列軍方多年以前就在開發(fā)可以甄別攻擊目標的人工智能,。背后的動機簡單直白：確認目標的事情，人也可以做,，但效率太低,。在過去的戰(zhàn)爭中，要授權(quán)擊殺單個人類目標,，必須先給目標“定罪”,。軍隊肯定不會像法院做得那么細，也沒那么講究原則和程序,，但交叉核對證據(jù),，證明“這個人”確實是“那個人”，還是要的,。確定目標后,，再收集他的活動軌跡，制定擊殺計劃,。如果只想干掉哈馬斯的高級成員,，數(shù)量控制在兩位數(shù),，定罪和定位都不是難事,。但以色列不滿足于此。高級成員要殺,，數(shù)以萬計的低級成員也要殺,。這種五位數(shù)以上的擊殺名單，情報人員肯定做不了,，交給AI,，那就省事多了。那么這個AI由誰來開發(fā)呢,？這里就要提到以色列著名的8200部隊了,。插播一小段背景介紹啊。8200是番號,，這支部隊正式的名稱是中央情報搜集部隊（Central Intelligence Gathering Unit）,，成立于1952年，可謂戰(zhàn)功赫赫,，比如在1967年第三次中東戰(zhàn)爭的開戰(zhàn)首日,，截獲了埃及總統(tǒng)納賽爾和約翰國王侯賽因的高保密專線，1985年截獲了巴解領導人阿拉法特和“恐怖分子”的電話,，等等,。除了“戰(zhàn)績”之外，8200的另一個招牌，就是它的成員了,。以色列是全民兵役制,，不管男女，18歲都得服役,。而8200有提前搖人的特權(quán),，在不到18歲的所有以色列人里面，把智商最高,、能力最強,、最有潛力的五千號人挑出來，然后干嘛呢,？PUA,、特訓、搞情報,。這里面還會選出千人左右,，專門開發(fā)一些用于作戰(zhàn)和情報收集的高科技“小玩意兒”，里面就包括了戰(zhàn)場內(nèi)外使用的人工智能,。以色列8200部隊，匯聚了電腦精英,，負責信號情報收集,、密碼解密、反間諜,、網(wǎng)絡戰(zhàn),、軍事情報監(jiān)視等情報工作8200有一個數(shù)據(jù)科學與人工智能中心，中心負責人在多個場合都提及他們正在開發(fā)目標識別AI,，而以色列媒體的報告就引用了他的很多說法,。比如說，這類AI的訓練流程,。把已知的哈馬斯和杰哈德成員名單喂給AI,，利用一種叫做正樣本未標注學習（Positive-unlabeled learning）的機器學習算法，讓AI提取他們之間的共同特征,。接下來,，AI就可以比對這些特征，對所有巴勒斯坦人打分,，越是符合特征的,，分數(shù)越高。最后,，情報人員會把樣本按照分數(shù)排個序,，確定下“及格線”，過線的，就是恐怖分子,，可以殺,。這位負責人在特拉維夫大學講演的時候，還一再強調(diào),，AI只是起到輔助篩選的作用,，最后決定殺不殺的，還是有血有肉的人,。以色列國防軍 8200 部隊數(shù)據(jù)科學和人工智能中心指揮官2023年2月出席特拉維夫大學AI周可真的到了實踐的時候，就完全不是這么回事了,。咱們有句老話,，叫“兵貴神速”。AI給出一份名單,，還要人來核驗,，這多浪費時間？去年10月,，哈馬斯發(fā)動襲擊,，殺了以色列1200人，綁架240人,。以色列報之以“鐵劍行動”（Operation Iron Swords）,，軍方火速決定，要把哈馬斯清除干凈,，所有成員——不論他們高低貴賤,，有多少軍事價值——一個不留,。然后他們問了AI一個問題：薰衣草啊薰衣草,，告訴我誰是哈馬斯？這個名叫薰衣草的AI,，生成了一份37000人左右的名單,。8200的情報人員花了兩周時間，在名單里隨機挑了幾百個名字,，檢查了一下是不是真的哈馬斯,，結(jié)論是，薰衣草的正確率達到了90%,。軍方很滿意,，當即授權(quán)，就按照AI的名單來辦,。程序上需要人工核驗,，判斷是否擊殺？沒事，工作人員花上20秒,，核驗一下目標是男是女,，男的殺了，女的留下——決定在我,。那還有10%的錯誤率怎么辦,？統(tǒng)計誤差嘛。誰讓這些人具有“哈馬斯特征”呢,？誰讓他們是哈馬斯成員的親戚,，或者和哈馬斯成員同名同姓、用同一個昵稱,，或者使用的二手手機,，剛巧是一個哈馬斯成員用過的？再說了,，統(tǒng)計學肯定比人更靠譜,。要知道，很多以軍士兵都有親朋好友死在哈馬斯手里,，他們很容易做出不理性的事情,，手里的“誤殺”也不在少數(shù)。以色列國防軍 8200 部隊數(shù)據(jù)科學和人工智能中心指揮官在特拉維夫大學的演講幻燈片中透露“薰衣草”擊殺目標的步驟：建立目標的特征，并根據(jù)目標進行排名但問題是,，統(tǒng)計學的那些規(guī)則,、標準，也是人設計出來的,。什么才叫“哈馬斯成員”呢,？領哈馬斯錢的人？還是不拿錢,，但幫哈馬斯做事的人,？或者是幫了哈馬斯，但沒有實際危險的人,？畢竟,，哈馬斯在加沙執(zhí)政多年，手底下有一大幫子公務員,，配武器的也不少,。還有，以前幫過哈馬斯,，現(xiàn)在不幫了,，算不算,？這些個定義，是可以人為調(diào)整的,。實際上,，8200在訓練AI的時候，使用了一個非常寬泛的定義,，喂給AI的數(shù)據(jù)里面,，至少包括了哈馬斯政府國內(nèi)安全部的雇員。前面我們講過,，AI會根據(jù)一個人的“哈馬斯特征”來打分,，高于“及格線”的才會判定是哈馬斯成員。技術(shù)人員就可以通過操控“及格線”,，來放寬和收窄“哈馬斯成員”的范圍,。根據(jù)以色列官員的說法，在戰(zhàn)爭過程中,，AI不斷生成名單,，以軍照單殺人，但有時候,，AI生成名單的速度,，還跟不上以軍殺人的速度。以軍需要更多的打擊目標,，就會把“及格線”調(diào)低,。這樣，機器就會把很多新人加到名單上,，比如民防人員和警察,，他們有武裝，是在幫哈馬斯政府,，湊合湊合,，也能算是“哈馬斯成員”。3月底的時候,，《耶路撒冷郵報》發(fā)了篇報道,，說哈馬斯好像越打越多了。軍方一直估計有3萬人,，但現(xiàn)在，光是已經(jīng)打死和打傷的人加在一起都不止這個數(shù),，一會兒還這里又出來一堆哈馬斯,，那里又打死一堆哈馬斯，數(shù)字根本對不上,。我覺得,，這里面估計也有“薰衣草”的鍋,，誰讓它速度太慢，還需要靠人手動給名單擴容呢,？耶路撒冷郵報2024年3月27日報道《震驚！哈馬斯的戰(zhàn)士比以色列初期預設的多數(shù)千人》這種種的不靠譜,，以色列軍方心知肚明,，而且毫不在意。一切都掩蓋在了“戰(zhàn)爭”的名義之下,。他們辯護說：情報機構(gòu)人力有限,，不值得核查低級武裝分子上浪費時間；咱們是在打仗,，沒時間給每個目標“定罪”,，你得接受算法有誤差，接受殺錯人的風險,。這話聽著很有道理,，和“寧可錯殺一萬，不可放過一個”,，有異曲同工之妙,。而且好像還要感謝AI，把錯殺率,，從萬分之九千九百九十九,，降到了百分之十，讓大規(guī)模的“定點清除”成為可能,。這個邏輯的問題,，我們等會兒再討論。退一萬步講,，即使接受了邏輯,，還有個程度的問題?！稗挂虏荨钡腻e誤率有10%,，不代表以色列每炸死10個人，有九個是哈馬斯,。很多信源的數(shù)據(jù)都顯示,，死在以色列炮火下的平民，遠超哈馬斯武裝分子的數(shù)量,。因為確定要殺誰之后,，還有個怎么殺的問題，而這一步,，以色列也是大幅仰仗AI的助力,。從目前收集到的信息看,，除了“薰衣草”之外，明確在加沙戰(zhàn)場上出現(xiàn)過的AI,，至少還有三個,。第一個叫“福音”（The Gospel），它是專門和“薰衣草”打配合的,?！稗挂虏荨贝_定要殺誰，“福音”則把這些人身處的建筑物標記出來,。第二個叫“爸爸在哪兒”（Where’s Daddy）,，它負責利用各種監(jiān)視系統(tǒng)跟蹤目標，在對方進入房間的那一刻發(fā)出信號,。第三個叫“火力工廠”（Fire Factory）,，負責計算彈藥裝載量，對數(shù)千個目標進行優(yōu)先級排序,，并將其分配給飛機和無人機,，再制定出一個空襲時間表。我們在過去的節(jié)目里面講過,，“定點清除”的技術(shù)要領,，一在信息采集和處理，二在精確和快速的打擊技術(shù),。這四個AI相互配合,，覆蓋了“定點清除”的全套流程，大幅提高了殺人的效率,。它們具體是怎么做的呢,？首先，要確定一個合適的擊殺地點,。在哪里殺人更容易,？當然是目標在家里的時候。對AI來說,，它們很容易就能把目標和他的私人住宅關聯(lián)起來,。實際上，加沙的每個人都被標記了對應的住宅,，誰住在什么地方,，全部在以軍的數(shù)據(jù)庫當中，在此基礎上,，追蹤目標歸家,、離家的軌跡也不困難。除此之外,，在民宅里面,，反偵察、反打擊措施要薄弱許多,，目標在家中警戒心也低,，簡直是理想的殺人場所。但問題,，這些民宅里面,，往往不是只有一個人。加沙人習慣一大家子住在一起,。爹媽老婆孩子兄弟姐妹,，親朋好友、左鄰右舍,，一發(fā)炮彈下去,，就整整齊齊的了。以軍攻擊民宅的理由有很多,，比如哈馬斯就喜歡把窩點藏在民用設施當中,，拿平民當擋箭牌，醫(yī)院,、清真寺,、學校、聯(lián)合國設施,，大概率都有哈馬斯,。但這解釋不了一個現(xiàn)象：為什么以家庭為單位的傷亡，占比特別高,？開戰(zhàn)45天的時候,，聯(lián)合國機構(gòu)公布過一個數(shù)據(jù)：當時巴勒斯坦方面死亡11078人，有501個家庭,，死亡人數(shù)大于6人,，312個家庭，死亡人數(shù)超過10人,，至少有6120人,，也就是一半以上，屬于825個家庭,。聯(lián)合國人道主義事務協(xié)調(diào)廳12月29日關于加沙-以色列危機傷亡情況的總結(jié)報告中顯示，巴勒斯坦地區(qū)至少有6120人的死亡以825個家庭的形式產(chǎn)生這種以家庭為單位的傷亡模式,，確實呼應了以色列情報官員的說法：以軍在有意識地攻擊哈馬斯成員的私宅,。當然了，這也不算新聞,，2014年以色列對加沙的空襲,，也做了同樣的事情,。那次襲擊當中，共造成了超過2200名巴勒斯坦人的死亡,，其中至少有70次針對私人住宅的襲擊,，造成606人死亡，比例是27%,。而這次提高到一半以上,，估計就是AI的“助攻”了?！稗挂虏荨鄙a(chǎn)名單的速度,，那就不用說了?！鞍职衷谀膬骸笨梢酝瑫r跟蹤數(shù)千個目標,，效率也是非同一般。再加上“火力工廠”,，不但優(yōu)化了空襲的效率,，而且還大幅降低了彈藥的成本。根據(jù)美國情報部門的估計,，以色列空軍在加沙使用的彈藥里面,，有45%是非制導炸彈，也叫“傻彈”（dumb dombs）,。它們比制導炸彈便宜很多,，價格要差個幾倍，但命中精確度也低,，會造成大量的“附帶損害”,。但有了AI的幫助之后，命中的問題就解決了一大半,。比如說,，如果他們發(fā)現(xiàn)目標住的是高層建筑，就不打了,，因為需要用特殊的精確制導炸彈來打穿樓板,。那玩意兒太貴了，不值得浪費在低級成員身上,。但如果這些哈馬斯住在平房里面,，那么只要在他們回家后扔個“傻彈”就行了，直接把房子給你平了,，不存在什么命中問題,。幾千美金換一個人頭，哪怕是低級成員，效費比也可以接受,。然而,，命中問題“解決”了，“附帶損害”的問題怎么辦呢,？以軍設計AI的時候,，還考慮過這個問題,。AI在做空襲規(guī)劃的時候,，“附帶損害”也是一個參數(shù)。它會根據(jù)建筑物的大小以及登記的居民名單,，計算戰(zhàn)前居住在此的平民人數(shù),，再根據(jù)撤離的居民比例，來估算一個建筑物內(nèi)的即時人數(shù),，再做相應的規(guī)劃,。比如說，一棟房子,，名單上顯示戰(zhàn)前住了10個人,，根據(jù)手機信號測算，小區(qū)撤了一半人,，那么AI就認為,，房子里住了5個人。有時候,，算出來的人數(shù),，甚至不是整數(shù)。我們光聽就知道,，這種估算有多不靠譜,。戰(zhàn)前和戰(zhàn)時，根本是兩個概念,。根據(jù)世界銀行的數(shù)據(jù),，加沙地帶超過60%的房屋和80%的商業(yè)設施都已經(jīng)被摧毀，幾乎全部人口流離失所,，這大幅削弱了軍隊數(shù)據(jù)庫的準確性和AI自動標記住宅的能力,。很多時候，戰(zhàn)爭期間居住的,，完全就不是戰(zhàn)前的那批人,，兩者之間也沒什么聯(lián)系。有時候,，以軍炸了一棟房子,，根本不知道房里是好幾戶人家躲在一起的。在以前的戰(zhàn)爭里面，情報人員會花大量的時間監(jiān)視房屋,、核實人數(shù),，事后還有一道炸彈損害評估程序（Bomb Damage Assessment），簡稱BDA,，檢查目標是否死亡,，以及造成了多少平民死亡。這一次,，為了節(jié)省時間,，事前事后的步驟，全都省略了,，一切都交給了AI和統(tǒng)計學,。情報人員對于會死多少，死了多少人,，里面包不包括目標,，可謂一概不知。他們唯一知道的,，就是空軍告訴他們,，房子被炸了，然后他們再告訴軍隊,，去炸更多的房子,。不過，有一個問題,，依然沒交給統(tǒng)計學,，就是允許“附帶損害”的大小。軍方會事先給一個授權(quán),，殺一個哈馬斯,，允許多少平民陪葬，這個數(shù)字叫非戰(zhàn)斗人員傷亡值,，簡稱NCV（Non-combatant Casualty Value）,。AI在計算殺誰、怎么殺的時候,，就會根據(jù)這個標準來,。NCV是浮動的，軍事價值越高,，NCV越大——這是以軍自己承認的,，對高級哈馬斯成員，這個數(shù)字可以達到三位數(shù),。軍隊有一套大致的標準,，一個旅長配多少人,，一個營長配多少人，還會考慮到具體的情況,。比如說哈馬斯卡桑旅的指揮官艾曼·諾法爾（Ayman Nofal）,，以軍在擊殺他的時候，得到的位置情報不是很精確,，軍方授權(quán)的人數(shù)是300人,。對比一下，當年美軍擊殺本·拉登,，授權(quán)的NCV“只有”30,。路透社2023年10月17日報道,，以色列空襲加沙,，擊殺了哈馬斯軍事指揮官艾曼·諾法爾對于低級哈馬斯成員，這個標準還要“彈性”一點,。去年10月7日的空襲之后，以軍陷入了歇斯底里的狀態(tài),，只要目標是哈馬斯,，幾乎任何“附帶損害”都可以得到批準。反正炸就是了,，他們只在乎炸的目標夠不夠多,。有時候，他們知道目標在一棟里面,，然后就炸平了四棟樓,。整個軍隊與其說是在作戰(zhàn)，還不如說是在泄憤,。之后,，軍隊的行為稍微理性了一些，NCV被控制在了15人左右,，也就是殺一個普通的哈馬斯,，可以殺15個平民。有段時間降到5人,，但軍方發(fā)現(xiàn),，這讓空襲沒法進行，因為只要目標的家人都在家,，他們就沒法炸屋子,，所以又把上限提了上去。再后來,，以軍整體上減小了攻擊低級哈馬斯的頻率,。這客觀上降低了“附帶損害”，卻不是因為以軍想降低“附帶損害”，而是考慮到彈藥經(jīng)濟性,。以色列正準備在北部地區(qū)和黎巴嫩真主黨動手,，這開頭幾波消耗的炸彈，委實有點多了,。由此可見,，人工智能輔助下的“自動化”殺人，并沒有什么“理性”的優(yōu)勢,。AI對于人類干壞事,，沒有什么限制和糾正作用。相反,，它只是讓殺戮,，變得更有效率。它降低了殺人的經(jīng)濟和道德成本,，幫助人類在有限的資源和可承受的道德壓力下,，殺掉盡可能多的目標?！稗挂虏荨鄙擅麊?，“福音”標記住宅，低級別的情報人員象征性地看一看,，復制粘貼到“爸爸在哪兒”,，執(zhí)行目標追蹤，“火力工廠”據(jù)此分配彈藥,，制定空襲計劃,，在目標回家的那一刻，由空軍完成擊殺,。除了最后的擊殺外,，整個流程，都實現(xiàn)了高度的自動化,，而這“最后一步”,，可能在不久的將來，也可以由自動化的武器來完成,。我們之前做過一期節(jié)目,，叫“定點清除”，讓網(wǎng)上一大群“烏友”破了大防,，直到今天還陷在他們的邏輯謬誤中不能自拔,，挺可憐的。我們再來復習一下相關專業(yè)知識：“定點清除”,，Targeted Killing,，有時候也叫“斬首行動”,，Decapitation Strike，即通過消滅一個組織中的關鍵人物,，來對組織造成破壞?，F(xiàn)在，“定點清除”和“斬首”之間,，不能再劃等號,，它有了一個新分支，叫“Broad Hunting”,，大范圍獵殺,。從戰(zhàn)場表現(xiàn)來看，這種同時針對數(shù)萬目標的大規(guī)?！岸c清除”,，已經(jīng)成為了一種可行的、且經(jīng)過實踐應用的戰(zhàn)術(shù),。這是好是壞,，尚有爭議。支持的人說：它好過無差別襲擊,。這次加沙戰(zhàn)爭持續(xù)了六個月,，巴勒斯坦方面，傷亡總數(shù)超11萬,；哈馬斯武裝分子，滿打滿算有三萬多,，占比達到30%,。和歷史上的各種“屠城”相比，是不是要好上很多,？AI是在降低“錯殺率”?。》磳Φ娜苏f：除了“錯殺率”,，還有“錯殺數(shù)”,。“大范圍獵殺”的應用,，實際上大幅增加了攻擊次數(shù),，推高了平民的傷亡人數(shù)。而且,，70%的錯殺率,，你覺得可以接受嗎？然后,，支持的人又會反駁：如果把技術(shù)改進一下,，把錯殺率降到一半以下,，你還會這么說嘛？降到10%以下,，1%以下呢,？百分之0.000001呢？什么比例,，是可以接受的呢,？誰能保證不殺錯一個？你說人命無價,，殺錯一個都不行,？我們是在打仗，國家利益為重,，國民的安全為重,。算個總賬，“錯殺”帶來的損失,，小于“殺對”帶來的利益就可以了,。最后那句話，我直接引用了以色列國防軍對“薰衣草”問題的回復,。以色列國防軍回應在加沙地區(qū)使用“薰衣草”：算個總賬，“錯殺”帶來的損失小于“殺對”帶來的利益就可以了哲學上的論辯,，很難有什么結(jié)果,。但有一點，我想大家是有共識的：為了剿滅三萬多名哈馬斯,，超過2.4萬名巴勒斯坦婦女和兒童死亡,，11萬人死傷，110萬人食不果腹,，170萬人流離失所,，這超過了絕大部分人的道德紅線，但凡是有點良知的人,，都無法接受,。如果沒有AI，可能傷亡會更大,，但即使有了AI,，后果依然如此嚴重。所以說,，問題并不出在AI身上,，該為此負責的，也并非人工智能,。戰(zhàn)爭,，是高尚者的墓志銘,，卑鄙者的通行證。戰(zhàn)場之上,，以國之名,，滔天的罪惡也能戴上正義的光環(huán)。如果殺錯人之后,，唯一的后果是浪費了彈藥,，那么AI存在的意義，也只能是減少了彈藥的浪費,。從歷史經(jīng)驗來看,，把人工智能技術(shù)引入軍事作戰(zhàn)是不可避免的。聯(lián)合國主持了10年的談判,，希望對AI在戰(zhàn)場的角色做一點限制,，讓各國可以更加“負責任”地開發(fā)和利用軍用AI，但目前并沒有多少成果,。至少還沒有一個國際公約規(guī)定,，當人工智能判斷錯誤時，誰應該對平民的傷亡和戰(zhàn)爭的意外升級負責,，也沒有一個有效機制,，防止AI被有心之人濫用，成為排除異己,、剝削“他者”的工具,。去年2月，第一屆“全球軍事領域負責任的人工智能峰會”在荷蘭舉行,，中國和美國等60多個國家參加,，并簽署了《關于軍事領域負責任使用人工智能的行動倡議》。以色列是唯一沒有簽署的與會國家,。所以，巴勒斯坦成千上萬條被AI“錯殺”的人命,，到底該由誰來負責呢,？