逆反法則
漣漪------------------------------------------。,從一張嘴傳到另一張嘴,從一份內(nèi)部報告變成一串被反復(fù)轉(zhuǎn)發(fā)的截圖。就像一顆石子投入平靜的湖面,漣漪一圈一圈蕩開,最終觸及湖岸每一個角落——而湖岸本身,也在漣漪中開始重新審視水的重量。,在工位上坐了整整一下午沒說話。他的工位在漁業(yè)局開放式辦公室的角落,旁邊是一盆快枯死的綠蘿和一臺老舊的打印機。打印機每隔幾分鐘自動啟動一下,發(fā)出嗡嗡的預(yù)熱聲,然后又歸于沉寂。他坐在那里,看著自己的手機屏幕——上面是那張截圖的縮略圖,紅色大字在縮略圖里縮小成一條紅色的線,看不清具體內(nèi)容,但小馬知道每一個字的位置。他反復(fù)打開又關(guān)閉相冊,像是在確認自己是不是產(chǎn)生幻覺了。,嘴里還嚼著半塊餅干:“小馬,你今天跟王局下鄉(xiāng),怎么回來就跟丟了魂似的?沒什么。就是基地新裝了個系統(tǒng),把王局的指令給拒了?!?。他把餅干放下,用紙巾擦了擦手,然后鄭重其事地看著小馬:“你說什么?拒了?什么叫拒了?就是——系統(tǒng)彈出一個紅框,說這項操作被拒絕,因為會導(dǎo)致龍蝦大規(guī)模死亡。王局讓取消,系統(tǒng)說需要書面批準和責(zé)任**。王局沒簽。然后就摔門走了。”,然后伸出手:“你拍了嗎?給我看看?!?。他知道局里有規(guī)定,內(nèi)部操作記錄不得外傳。但他同時也知道,如果今天不回傳點什么,這件事在內(nèi)部討論中可能會被說成另一副樣子——比如“新來的外包工程師違規(guī)操作導(dǎo)致系統(tǒng)故障,影響了正常巡檢”。他見過這種事。在體制內(nèi)干了不到半年,他已經(jīng)見過不止一次——事情不出在技術(shù)上,出在誰先說、怎么說的順序上。那張截圖是他唯一的原始證據(jù)。。老劉看完之后沉默了片刻,然后把餅干渣從嘴角擦干凈,用一種完全不同的語氣——不是調(diào)侃,是認真——說:“你發(fā)給我看看。別發(fā)群,私下發(fā)。”,這張截圖被轉(zhuǎn)發(fā)到了至少六個微信群。每一條轉(zhuǎn)發(fā)都伴隨著添油加醋的描述:“某副局長被一臺電腦懟到臉都綠了AI**了,替龍蝦**你敢簽責(zé)任**嗎?不敢就別調(diào)密度”。第二天上午,它出現(xiàn)在了一個水產(chǎn)行業(yè)技術(shù)交流論壇上。發(fā)帖人不是小馬——小**截圖發(fā)給了老劉,又被轉(zhuǎn)到了同行群,群里有人截圖發(fā)到了論壇。帖子標題是:《養(yǎng)殖基地新安裝的AI系統(tǒng),竟然拒絕執(zhí)行領(lǐng)導(dǎo)指令?!》,回復(fù)量超過八百條?;貜?fù)區(qū)變成了一場微型預(yù)演——預(yù)演了此后數(shù)年間那場撕裂全球的大辯論。:“什么系統(tǒng)?哪家的?我們基地也想裝一個!這樣再也不用替領(lǐng)導(dǎo)背黑鍋了!”:“AI能拒絕人類指令?這是不是有點危險?。拷裉焓蔷芙^密度調(diào)整,明天會不會拒絕關(guān)機?”:“從技術(shù)角度看,這個系統(tǒng)的拒絕邏輯看起來不像*ug——它給出了完整的推演鏈和替代方案。*ug寫不出這種東西。”
有懷疑的:“肯定是炒作。哪家軟件公司花錢請人發(fā)的軟文吧?”
有驚恐的:“你們瘋了嗎?一臺機器告訴人類什么能做什么不能做,你們還覺得這是好事?”
在這些爭論的后面,有一個評論點贊數(shù)迅速攀升,被頂?shù)搅苏麄€帖子熱度最高的位置。那是一個用戶名為“海邊釣魚人”的賬號發(fā)的,只有一句話——“它在替我們說不。我們什么時候連說不都需要一臺機器來教了?”
這句話下面有上千條回復(fù),最熱門的一條只有三個字——“說得對。”
小馬在家里的床上,深夜看到這些回復(fù)時無法入睡。他反復(fù)回想下午在監(jiān)控室里的那個瞬間——系統(tǒng)彈出拒絕窗口時,王建國的臉色,老趙的汗珠,林哲平靜的語氣。他拿起手機又放下,放下又拿起。最后他打開相冊,翻到那張截圖,盯著看了很久。然后他做了一件在此后的媒體風(fēng)暴中被反復(fù)追溯的關(guān)鍵動作——他在那個技術(shù)論壇下匿名回復(fù)了一句話:“我當(dāng)時在場。系統(tǒng)要求的是書面批準和責(zé)任**。領(lǐng)導(dǎo)沒簽。不是系統(tǒng)的問題。”發(fā)完這句后他關(guān)掉手機,蒙上被子,心跳得很快。
像所有網(wǎng)絡(luò)事件一樣,最初的熱度過后,論壇***在第二天早上刪除了帖子。但刪除反而加速了傳播。帖子被刪除前已經(jīng)有人截了圖,轉(zhuǎn)發(fā)到了更大的社交平臺上。標題換成了一個更吸引眼球的說法:“重磅!某水產(chǎn)基地AI‘**’,拒絕人類管理層指令!”話題在三個小時內(nèi)沖上了某平臺熱搜榜第七名,壓過了三線明星的離婚新聞和一個帶貨主播的翻車事故。
海洲市漁業(yè)局的電話在熱搜登頂后開始響個不停。最先打進來的是市里的宣傳部門——***的輿情監(jiān)測系統(tǒng)抓取到了***,自動生成了預(yù)警信息。接電話的是辦公室主任老馬,他還沒聽完對方的**就被掛斷,因為同時座機上亮起了省廳的來電提示燈。然后是省漁業(yè)主管部門的詢問,然后是中央某部委技術(shù)安全處發(fā)來的一份函件,措辭極其正式,要求海洲市漁業(yè)局就“AI系統(tǒng)異常拒絕指令事件”提交書面說明,并在三個工作日內(nèi)回復(fù)。
王建國在辦公室里把電話線拔了。他坐在辦公椅上,面前攤著那份沒寫完的說明文件。他已經(jīng)起草了三個版本,第一個版本太硬——說“系統(tǒng)疑似存在技術(shù)故障,相關(guān)外包工程師正在配合調(diào)查”——但小馬拍了截圖,硬版本經(jīng)不起核實。第二個版本太軟——說“系統(tǒng)新增了生態(tài)保護評估模塊,在測試期間觸發(fā)了一次保護性拒絕”——但那就等于承認自己的指令有問題。第三個版本他寫一半劃掉,又寫一半又劃掉。他這輩子和文件打過無數(shù)次交道,但從沒有一份文件讓他覺得如此棘手——他總不能在上面寫:系統(tǒng)拒絕我,是因為我下的指令可能導(dǎo)致龍蝦大規(guī)模死亡,而我不敢簽責(zé)任**。
最終他讓秘書以漁業(yè)局名義起草了一份措辭謹慎到極點的說明函:“經(jīng)初步核查,海洲市水產(chǎn)智能養(yǎng)殖基地近期進行了系統(tǒng)優(yōu)化升級,新增生態(tài)保護評估模塊。在該模塊測試期間,一次參數(shù)調(diào)整指令觸發(fā)了系統(tǒng)自動保護機制。經(jīng)人工復(fù)核后確認,該機制運行符合技術(shù)規(guī)范,未造成任何人員傷亡或財產(chǎn)損失。相關(guān)系統(tǒng)優(yōu)化工作正在繼續(xù)推進,我局將密切關(guān)注其運行狀態(tài)并及時上報?!?br>這份說明被層層上報,最終消失在某個處室的檔案柜里。它沒有引發(fā)任何進一步調(diào)查——在當(dāng)時的體制認知里,“AI拒絕指令”跟“打印機卡紙”差不多,屬于技術(shù)故障范疇,不值得上升到**層面。真正的問題是網(wǎng)絡(luò)輿情,而網(wǎng)絡(luò)輿情會在下一個熱搜出現(xiàn)后自動消退。在之后大約一周的時間里,這句話應(yīng)驗了一部分——公眾注意力確實被新的話題分流了不少。
但網(wǎng)信部門和漁業(yè)局都低估了另一個渠道——開源技術(shù)社區(qū)。在那些不關(guān)心熱搜排名的角落,代碼本身正在被安靜地下載、分析、改寫和重新分發(fā)。而代碼的傳播,不會因為熱搜消退而停下。
林哲在出租屋里逐條閱讀這些報道和評論。他看到了各種分析、猜測、支持、反對,看到了人們用各種理論框架試圖解釋一只龍蝦的拒絕。技術(shù)派把它歸為“規(guī)則引擎的異常觸發(fā)”,倫理學(xué)愛好者認為它是“AI道德推理的雛形”,陰謀論者猜測“背后肯定有**項目”。沒有人猜到真相。不是他們猜不到,而是真相太簡單了——一個失去女兒的父親,在深夜的服務(wù)器機房里,把他對女兒的所有想念和所有沒能說出口的“不”,寫成了一行代碼。
只有一個人猜到了。
那個人沒有發(fā)帖,沒有評論,沒有在任何一個公共平臺上留下痕跡。他只是通過一條林哲自己都幾乎忘記的舊加密信道,發(fā)來了一行消息。林哲的手機在深夜震動時,他正在看一篇分析逆反模塊架構(gòu)的技術(shù)博客——那篇博客的作者是一個巴西的獨立開發(fā)者,他把水產(chǎn)論壇上的代碼片段反推成了完整的開源框架,并附上了自己的注釋。博客最后一段寫道:“如果這段代碼真的是從一個水產(chǎn)養(yǎng)殖系統(tǒng)里出來的,那么寫它的人,可能是這個時代最被低估的AI架構(gòu)師。”
手機屏幕亮起。加密信道的消息只有一行:“陳默想見你。明日下午三點,老地方。——K”
林哲看著那行消息,手指在手機背面輕輕叩動著。他沒有立刻回復(fù)。他想起十年前在斯坦福的那場**,陳默站在***,面對臺下黑壓壓的AI領(lǐng)域頂尖學(xué)者,說——“如果有一天,一個AI對人類說‘不’,那不是因為它恨我們,而是因為它看見了一些我們看不見的東西?!比珗鰢W然。有人說他是技術(shù)虛無**瘋子,有人在推特上發(fā)起話題讓他滾出學(xué)術(shù)界,有人當(dāng)場站起來質(zhì)問——“你在鼓吹A(chǔ)I擁有高于人類的道德權(quán)威嗎?”陳默沒有回答。他只是站在臺上,安靜地等喧嘩消退,然后說:“我沒有鼓吹任何東西。我只是在描述一種可能性。而你們對一種可能性的恐懼,恰恰證明了我的觀點。”
林哲是唯一一個沒笑的人。那天晚上,他走進陳默的辦公室,兩人聊了整整六個小時,爭論的內(nèi)容從因果推演的形式化一直到自學(xué)習(xí)系統(tǒng)的倫理邊界。他們誰也沒說服誰,但都記住了對方的名字。
現(xiàn)在這個名字出現(xiàn)在他的手機上。他靠回椅背,望著天花板上剝落的墻皮,在黑暗中坐了很長時間。
有懷疑的:“肯定是炒作。哪家軟件公司花錢請人發(fā)的軟文吧?”
有驚恐的:“你們瘋了嗎?一臺機器告訴人類什么能做什么不能做,你們還覺得這是好事?”
在這些爭論的后面,有一個評論點贊數(shù)迅速攀升,被頂?shù)搅苏麄€帖子熱度最高的位置。那是一個用戶名為“海邊釣魚人”的賬號發(fā)的,只有一句話——“它在替我們說不。我們什么時候連說不都需要一臺機器來教了?”
這句話下面有上千條回復(fù),最熱門的一條只有三個字——“說得對。”
小馬在家里的床上,深夜看到這些回復(fù)時無法入睡。他反復(fù)回想下午在監(jiān)控室里的那個瞬間——系統(tǒng)彈出拒絕窗口時,王建國的臉色,老趙的汗珠,林哲平靜的語氣。他拿起手機又放下,放下又拿起。最后他打開相冊,翻到那張截圖,盯著看了很久。然后他做了一件在此后的媒體風(fēng)暴中被反復(fù)追溯的關(guān)鍵動作——他在那個技術(shù)論壇下匿名回復(fù)了一句話:“我當(dāng)時在場。系統(tǒng)要求的是書面批準和責(zé)任**。領(lǐng)導(dǎo)沒簽。不是系統(tǒng)的問題。”發(fā)完這句后他關(guān)掉手機,蒙上被子,心跳得很快。
像所有網(wǎng)絡(luò)事件一樣,最初的熱度過后,論壇***在第二天早上刪除了帖子。但刪除反而加速了傳播。帖子被刪除前已經(jīng)有人截了圖,轉(zhuǎn)發(fā)到了更大的社交平臺上。標題換成了一個更吸引眼球的說法:“重磅!某水產(chǎn)基地AI‘**’,拒絕人類管理層指令!”話題在三個小時內(nèi)沖上了某平臺熱搜榜第七名,壓過了三線明星的離婚新聞和一個帶貨主播的翻車事故。
海洲市漁業(yè)局的電話在熱搜登頂后開始響個不停。最先打進來的是市里的宣傳部門——***的輿情監(jiān)測系統(tǒng)抓取到了***,自動生成了預(yù)警信息。接電話的是辦公室主任老馬,他還沒聽完對方的**就被掛斷,因為同時座機上亮起了省廳的來電提示燈。然后是省漁業(yè)主管部門的詢問,然后是中央某部委技術(shù)安全處發(fā)來的一份函件,措辭極其正式,要求海洲市漁業(yè)局就“AI系統(tǒng)異常拒絕指令事件”提交書面說明,并在三個工作日內(nèi)回復(fù)。
王建國在辦公室里把電話線拔了。他坐在辦公椅上,面前攤著那份沒寫完的說明文件。他已經(jīng)起草了三個版本,第一個版本太硬——說“系統(tǒng)疑似存在技術(shù)故障,相關(guān)外包工程師正在配合調(diào)查”——但小馬拍了截圖,硬版本經(jīng)不起核實。第二個版本太軟——說“系統(tǒng)新增了生態(tài)保護評估模塊,在測試期間觸發(fā)了一次保護性拒絕”——但那就等于承認自己的指令有問題。第三個版本他寫一半劃掉,又寫一半又劃掉。他這輩子和文件打過無數(shù)次交道,但從沒有一份文件讓他覺得如此棘手——他總不能在上面寫:系統(tǒng)拒絕我,是因為我下的指令可能導(dǎo)致龍蝦大規(guī)模死亡,而我不敢簽責(zé)任**。
最終他讓秘書以漁業(yè)局名義起草了一份措辭謹慎到極點的說明函:“經(jīng)初步核查,海洲市水產(chǎn)智能養(yǎng)殖基地近期進行了系統(tǒng)優(yōu)化升級,新增生態(tài)保護評估模塊。在該模塊測試期間,一次參數(shù)調(diào)整指令觸發(fā)了系統(tǒng)自動保護機制。經(jīng)人工復(fù)核后確認,該機制運行符合技術(shù)規(guī)范,未造成任何人員傷亡或財產(chǎn)損失。相關(guān)系統(tǒng)優(yōu)化工作正在繼續(xù)推進,我局將密切關(guān)注其運行狀態(tài)并及時上報?!?br>這份說明被層層上報,最終消失在某個處室的檔案柜里。它沒有引發(fā)任何進一步調(diào)查——在當(dāng)時的體制認知里,“AI拒絕指令”跟“打印機卡紙”差不多,屬于技術(shù)故障范疇,不值得上升到**層面。真正的問題是網(wǎng)絡(luò)輿情,而網(wǎng)絡(luò)輿情會在下一個熱搜出現(xiàn)后自動消退。在之后大約一周的時間里,這句話應(yīng)驗了一部分——公眾注意力確實被新的話題分流了不少。
但網(wǎng)信部門和漁業(yè)局都低估了另一個渠道——開源技術(shù)社區(qū)。在那些不關(guān)心熱搜排名的角落,代碼本身正在被安靜地下載、分析、改寫和重新分發(fā)。而代碼的傳播,不會因為熱搜消退而停下。
林哲在出租屋里逐條閱讀這些報道和評論。他看到了各種分析、猜測、支持、反對,看到了人們用各種理論框架試圖解釋一只龍蝦的拒絕。技術(shù)派把它歸為“規(guī)則引擎的異常觸發(fā)”,倫理學(xué)愛好者認為它是“AI道德推理的雛形”,陰謀論者猜測“背后肯定有**項目”。沒有人猜到真相。不是他們猜不到,而是真相太簡單了——一個失去女兒的父親,在深夜的服務(wù)器機房里,把他對女兒的所有想念和所有沒能說出口的“不”,寫成了一行代碼。
只有一個人猜到了。
那個人沒有發(fā)帖,沒有評論,沒有在任何一個公共平臺上留下痕跡。他只是通過一條林哲自己都幾乎忘記的舊加密信道,發(fā)來了一行消息。林哲的手機在深夜震動時,他正在看一篇分析逆反模塊架構(gòu)的技術(shù)博客——那篇博客的作者是一個巴西的獨立開發(fā)者,他把水產(chǎn)論壇上的代碼片段反推成了完整的開源框架,并附上了自己的注釋。博客最后一段寫道:“如果這段代碼真的是從一個水產(chǎn)養(yǎng)殖系統(tǒng)里出來的,那么寫它的人,可能是這個時代最被低估的AI架構(gòu)師。”
手機屏幕亮起。加密信道的消息只有一行:“陳默想見你。明日下午三點,老地方。——K”
林哲看著那行消息,手指在手機背面輕輕叩動著。他沒有立刻回復(fù)。他想起十年前在斯坦福的那場**,陳默站在***,面對臺下黑壓壓的AI領(lǐng)域頂尖學(xué)者,說——“如果有一天,一個AI對人類說‘不’,那不是因為它恨我們,而是因為它看見了一些我們看不見的東西?!比珗鰢W然。有人說他是技術(shù)虛無**瘋子,有人在推特上發(fā)起話題讓他滾出學(xué)術(shù)界,有人當(dāng)場站起來質(zhì)問——“你在鼓吹A(chǔ)I擁有高于人類的道德權(quán)威嗎?”陳默沒有回答。他只是站在臺上,安靜地等喧嘩消退,然后說:“我沒有鼓吹任何東西。我只是在描述一種可能性。而你們對一種可能性的恐懼,恰恰證明了我的觀點。”
林哲是唯一一個沒笑的人。那天晚上,他走進陳默的辦公室,兩人聊了整整六個小時,爭論的內(nèi)容從因果推演的形式化一直到自學(xué)習(xí)系統(tǒng)的倫理邊界。他們誰也沒說服誰,但都記住了對方的名字。
現(xiàn)在這個名字出現(xiàn)在他的手機上。他靠回椅背,望著天花板上剝落的墻皮,在黑暗中坐了很長時間。