AI模型沒有“人工急停按鈕”?罰款2.5萬美元

RexAA
•
AI速讀
紐約市議會擬立法要求AI模型必須配備「人工緊急關停開關」並通過第三方驗證,違者每次罰款2.5萬美元,並計畫召集Meta與OpenAI等公司執行長出席聽證會。此舉旨在填補聯邦監管空白,將AI安全憂慮轉化為具體法律條文,並配套舉報獎勵機制以獲取違法線索。然而,鑑於此前自動化就業工具監管的失敗經驗,專家質疑監管部門若缺乏足夠的技術專長,即便有嚴格法條,在實際認定違規與執行執法時仍將面臨巨大困難。

怎麼把AI關進籠子裡?這恐怕是當下全世界都在操心的問題。

一款AI模型如果沒有人工關停能力,仍在紐約市被推廣、出售或部署,相關責任方可能面臨每次2.5萬美元的罰款。

這是紐約市議會9月25日公佈的一攬子AI監管提案中,頗具關注度的一項規定。

按草案要求,相關模型不僅要接受第三方驗證,還須具備所謂“kill switch”(緊急關停開關)——人類操作者能夠使模型暫時或永久停止運行的技術能力。未滿足這些要求的相關推廣、銷售或部署行為,擬按次處罰。

另一項提案則準備將政府追回款項的一部分交給舉報人:通常為25%,在獲得授權、按規定參與執法的情形下可達50%。

提案公佈後,下一個重要日期是10月5日。紐約市議會已安排全體委員會聽證,並要求Meta首席執行長馬克·祖克柏(Mark Zuckerberg)、OpenAI首席執行長山姆·奧特曼(Sam Altman)等科技公司負責人出席。

這份AI監管方案顆粒度夠細,它不談“AI安全”這種大詞,不說正確的廢話,而是將對AI風險的擔憂轉化為實實在在的立法行動。

01 即將開始的聽證

這輪立法行動,在9月25日公佈提案之前就已啟動。

9月16日,紐約市議會議長朱莉·梅寧(Julie Menin)宣佈,將於10月5日召開全體委員會聽證,並已致函山姆·奧特曼和Anthropic首席執行長達里歐·阿莫迪(Dario Amodei),要求他們參加。

該委員會由全體51名市議員組成,通常處理具有全市性重要意義的事項,較少用於立法和監督聽證。

推動聽證的直接背景,是模型能力快速提升帶來的安全擔憂。

紐約市議會在公告中提到,Anthropic研究人員雅各布·考克森(Jacob Coxon)近期辭職,並公開警告先進AI可能造成嚴重後果。議會將這類來自行業內部的警告,列為需要審查現有防護措施是否充分的背景。

到9月25日,市議會公佈的致函對像已包括祖克柏,以及Google首席執行長桑達爾·皮查伊(Sundar Pichai)、埃隆·馬斯克(Elon Musk)等人。梅寧表示,議會期待相關負責人出席,必要時保留動用傳票權的權利。

梅寧並非第一次面對企業合規問題。紐約市議會的介紹顯示,她曾擔任紐約市消費者事務部門負責人,監督過涉及營利性院校、欺詐性汽車貸款和債務催收等領域的調查。

如今,她要推動審查的對象變成了AI。

02 2.5萬美元罰款

在具體條款中,人工關停能力與第三方驗證被放在一起。草案擬禁止在紐約市推廣、要約出售、銷售或部署未滿足這兩項要求的AI模型。

所謂“關停”,並不限於徹底停用,也包括由人類操作者使模型暫時停止運行。第三方驗證者需要檢查這項能力是否存在、能否發揮作用。

評估清單還涉及模型表現、資料來源、偏見和安全風險。例如,模型在實際使用的資料與訓練資料不同時表現如何,是否對受保護群體產生不利影響,資料處理是否安全、合法,都在驗證範圍之內。

驗證者也要披露自身與模型及其開發者的利益關係。

對於未滿足驗證或關停要求的相關推廣、銷售、部署行為,草案擬按次罰款2.5萬美元;偽造驗證同樣擬按次罰款2.5萬美元。該子章其他違規行為,則適用最高2.5萬美元的罰款。

要查處違法行為,監管部門首先需要獲得線索。

舉報獎勵提案由此提供了一條路徑:符合條件的自然人可以向紐約市消費者和勞動者保護局(DCWP)提交投訴,附上掌握的重要證據和資訊。

若政府依據投訴開展執法並追回款項,投訴人可分得25%;若投訴人或其律師獲得相應授權,按規定提起訴訟或送達違法通知,比例可升至50%。

配套的舉報保護草案,則擬明確保護報告特定AI公共健康或安全風險的市政府人員,以及符合條件的市政府承包商、分包商人員。

除舉報和處罰外,提案還涉及受害者如何追責。若第三方濫用AI造成了可以預見的損害,而提供者未採取合理防護措施,受害者可按擬議條件對提供者提起民事訴訟。

對於紐約市政府合同相關的AI安全事件,另一項草案設定了明確時限:相關承包商或機構知悉符合定義的事件後,須在24小時內報告;紐約市網路指揮機構知悉後,也須在24小時內公開規定的資訊,同時保護商業秘密、網路安全等敏感內容。

這些條款分別涉及產品進入市場前的檢查、違法線索的獲取,以及發生損害後的報告和追責。

03 接連行動

紐約市的提案,是州內近期一系列AI監管行動的延續。

2025年6月,紐約州議會通過RAISE Act;同年12月19日,州長凱西·霍楚爾(Kathy Hochul)將其簽署成法。根據州總檢察長辦公室今年9月的說明,該法將於2027年1月1日生效,要求大型AI開發者公開安全措施,並及時報告安全事件。

監管行動也延伸到了資料中心。2026年7月14日,霍楚爾簽署第62號行政令,在開展資料中心環境影響評估、制定相關標準期間,暫停處理符合條件的州環境保護部門許可申請。

行政令列出的關注事項十分具體:電力需求、用水、水質、空氣質量、噪聲,以及設施對周邊社區的影響。

9月17日,也就是梅寧宣佈聽證安排的次日,紐約州總檢察長萊蒂蒂婭·詹姆斯(Letitia James)向AI從業者發出呼籲:掌握企業潛在違法行為資訊的人,可以通過其辦公室的安全舉報入口提交線索,舉報可匿名、保密進行。

這一連序列動,也使“聯邦保護不足、地方主動補充”的政策主張更加鮮明。梅寧(Julie Menin)在公佈提案時,就將聯邦政府行動不足作為紐約市採取措施的理由之一。

不過,聯邦政府並非完全沒有介入。據路透社9月24日轉述Politico的報導,白宮曾要求OpenAI和Anthropic在美國方面審查前,暫緩向英國測試機構提供新模型。

儘管目標和實施方式並不一致,聯邦、州與城市正在從不同方面介入AI監管。

04 罰款只是起點

比起罰款金額,紐約此前的一段執法經歷,更能說明新制度將面臨什麼困難。

紐約市2021年的第144號地方法,已經要求僱主和職業介紹機構在使用適用的自動化就業決策工具時,滿足偏見審計、結果公開和告知等條件。DCWP於2023年7月5日開始執法。

兩年多後,紐約州審計長辦公室公佈了一份執行審計。報告覆蓋2023年7月至2025年6月,發現DCWP在此期間只收到兩宗相關投訴,卻沒有調查投訴受理流程是否正常運轉。

更明顯的差異出現在企業檢查中。

DCWP檢查了32家公司的情況,只發現一項不合規問題。州審計人員查看同一批公司,卻發現至少17處潛在不合規情形。

報告指出,DCWP沒有使用技術部門制定的正式檢查程序,也沒有覆蓋法律的全部要求。工作人員缺乏評估相關工具所需的技術專長,卻未充分尋求技術部門支援。投訴處理流程同樣存在缺陷,無法確保相關投訴都被轉交給負責執法的部門。

17處“潛在不合規情形”並不等於17項已經認定的違法行為。但它說明,檢查程序和專業支援會直接影響監管部門能夠發現多少問題。

此次提出的舉報獎勵,可能帶來更多線索;第三方驗證,也可能把部分檢查工作交給專業機構。然而,收到線索之後怎樣調查,驗證結論是否可信,最終仍需要執法部門作出判斷。

即使是容易理解的“關停開關”,實施時也會遇到具體問題:誰有權操作,停止模型運行後如何處理已經發出的任務,接入外部工具的權限是否需要同步撤銷。這些問題關係到關停措施是否真正有效。

10月5日的聽證,AI公司的企業負責人是否到場、議員將如何界定模型提供者的責任,以及市級要求如何與州級制度銜接,都有待觀察。

對紐約市而言,2.5萬美元罰款也只是起點;真正的考驗,是如何發現違法、認定責任並完成執法。 (軒轅科技評論)