「人工智慧」（AI）這個詞彙，近年來已成為科技領域的一大熱點。然而，隨著AI技術的不斷髮展，人們不禁要問：AI究竟「欺騙」了多少人？從語音助理到自動駕駛，從人臉識別到智慧推薦，AI技術已深入到我們生活的方方面面…

先暫停一下。如果我不主動坦白，你能想像前面這一段話，是完全由AI大模型生成的嗎？

2022年以來，以ChatGPT為開端的大模型應用紛紛落地，大語言的、文生圖的、文生音樂的，再到文生視訊的，每一款新的大模型產品彷彿都在試探人類生產力的上限，給「創作」這件事帶來新的想像。

AI的能力實現了跨越式的發展，圖靈測試難再作為判斷AI與否的手段。這為我們的工作和生活帶來了極大的便利，也帶來了一些困擾。

眼下最嚴峻的問題，是AI詐騙。

AI工具的實用性在過去幾年越發地有口皆碑，但嘗到甜頭的不止是一般使用者，也有不法分子。

在網路安全公司奇安信發佈的《2024人工智慧安全報告》中提到，2023年基於AI的深度偽造欺詐暴增了3000%，而基於AI的釣魚郵件數量增長了1000%。該報告指出，各類基於AI的新型攻擊種類與手段不斷出現，甚至已經氾濫，成為迫在眉睫的威脅。

而根據瑞萊智慧公佈的資料，國內AI詐騙案件的涉案金額已從2020年的0.2萬元，增至2023年的1,670萬元，年復合成長率達1928.8%。 2024年剛剛過半，發生的AI詐騙案件超過1.85億元，態勢嚴峻。

近5年國內AI詐騙案件數量與金額變化

當電信詐騙披上AI的“外殼”，很多風險都應該被重新審視一遍，例如“耳聽為虛”，但“眼見也不一定為實”。

在落實具體案例上，這些基於DeepFake（深度偽造）的AI詐騙可能會是這樣的——

詐騙團隊不知從那裡拿到了你的照片，用AI合成到了一條低俗視訊裡，給你發了簡訊，要求你轉賬刪除。但這影片製作得相當粗劣，人臉處「貼圖感」和「邊緣鋸齒」過於明顯，你可能一笑而過、不會上套，但自己被貼到視訊上這件事總還是讓你覺得彥扭。

2023年初，武漢警方還破獲了這樣一起詐騙案件。楊女士在QQ上收到了自稱「女兒同學」的人發來的語音，內容大意是其女兒手機沒電，急需楊女士3.5萬元繳納培訓報名費用，楊女士聽到語音中的音色確實是自己女兒，於是立刻就匯了款。直到更晚些時候，楊女士和女兒通話才意識到自己被騙。

有的詐騙團隊手段還要更加高明。 2024年初就有一家跨國公司香港分部的職員受邀參加總部首席財務官發起的“多人視訊會議”，並按照要求先後轉賬多次，將2億港元分別轉賬15次轉到5個帳戶內。事後得知受騙後，才發現那場會議中，除了他自己以外，其它與會人員全部是經過“AI換臉”和“AI換聲”的詐騙團隊。

在這場有預謀、有規劃，更有技術的大型「仙人跳」中，騙子們利用AI偽裝得幾乎天衣無縫。即使事件的主角換成我們，若沒有足夠的警惕，也難免會落入圈套。

DeepFake也不是隨便就能偽造的，它依賴足夠的素材。例如偽造視訊需要被偽造人的照片或視訊素材，偽造聲音則需要相應的聲音素材。但要獲取這些資訊，遠比你想像中的簡單。

例如前文提到的楊女士被騙的案例，騙子通過給楊女士女兒撥打了十余個陌生騷擾電話，通過對方寥寥幾句的詢問，採集到了足夠的聲音素材，以此成功實施詐騙。

今年4月，更有國內上市公司宣稱，可以“一句話復刻媲美真人、流暢自然的合成語音”，能“最大程度上保持原聲的情感、風格和自然度”。

隨著科技的發展，複製聲音、替換人臉只會越來越簡單、自然。這也意味著，使用者受到的風險也越來越大。

更何況，詐騙只是AI安全的一個面向。 AI的對抗攻防，會成為未來相當長一段時間都需要考慮的問題。

一是在AI的諸多應用領域中，例如電腦視覺。攻擊者在影像上施加細微、人眼難以察覺的干擾，能輕易誤導AI系統作出錯誤的識別。瑞萊智慧曾設計了一個特殊的眼鏡，只要你戴上眼鏡，就能被人臉識別系統識別為內部人員，放你通行。如果在此基礎上，再用AI產生張嘴、眨眼等特定動作，就有可能騙過生物辨識系統。

二是大模型本身的安全，使用者可以在指令中「給大模型安排一個假身份」等簡單的誘導，就能繞過部分現有大模型的安全機制，「騙」出有風險的回答內容。

此外，大模型本身俱備極強的內容生成能力。若不加以控制，AIGC內容將在不遠的未來充斥網際網路，成為一種「資訊污染」。介時，「純手工」的內容或許也會如現今的奢侈品一般，成為稀少且昂貴的資源。

總之，內在與外在的安全，已經是AI產業繞不開的話題。與AI相比，人類的能力過於渺小和低效，可為了掌握AI、應用AI，我們又不得不直面AI、對抗AI。

要明確的一點是，雖然在反AI詐騙上，AI安全和網路安全存在一些重合，但AI安全還包括AI本身的安全，與網路安全是兩個不同的領域。

最早意識到並從事AI安全領域的公司，其實是OpenAI。早在2015，OpenAI作為非營利組織成立的時候，其核心宗旨便是“建立造福全人類的安全通用人工智慧（AGI）”，以預防人工智慧的災難性影響，推動人工智慧發揮積極作用。

雖然後來OpenAI業務轉向，但算是給AI安全產業開了一個頭。因此在2021年，OpenAI的研究副總裁達里奧·阿莫迪（Dario Amodei）和安全政策副總裁丹妮拉·阿莫迪（Daniela Amodei），及一批從OpenAI離職的成員，共同成立了專注於人工智慧安全和負責任開發的Anthropic。根據The Information的報導，Anthropic2023年的營收預計為2億美元，到2024年底，這個數字將超過8.5億美元。

今年6月20日，OpenAI聯合創始人、前首席科學家伊利亞（Ilya Sutskever）也宣佈將創辦一家「安全超級智慧公司」。

除了OpenAI系的公司，微軟、Google、Meta等公司也在積極佈局AI安全領域。不難看出，隨著AI的發展，AI安全的市場容量和成長速度還是相當可觀的。

國內方面，成立於2018年的瑞萊智慧是致力於安全、可信賴、可靠、可擴展的第三代人工智慧技術的公。目前，瑞萊智慧已打造「AI監管與支援平台」與「AIGC檢測平台」兩大產品基座，分別對應人工智慧內生與衍生安全風險，並陸續推出了人工智慧安全平台RealSafe、人臉AI安全防火牆RealGuard、可信任垂類大模型等產品，在政務、金融等領域實現快速產品化和商業化落地，已服務多個國家部會、央國企、民營企業客戶。

360、亞信安全等國內公司也曾宣佈佈局AI安全領域。

隨著越來越多的國內外公司都開始佈局AI安全領域，這對於每個身處AI時代的人來說，都是一個好消息。畢竟未來AI的攻防會越發激烈，而同業的人越多，消費者的安全就多一份保障。

但關鍵在於，人類要如何「打敗」AI？

AI戰勝人類的例子數不勝數，但人類打敗AI似乎沒那麼容易。

在圍棋領域，2016年AlphaGo擊敗世界冠軍李世石的案例，總被人拿出來佐證AI的強大。實際上，正是在這個領域，人類已經完成了對AI的反攻。

2023年，美國圍棋選手凱林·佩裡恩（Kellin Pelrine）以14:0的全勝成績，擊敗了與AlphaGo同一等級的頂級AI圍棋機器人Leela Zero。

佩裡恩只是個業務選手，之所以能完美戰勝AI，就是「用AI打敗了AI」——其背後的公司FAR AI在一百多萬次的AI圍棋對決中，找到了AI的盲點：分不清「聲東擊西」。

這其實就是人類目前用以對抗AI的思路之一。

在AI安全領域，瑞萊智慧便在用類似的方式對抗DeepFake。公司基於貝葉斯深度學習技術建構了一整套多模態AIGC檢測技術體系，能夠挖掘並建模多模態、多層次、多角度的AI合成線索，度量真假差異，並進行不確定性的推理和決策。

簡單來說，用「AI鑑別AI」的過程可以分為兩個環節：提取偽造特徵和線索建模。

第一步是提取偽造特徵，這些特徵可以分為人臉先驗、視覺偽影、數字圖像訊號、視聽一致性四個類別，這是識別內容是否為AIGC的線索。

舉個例子，人都是要眨眼的，而早期科學家發現一些AI合成的人臉視訊，可能一分鐘都不眨一次眼，這顯然不符合正常生理表現，於是便能判定視訊為假。這是人臉先驗中一個最有名、最基礎的線索。

當然現在AIGC已經進化到無法透過眨眼這類常識性錯誤判斷視訊真假了，那就需要更複雜的幾何結構特徵，例如瞳孔的形狀是否規則、左右眼角膜的高光是否一致等。

視覺偽影指的其實是AIGC的一些“瑕疵”，這類瑕疵在早年技術不成熟的時候比較明顯。如果你使用過2019年爆火的一款換臉軟體ZAO，就知道當時人臉拼合得比較生硬，拼接處經常有異常的“閃爍”，這就是典型的偽造特徵。即便如今技術更加成熟，人眼已經幾乎看不出這些瑕疵了，但AI卻可以。 AI會從底層的二進位訊號的層面，用統計學的角度去看這些訊號是否合理。

在完成提取特徵的工作後，第二步就是進行建模，用機器學習和深度學習的方式，讓AI自己學習鑑偽的規律。

但常規的模型有一個缺點，就是在遇到它不懂的知識時，它會「很有信心」地胡說八道，誤導我們。在鑑偽上也一樣，可能在鑑別常規偽造手段的時候已經很成熟了，可一旦業界換了一個偽造手法，AI就可能會誤判，最後在落地的場景上帶來風險。

這更依賴於模型的可靠性。瑞萊智慧CEO田天表示，瑞萊智慧孵化自清華人工智慧研究院張鈸院士的團隊，所以在記憶學習領域有比較深的積累，得以在資料不確定性方面有了一些比較獨特的建模，這得以降低誤判的可能性。此外，透過將統計學與神經網路技術結合的手段，也能讓模型在處理不確定性時有較高的精確度。

儘管如此，AI安全也將如同曾經的防毒軟體一般，在道高一尺、魔高一丈的網路安全對抗中，不斷地完成自我進化，才能為更多客戶和使用者保駕護航。

科技的發展大多不是一帆風順的， AI的發展也註定是一條螺旋而上升的曲線。而提前關注到AI安全的這批人，會讓這條曲線升得更快、走得更遠。  （鈦媒體）

隨著人工智慧(AI)技術的快速發展，利用其進行的加密貨幣詐騙犯罪正在迅速增加。7日(當地時間)，報導稱此類犯罪案件呈現出新的轉折點。根據加密貨幣安全公司Elliptic最近發佈的一份報告，利用Deepfakes等AI技術在社交媒體上竊取受害者加密貨幣資金的案例越來越多。

報告指出，欺詐者正利用先進的AI技術開啟網路威脅的新時代。這些利用人工智慧進行犯罪的人從事國家支援的攻擊、深度偽造詐騙以及其他非法活動。

報告特別關注了在暗網上發現的不道德生成人工智慧廣告。這些廣告聲稱，“人工智慧有兩張臉，就像人類一樣。”這表明，AI技術不僅能帶來積極的應用，也能被用來進行惡意活動。

Elliptic表示，埃隆·馬斯克和新加坡前總理李顯龍的深度偽造視訊被用來宣傳欺詐性投資計畫。這些視訊看似真實，誘使人們投入資金，最終被騙走。

報告強調，在社交媒體上利用Deepfake技術欺騙受害者並拿走其資金的案件正在增加。欺詐者通過製作逼真的視訊和圖像，偽裝成名人或可信的機構，誘導受害者上當受騙。

與此同時，一些國際駭客組織參與了多起加密貨幣騙局，竊取了數十億美元的投資者資金。該組織以其高度組織化和技術先進的攻擊手段而聞名，使得追蹤和防範變得更加困難。

美國國家安全委員會(NSC)網路和新興技術副顧問安妮·紐伯格最近利用人工智慧進行犯罪的增加表示擔憂。她指出，這些技術使得犯罪分子更容易進行複雜的網路攻擊，威脅全球金融安全。

Elliptic進一步表示，一些犯罪行為者正在使用人工智慧模型快速開發惡意軟體，並試圖識別易受攻擊的系統。這些行為加劇了網路安全形勢的複雜性和嚴峻性。

隨著人工智慧技術的發展，網路犯罪的手段和範圍也在不斷擴展。為了應對這些新興威脅，各國需要加強合作，共同開發先進的防護措施，並提高公眾的防範意識。只有這樣，才能在這場與高科技犯罪的鬥爭中取得勝利。 (IT資訊奏鳴曲D960)

彙整鉅亨號中所有使用「DeepFake」關鍵字，所發布的內容 (依照時間排序，最新在前，舊的在後)`

AI究竟「騙」了多少人？

AI技術助長加密貨幣詐騙新潮：Deepfake成主要手段