每經(jīng)編輯 王月龍    

”眼見“不一定”為實“之后，怎么辦？

繼此前“10分鐘被AI換臉騙走430萬元”事件引發(fā)關(guān)注之后，5月25日，4月發(fā)生的又一起AI換臉詐騙事件被媒體曝光。這次金額達到245萬，且整個詐騙過程時間更短，只有9秒鐘。

在前一天，中國互聯(lián)網(wǎng)協(xié)會發(fā)文提醒，不法分子利用AI技術(shù)，通過聲音合成，偽造成特定人物的聲音，通過AI換臉，偽裝成特定人物，實時與他人進行視頻通話。更換后的面部表情自然，以假亂真，能夠冒充他人身份聯(lián)系被害人，博取被害人信任后實施詐騙。面對利用AI技術(shù)的新型騙局，廣大公眾需提高警惕，加強防范！

圖片來源：視覺中國

9秒被騙走245萬

“打了視頻電話又是熟人”

據(jù)大皖新聞報道，今年4月，安徽安慶經(jīng)開區(qū)發(fā)生一起“冒充熟人”詐騙案，經(jīng)開公安分局反詐中心民警調(diào)查發(fā)現(xiàn)詐騙分子使用了一段9秒鐘的智能AI換臉視頻佯裝“熟人”，讓受害人放松警惕從而實施詐騙。

“視頻里邊我看到是他的臉”，“但是沒幾秒就掛了，說在開會不方便”。4月27日，何先生的微信“好友”突然向其發(fā)起視頻通話，電話接通后，何先生看到“好友”正在一間會議室內(nèi)，就在他準備進一步詢問時，“好友”直接掛斷了電話，并表示在會議中有重要事情交代，需要何先生添加QQ溝通。

隨后，“好友”在QQ上告訴何先生，目前有一個項目招標需要周轉(zhuǎn)資金，希望何先生先行幫忙墊付。“因為打了視頻電話又是熟人”，“我就沒多想，就轉(zhuǎn)賬了”，基于對“熟人”的信任，何先生沒有猶豫，立刻讓家人將245萬元到對方指定的賬號上，直到事后撥打?qū)Ψ诫娫挷诺弥或_。

發(fā)現(xiàn)被騙之后，何先生迅速報警，接報案后，安慶經(jīng)開公安分局立即抽調(diào)精干警力組成專案組第一時間對涉案賬戶的資金流、信息流進行查詢追蹤。4月28日，專案民警連夜趕赴北京市抓獲3名涉詐嫌疑人。5月22日，警方將先行追回的132萬元被騙款及時返還給何先生，目前案件正在進一步偵辦中。

AI換臉、換聲詐騙怎么防？

回撥電話、觀察畫面

5月24日，中國互聯(lián)網(wǎng)協(xié)會發(fā)布公告，面對利用AI技術(shù)的新型騙局，廣大公眾需提高警惕，加強防范。中國互聯(lián)網(wǎng)協(xié)會表示，伴隨著深度合成技術(shù)的開放開源，深度合成產(chǎn)品和服務(wù)逐漸增多，利用“AI換臉”“AI換聲”等虛假音視頻進行詐騙、誹謗的違法行為屢見不鮮。

中國互聯(lián)網(wǎng)協(xié)會表示，在AI時代，文字、聲音、圖像和視頻都有可能是深度合成的，在轉(zhuǎn)賬匯款、資金往來這樣的典型場景，要通過回撥對方手機號等額外通信方式核實確認，不要僅憑單一溝通渠道未經(jīng)核實就直接轉(zhuǎn)賬匯款，無論對方是誰。

據(jù)界面新聞，針對使用AI換臉、擬聲技術(shù)進行詐騙的案例，小冰公司CEO李笛表示，目前了解到的用AI換臉的詐騙團隊，主要是采用Wav2Lip這種開源技術(shù)，通過音頻去驅(qū)動口型。“但是在某些口型上是會出現(xiàn)問題的，比如嘟起嘴時的口型錯誤、邊緣抖動，或者口型朝向與五官不搭配等等?！?/strong>

瑞萊智慧聯(lián)合創(chuàng)始人、算法科學(xué)家蕭子豪也表示，在視頻通話時可以通過讓對方做一些大幅度的搖頭、張嘴之類的動作，“如果黑產(chǎn)做的模型不太精細、只做了正臉的情況下，突然露齒時生成的牙齒或舌頭就不會特別清晰，耳朵處也可能會出現(xiàn)不正常的陰影?！?/span>

據(jù)蕭子豪介紹，從技術(shù)角度辨別內(nèi)容是否經(jīng)過深度偽造同樣有跡可循，辨別思路大致可分為兩種，一種是尋找圖像編輯痕跡，另一類則是判斷行為是否符合常識。

人工智能詐騙接二連三

更高層面監(jiān)管亟須落地

據(jù)證券時報，“人工智能教父”杰弗里·辛頓今年年初就曾經(jīng)警告，人工智能對人類構(gòu)成的威脅將比氣候變化更加緊迫。辛頓認為，人工智能是一種智能工具，可以輔助人類做一些繁瑣、重復(fù)和創(chuàng)意性工作，但也會有不法之徒用它來做違法亂紀的勾當。人工智能不但能撰寫文章，還能生成圖像、視頻。如果用來弄虛作假，幾乎可以亂真，普通人很難識別出來。如果有人用它來制作虛假圖像、視頻，傳遞錯誤信息，其破壞力遠大于單純的文字形式。

據(jù)新華網(wǎng)，“短短10分鐘，被騙430萬元”“換臉冒充當紅女星帶貨，賺得盆滿缽溢”……這種“換臉”術(shù)和擬聲術(shù)，讓人防不勝防。如此種種，無不說明換臉術(shù)的濫用，已經(jīng)對公共利益構(gòu)成威脅。

針對技術(shù)手段日益更新的AI詐騙事件，2022年11月25日，國家互聯(lián)網(wǎng)信息辦公室、工業(yè)和信息化部、公安部聯(lián)合發(fā)布《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》（以下簡稱規(guī)定），自2023年1月10日起施行。規(guī)定要求深度合成服務(wù)提供者對使用其服務(wù)生成或編輯的信息內(nèi)容，應(yīng)當添加不影響使用的標識。提供智能對話、合成人聲、人臉生成、沉浸式擬真場景等生成或者顯著改變信息內(nèi)容功能的服務(wù)的，應(yīng)當進行顯著標識，避免公眾混淆或者誤認。要求任何組織和個人不得采用技術(shù)手段刪除、篡改、隱匿相關(guān)標識。

今年4月11日，國家網(wǎng)信辦起草了《生成式人工智能服務(wù)管理辦法》（征求意見稿），提出AI內(nèi)容必須真實準確，其中也明確提到，禁止非法獲取、披露、利用個人信息和隱私、商業(yè)秘密。

為此破局，一方面要強化公共宣教，確立新的防騙反詐意識；另一方面，更重要的還是加快防御性、對抗性技術(shù)工具的推廣落地和應(yīng)用嵌入。比如說，不妨嘗試在常用的社交媒介軟件中，內(nèi)嵌入聲紋、人臉識別的身份核驗?zāi)K等。

編輯|王月龍?杜恒峰

校對|劉小英

每日經(jīng)濟新聞綜合自大皖新聞、界面新聞、證券時報、新華網(wǎng)、中國互聯(lián)網(wǎng)協(xié)會