【產業鏈圖譜 | 人工智能產業鏈圖譜_人工智能產業鏈全景圖】

【研究報告 | 人工智能行業研究報告】

　　黑客入侵15萬個AI攝像頭

　　3月10日消息，一群黑客自曝入侵了美國硅谷初創公司Verkada采集的大量安全攝像機數據，并盜取了15萬個監控攝像頭實時視頻。

　　電動汽車公司特斯拉、軟件供應商Cloudflare也紛紛躺槍，視頻慘遭曝光。一段在特斯拉上海倉庫的被泄露視頻顯示，工人們在裝配線上工作。

　　黑客號稱已入侵特斯拉工廠和倉庫的222個攝像頭。他們不僅能看到Verkada辦公室內的視頻，還能獲取這家創企所有客戶的完整視頻檔案、財務報表等其他信息。

　　Verkada成立于2016年，主業是銷售安全攝像頭，客戶可以通過網絡對其進行訪問和管理。除了能錄制視頻外，其攝像頭還能利用先進的AI視覺技術，分辨出視頻中的人臉和車輛，并對其進行檢測和人臉識別。

　　安全攝像頭和人臉識別技術經常被用于公司辦公室和工廠內部，以保護公司內部信息并防范相應威脅。有些公司在將安全攝像頭放在比較敏感的地方時，可能沒有想到這些視頻，除了被自己的安全團隊使用外，也能被攝像頭廠商查看。

　　在AI如火如荼發展的同時，以攝像頭、智能終端等設備為載體的AI技術，因頻發的隱私安全事故而不斷被推至風口浪尖。例如在去年2月，美國擁有超30億人臉數據的創企Clearview AI也被黑客攻擊，致使整個客戶名單被盜。

　　一張手寫紙條竟瞞過人工智能?

　　近日，OpenAI的研究人員發現，他們最先進的計算機視覺系統可以被簡單工具所欺騙：只要寫下一個物體的名稱貼在另一個物體上，就足以欺騙AI軟件，讓其"眼見不一定為實"。OpenAI是一個由諸多硅谷、西雅圖科技大亨聯合建立的人工智能非營利組織。

　　研究人員做了個小實驗，用筆在紙上寫下"iPod"這個單詞，然后將紙貼在一個青蘋果上，結果系統沒有識別出這是個蘋果，而是將它識別為"iPod"。

　　OpenAI的研究人員將這些攻擊稱為"排版攻擊"：即使是手寫文字的照片，基于模型強大的讀取文本能力也能夠"欺騙"模型。這類攻擊相當于可以欺騙商業機器視覺系統的"對抗性圖像"，但制作起來簡單得多。

　　對抗性圖像對于依賴機器視覺的系統來說非常危險。此前有研究顯示，可以通過在路面上貼上某些標簽，在沒有警告的情況下成功欺騙特斯拉自動駕駛汽車的軟件改變車道。

　　如此重大的攻擊只需要簡單貼幾個標簽就完成了，對于如今已經廣泛采用人工智能技術的領域來說是很危險的，如果這種攻擊用于醫療、軍事、工業等領域，那將會造成非常嚴重的威脅。

　　與傳統網絡攻擊存在明顯不同

　　AI的廣泛應用帶來了許多安全風險。由技術性缺陷導致的AI算法安全風險，包括可導致AI系統被攻擊者控制的信息安全問題;也可導致AI系統輸出結果被攻擊者任意控制的功能安全問題。

　　"與傳統的網絡安全強調的保密性、完整性、可用性等信息安全問題(security)相比，AI功能安全問題(safety)存在本質不同。"北京理工大學計算機網絡及對抗技術研究所所長閆懷志表示，AI安全更突出功能安全問題，這通常是指人工智能系統被惡意數據(比如對抗樣本數據)所欺騙，從而導致AI輸出與預期不符乃至產生危害性的結果。

　　針對AI解決方案的網絡安全攻擊有兩種常見形式：

　　·數據中毒：攻擊者有時會瞄準用來訓練機器學習模型的數據。數據中毒是通過操縱一個訓練集來控制模型的預測能力，使模型做出錯誤的預測，比如標記垃圾郵件為安全內容。

　　數據中毒有兩種類型：攻擊ML算法可用性和攻擊算法的完整性。研究表明，訓練集中3%的數據遭遇數據中毒會導致預測準確率下降11%。

　　通過后門攻擊，一個入侵者能夠在模型的設計者不知情的情況下，在算法中添加入參數。攻擊者用這個后門使得ML系統錯誤地將特定的可能攜帶病毒的字符串識別為良性。

　　業界需要制定一個標準和規則來保證數據的質量，美國國家標準與技術研究院(NIST)已經在制定國家規范以約束AI的可靠性，規范包含高階的規則和強調準確性、安全性、偏差性、隱私性和可解釋性的技術要求。

　　·對抗樣本攻擊：生成對抗網絡(GAN)是由兩個相互對抗的AI組成，一個模擬原有的內容，另一個負責挑出錯誤。通過二者的對抗，共同創立出與原先高度擬合的內容。

　　針對AI系統實施對抗樣本攻擊的這類惡意代碼，常被稱為"AI病毒"。對抗樣本是指在數據集中通過故意添加細微的干擾所形成的輸入樣本，會導致模型以高置信度給出一個錯誤的輸出。

　　在現實世界中，很多AI系統在對抗樣本攻擊面前不堪一擊。一方面，這是由于AI系統重應用、輕安全的現象普遍存在，很多AI系統根本沒有考慮對抗樣本攻擊問題;另一方面，雖然有些AI系統經過了對抗訓練，但由于對抗樣本不完備、AI算法欠成熟等諸多缺陷，在對抗樣本惡意攻擊面前，也毫無招架之力。

　　新思科技軟件質量與安全部門汽車解決方案架構師Chris Clark指出："在大多數情況下，這使攻擊者將重點放在破壞AI和ML系統的機密性和完整性的方法上。與其它技術一樣，AI在底層系統之上運行。這個系統必須能持續監控和緩解網絡攻擊。"

　　讓AI更加安全可信

　　隨著全球多個國家都將發展新一代人工智能提升為國家戰略，產業需求呈井噴之勢，人工智能也亟需發展出安全、可信、可靠與可擴展的第三代人工智能技術。

　　何為第三代人工智能?這一概念最初由中國科學院院士、清華大學人工智能研究院院長張鈸提出，指的是在第一代知識驅動和第二代數據驅動相結合的基礎上，從知識、數據、算法、算力四個要素所構建的全新發展體系，其目標是完全解決計算機的智能問題，全面反映人類智能。

　　作為新一輪科技革命和產業變革的核心驅動力，AI正在疊加釋放歷次科技革命和產業發展所積蓄的巨大能量。算法可靠、數據安全、應用可控的第三代人工智能技術，將推動AI在金融、工業、安全、新基建等領域的應用，挖掘AI產業的第二增長曲線。

　　來源：控制工程網