網絡安全研究人員警告稱，在發(fā)現(xiàn)20多個漏洞后，機器學習（ML）軟件供應鏈存在安全風險，這些漏洞可能被利用來針對MLOps平臺。這些漏洞被描述為固有和實現(xiàn)方面的缺陷，可能會產生嚴重后果，從任意代碼執(zhí)行到加載惡意數(shù)據(jù)集。

MLOps平臺提供了設計和執(zhí)行ML模型管道的能力，模型注冊表作為存儲和版本訓練ML模型的存儲庫。然后可以將這些模型嵌入到應用程序中，或允許其他客戶端使用API（即模型即服務）查詢它們。

JFrog研究人員在一份詳細報告中表示：“固有漏洞是由技術中所使用的底層格式和過程引起的。”固有漏洞的一些例子包括利用ML模型運行攻擊者選擇的代碼，這是通過利用模型在加載時支持自動代碼執(zhí)行的事實（例如Pickle模型文件）。

這種行為也擴展到某些數(shù)據(jù)集格式和庫，它們允許自動代碼執(zhí)行，從而在僅加載公開可用的數(shù)據(jù)集時就可能為惡意軟件攻擊敞開大門。另一個固有漏洞涉及JupyterLab（前身為Jupyter Notebook），這是一個基于Web的交互式計算環(huán)境，使用戶能夠執(zhí)行代碼塊（或單元格）并查看相應的結果。

簡單來說，攻擊者可以輸出惡意JavaScript代碼，使其在當前JupyterLab筆記本中添加一個新單元格，將Python代碼注入其中并執(zhí)行它。特別是在利用跨站腳本（XSS）漏洞的情況下，這一點尤其明顯。JFrog表示，它發(fā)現(xiàn)了一個MLFlow的XSS漏洞（CVE-2024-27132，CVSS評分：7.5），可導致在JupyterLab中執(zhí)行客戶端代碼。

研究人員說：“我們從這項研究中的一個主要收獲是，我們需要將ML庫中的所有XSS漏洞視為潛在的任意代碼執(zhí)行，因為用戶可能會將這些ML庫與Jupyter Notebook一起使用。”

第二類漏洞涉及實現(xiàn)弱點，例如MLOps平臺中缺乏身份驗證，可能會允許具有網絡訪問權限的威脅行為者通過濫用ML管道功能獲得代碼執(zhí)行能力。這些威脅并非理論上的，以經濟利益為動機的對手可能濫用這些漏洞，如在未打補丁的Anyscale Ray（CVE-2023-48022，CVSS評分：9.8）的情況下，部署加密貨幣礦工。

第二種實現(xiàn)漏洞是針對Seldon Core的容器逃逸，使攻擊者能夠超越代碼執(zhí)行，在云環(huán)境中橫向移動并訪問其他用戶的模型和數(shù)據(jù)集，方法是將惡意模型上傳到推理服務器。它們不僅可以被武器化，在組織內部滲透、傳播，還可以威脅服務器。

Palo Alto Networks Unit 42詳細說明了開源LangChain生成式AI框架中的兩個現(xiàn)已修復的漏洞（CVE-2023-46229和CVE-2023-44467），這兩個漏洞可能允許攻擊者執(zhí)行任意代碼和訪問敏感數(shù)據(jù)。

上個月，Trail of Bits還揭示了Ask Astro中的四個問題，這是一個檢索增強生成（RAG）開源聊天機器人應用程序，可能導致聊天機器人輸出中毒、文檔攝取不準確和潛在的拒絕服務（DoS）。

正如安全問題在人工智能驅動的應用程序中被暴露出來一樣，人們也在設計技術來用最終目標欺騙大型語言模型（LLMs）產生易受攻擊的代碼來毒害訓練數(shù)據(jù)集。

康涅狄格大學的一位學者表示：“與最近將惡意負載嵌入代碼的可檢測或不相關部分的攻擊不同，CodeBreaker利用LLMs（例如GPT-4）進行復雜的負載轉換（不影響功能），確保微調的毒害數(shù)據(jù)和生成的代碼都可以規(guī)避強大的漏洞檢測。”

原文來源：FreeBuf