# 新加坡網絡安全局發布《AI系統安全指南》

URL: https://www.shicheng.news/zh-hant/v/9EbOy
Published: 2024-10-25
Source: 獅城新聞

這是新加坡政府機構今年第三次發布AI安全相關文件。 新加坡在人工智慧領域的安全治理野望，屬於路人皆知的存在。 

繼新加坡在2024年5月30日發布的《生成式人工智慧的治理框架》，2024年9月23日新加坡最高人民法院發布《關於法院用戶使用生成式人工智慧工具指南》之後，新加坡又雙叒叕發布和AI安全有關的指南。 

**2024年10月15日，新加坡網絡安全局 （CSA） 制定並一口氣發布了 《AI 系統安全指南》及其配套指南——《AI 系統安全配套指南》，以幫助系統所有者在 AI 的整個生命周期內保護 AI**。這兩個指南將有助於保護 AI 系統免受供應鏈攻擊等傳統網絡安全風險和對抗性機器學習等新風險的影響。

![新加坡網絡安全局發布《AI系統安全指南》](https://www.shicheng.news/images/image/1753/17531331.avif?0)





指南可以稱作是網絡協作的典型，本身並不屬於法規規範，而是來自工業界和學術界的實用措施、安全控制和最佳實踐，引用了 MITRE ATLAS 資料庫和 OWASP 機器學習和生成式 AI 的 10 大資源。

新加坡認為，要獲得 AI 的好處，用戶必須確信 AI 將按設計運行，並且結果是安全可靠的。但是，除了安全風險之外，AI 系統還可能容易受到對抗性攻擊，惡意行為者會故意操縱或欺騙 AI 系統。AI 的採用可能會給企業系統帶來或加劇現有的網絡安全風險。這可能會導致數據泄露或數據泄露等風險，或導致有害或不希望的模型結果。

因此，作為一項關鍵原則，AI 應該在設計上是安全的，並且與所有軟體系統一樣，應該是默認安全的。這將使系統所有者能夠管理上游的安全風險。這將補充系統所有者為解決 AI 安全問題而可能採取的其他控制和緩解策略，以及公平性或透明度等其他隨之而來的考慮因素，這些因素在此處未涉及。

![新加坡網絡安全局發布《AI系統安全指南》](https://www.shicheng.news/images/image/1753/17531332.avif?0)





***01*** **誰應當看？** 指南認為其面向的對象主要分為三類，一是負責監督人工智慧系統實施人工智慧的戰略和運營方面的決策人員，即負責制定人工智慧計劃的願景和目標、定義產品要求、分配資源、確保合規性以及評估風險和效益的人員，角色包括產品經理、項目經理。 其二，包括負責AI整個生命周期的實際應用開發的從業人員（即設計、開發和實施人工智慧模型和解決方案），如人工智慧/ML 開發人員、人工智慧/ML 工程師、數據科學家。 最後，包括網絡安全從業⼈員，即負責確保人工智慧系統的安全性和完整性的人員，包括 IT 安全從業人員、網絡安全專家。 ***02*** **從風險評估開始** 人工智慧系統所有者應考慮從風險評估入手，重點關注人工智慧系統的安全風險，其次，根據風險程度、影響和可用資源，確定應對風險的優先次序，再次確定並實施相關行動，確保人工智慧系統的安全，最後評估殘餘風險，以減輕或接受風險。 

**1. 規劃設計**

要保持全員提高對AI安全風險的認識和能力，例如，LLM 安全事項、常見的人工智慧弱點和攻擊。建立合適的跨職能團隊，確保從一開始就將安全、風險和合規性考慮在內。 AI 系統需要大量數據進行訓練；有些還需要導入外部模型和庫。如果保護不充分，AI 系統可能會受到供應鏈攻擊的破壞，或者可能容易受到 AI 模型或底層 IT 基礎設施中的漏洞的入侵或未經授權的訪問。此外，如果雲服務、數據中心運營或其他數字基礎設施中斷（例如通過拒絕服務攻擊），組織和用戶可能會失去訪問和使用 AI 工具的能力，這反過來可能會使依賴 AI 工具的系統癱瘓。 

**2.進行安全風險評估**

採用整體流程來模擬系統面臨的威脅。制定/開發操作手冊和人工智慧事件處理程序，縮短補救時間，減少不必要步驟的資源浪費。 在實踐中，需要有效區別傳統網絡風險和基於AI的特定風險。保護 AI 系統會帶來傳統 IT 系統中可能不熟悉的新挑戰，除了經典的網絡安全風險外，AI 本身還容易受到新型攻擊，例如對抗性機器學習 （ML），這些攻擊旨在扭曲模型的行為。 

![新加坡網絡安全局發布《AI系統安全指南》](https://www.shicheng.news/images/image/1753/17531333.avif?0)





AI 與傳統軟體之間的根本區別在於，傳統軟體依賴於靜態規則和顯式編程，而 AI 使用機器學習和神經網絡來自主學習和做出決策，而無需為每項任務提供詳細說明。因此，組織應考慮比傳統系統更頻繁地進行風險評估，即使他們的風險評估方法通常基於現有的治理和政策。這些評估還可以通過持續監測和強大的反饋循環來補充。 

**3.生命周期合規**

AI有五個關鍵階段 – 規劃和設計、開發、部署、運營和維護以及生命周期結束。與良好的網絡安全實踐一樣，CSA 建議系統所有者採用生命周期方法來考慮安全風險。僅強化 AI 模型不足以確保全面防禦 AI 相關威脅。AI 系統整個生命周期中涉及的所有利益相關者都應尋求更好地了解安全威脅及其對 AI 系統預期結果的潛在影響，以及需要做出哪些決策或權衡。 AI 生命周期表示設計 AI 解決方案以滿足業務或運營需求的疊代過程。因此，系統所有者在交付 AI 解決方案時，可能會多次重新審視生命周期中的規劃和設計、開發和部署步驟。 

**4.確保供應鏈安全**

評估和監控整個系統生命周期的供應鏈安全。應用軟體開發生命周期（SDLC）流程。使用軟體開發工具檢查不安全的編碼實踐。考慮在系統設計中實施零信任原則。在AI供應鏈端，確保數據、模型、編譯器、軟體庫、開發工具和應用程式來自可信來源。使用自動數據發現工具識別各種環境中的敏感數據，包括資料庫、數據湖和雲存儲。不受信任的第三方模型是從公共/私有資源庫中獲取的模型，其發布者的來源無法驗證。 

**5. 訓練數據安全**

考慮是否需要使用 PII 或敏感數據來生成模型將引用的矢量資料庫，例如在使用檢索增強生成 (RAG) 時。考慮與使用敏感數據進行模型訓練相關的權衡。企業在決定是否將敏感數據用於模型訓練之前，不妨探索各種風險緩解措施，以確保非公開敏感數據的安全，例如匿名化和隱私增強技術。 

**6. 外部模型使用**

對於 LLMs，提示工程最佳實踐（如使用護欄和在單對加鹽序列標記中包裝指令）可作為進一步鞏固模型的方法。對數據收集、數據存儲、數據處理和數據使用以及代碼和模型安全性進行數據安全控制。 

**7. 記錄標識**

了解人工智慧相關資產的價值，包括模型、數據、提示、日誌和評估，制定跟蹤、驗證、版本控制和保護資產的流程。建立數據和軟體許可證管理流程。這包括記錄數據、代碼、測試用例和模型，包括任何更改和更改人。對於 PII 等敏感數據，在輸入人工智慧之前，應探索各種風險緩解措施，以確保非公開敏感數據的安全，如數據匿名化和隱私增強技術。 

**8.確保人工智慧開發環境的安全**

對應用程式接口、模型和數據、日誌以及它們所處的環境實施適當的訪問控制。根據最少特權原則，對開發環境進行基於規則和角色的訪問控制。定期審查角色衝突或違反職責分工的情況，並應保留包括補救措施在內的文件。對於已離職的用戶或不再需要訪問權限的員工，應立即取消其訪問權限。實施訪問記錄和監控。 

**9.建立事件管理程序**

確保制定適當的事件響應、升級和補救計劃。制定不同的事件響應計劃，以應對不同類型的故障和可能與 DOS 混合的潛在攻擊情景。實施取證支持，防止證據被刪除。利用威脅獵取確定攻擊的全部範圍並調查歸因。 

**10.發布人工智慧系統**

在創建新模型或數據時，計算並共享模型和數據集散列/簽名，並更新相關文檔，如模型卡。在可能的情況下，考慮使用對抗測試集來驗證模型的穩健性。系統負責人和項目團隊跟進安全測試/紅隊的結果，評估發現的漏洞的嚴重性，採取額外措施，如有必要，根據企業風險管理/網絡安全政策，尋求相關實體（如首席信息安全官）的批准，以接受殘餘風險。 

**11.運營和維護**

監控人工智慧系統輸入，監控和記錄對系統的輸入，如查詢、提示和請求。適當的日誌記錄有助於合規、審計、調查和補救。人工智慧系統所有者可考慮監控和驗證輸入提示、查詢或應用程式接口請求，以防有人試圖訪問、修改或外泄組織視為機密的信息。如果可能，防止用戶持續高頻率地查詢模型。 

內容來源：網際網路法律匠

![新加坡網絡安全局發布《AI系統安全指南》](https://www.shicheng.news/images/image/1753/17531334.avif?0)





![新加坡網絡安全局發布《AI系統安全指南》](https://www.shicheng.news/images/image/1753/17531335.avif?0)