国产成人综合久久亚洲精品_欧美日韩福利视频_国产精品嫩草影院免费_午夜小视频网站

首頁 >> >> 安全 >> 正文
DeepSeek廣泛應用之后,大模型安全面臨的機遇與挑戰
  • 天翼智庫
  • 2025年6月25日 17:13

2025年初,DeepSeek在全球范圍內迅速走紅,成為科技領域的焦點。目前電信、華為、阿里等數百家行業領軍企業紛紛將DeepSeek融入自身的產品生態,探索深度融合與創新應用的路徑。與此同時,各關鍵行業的機構也在加速推進DeepSeek的應用部署,力求借助其功能提升效率和服務質量。隨著DeepSeek大規模部署,大模型的安全治理面臨新挑戰。

DeepSeek帶動AI應用廣泛落地,大模型安全問題凸顯

隨著DeepSeek在更多場景落地應用,大模型的安全問題也變得更加突出。奇安信董事長齊向東表示:DeepSeek一問世,針對性的高強度網絡攻擊就爆發了,給人工智能行業敲響了堅守安全底線的警鐘。當前越來越多的企業、個人開始私有化部署DeepSeek大模型,而將近90%的服務器都沒有采取足夠的安全措施,服務運行和數據安全岌岌可危。未來隨著人工智能大模型的基礎設施地位越來越突出,針對性的惡意手段和風險場景也將激增,伴生的數據隱私、認知安全、基礎設施等安全風險超乎想象。對于整個人工智能行業來說,平衡技術創新與安全風險必會成為重要課題。

現有的大模型安全問題主要分為兩類:大模型自身安全問題,以及大模型被惡意應用產生的安全問題。

第一類 大模型自身潛伏安全隱患

2017年Transformer模型問世后,AI研究成果呈現快速增長態勢。然而,在增長速度上,面向應用的AI技術研究顯著高于AI安全技術研究,導致AI安全難以跟上應用發展的步伐。目前LLM大模型存在諸多潛在安全問題:

提升算法效率對安全產生影響。強化學習算法在提升推理效率同時,犧牲安全對齊機制,使得模型易被自動化工具繞過限制,盡管可通過RLHF、RLAIF等進行補償,但無法改變原生層的問題。

大模型基礎框架存在漏洞風險。大模型訓練和運行的基礎框架與軟件包(如TensorFlow、PyTorch、NumPy等)存在潛在漏洞。2024年5月,大模型軟件包llama_cpp_python漏洞被發現,它允許攻擊者執行任意命令并竊取數據,由此影響6000個AI大模型。

模型訓練數據的投毒。模型訓練涉及數據清洗、轉換、標簽化、編碼等環節,任何環節漏洞,均會對質量造成不可逆影響。2024年10月,字節跳動實習生在訓練大模型中間文件插入惡意代碼,導致部門整月訓練成果作廢。

惡意大模型生成與傳播。DeepSeek等開源模型,在二次訓練及分享過程中,存在被植入惡意代碼風險。Hugging Face已發現40多個惡意大模型,包括植入python后門、可執行二進制程序等;并且通過多層模型加載結合加密解密機制、代碼分散嵌套模式等,規避平臺檢查。

第二類 大模型被惡意應用形成安全事件

DeepSeek等大模型的廣泛應用,成為了“雙刃劍”,在帶來技術革新與便利的同時,也暗藏諸多安全風險。其應用過程中的隱患不容小覷,稍有不慎就可能引發嚴重的安全事件:

大模型應用供應鏈的安全風險。AutoGPT、LangChain等組件和擴展框架,存在潛在漏洞。例如2024年3月,攻擊者利用Ray大模型框架漏洞,入侵數千臺AI系統的負載服務器。

部署開源模型的安全風險。出于成本考量,眾多機構部署DeepSeek等開源模型時,使用免費版本工具(如Ollama),默認不提供安全認證,且模型核心邏輯不被嵌入硬件固件,由此面臨數據泄漏、服務中斷和濫用風險等風險。根據奇安信數據,在掃描到的6449個活躍的Ollama大模型服務器中,有88.9%裸奔在互聯網上。

數據智能化泄露風險。由于大模型采用全量數據訓練,且動態權限校準難度大,因此可通過合適問題,誘導獲得超權限的信息。

基于大模型的網絡攻擊。依據網宿《2023年互聯網安全報告》,生成式AI技術助長了網絡攻擊。一是它比常見FuZZy工具在語法和邏輯上更復雜與隱蔽,;二是可生成更復雜的惡意軟件變種,繞過傳統基于簽名檢測手段;三是對已知攻擊策略和漏洞進行學習,生成專用攻擊代碼。

聯網生成虛假信息。一些賬號在網絡平臺炮制不實消息,并擴散后,供大模型納入信源引用,給出錯誤答案,尤其在投資領域。

以大模型解決大模型的安全問題,DeepSeek帶動安全行業發展

DeepSeek規模應用后,一方面需解決大模型應用安全,另一方面它也將賦能網絡信息安全發展。360董事長周鴻祎認為,要想解決大模型帶來的安全問題,就得用“魔法打敗魔法”——用大模型解決大模型的安全問題。基于這一技術解決思路,DeepSeek應用于信息安全領域,有望推動新市場空間形成。

根據對13家網信安全上市公司2022年至2024年財報分析:關鍵詞“大模型安全”、“安全大模型”的出現從零頻次到顯著增加;在財報中提及“大模型安全”、“安全大模型”的企業數也在2024年分別達到了8家和9家,占比約62%和69%。啟明星辰首席戰略官潘柱廷預測,DeepSeek將給網安行業帶來千億元量級增量空間。

數據來源:根據相關企業財報自行整理

image.png

注:13家網安企業包括奇安信、啟明星辰、深信服、天融信、綠盟科技、安恒信息、亞信安全、國投智能、電科網安、北信源、三六零、任子行、辰安科技。

在政策面,人工智能安全也隨DeepSeek發展而得到強調。2025年2 月 25 日,中共中央、國務院印發的新版《國家突發事件總體應急預案》中,明確提出加強人工智能安全監測。

1.DeepSeek技術特性:契合安全應用需求

綜合業界觀點,DeepSeek技術特性使其適合在安全應用中落地。

一是DeepSeek安全倫理設計。DeepSeek的安全機理將助力其持續改進,一方面通過 RLHF和 RLAIF雙軌對齊策略,減少模型生成有害或偏見內容的風險。例如,在DeepSeek Chat 中引入“安全閾值”動態過濾機制。另一方面,提供神經元激活追蹤和決策路徑可視化工具,幫助開發者理解模型行為,滿足金融、醫療等高風險場景合規需求。二是專家混合(MoE)架構保障實時安全要求。DeepSeek采用的MoE架構,通過分治策略在同等算力下實現了更高性能,顯著提升了模型推理效率。對于威脅分析、自動化安全響應等實時性場景,能夠迅速、精準做出反應。三是低資源低成本保障普惠應用。DeepSeek的推理對算力要求較低,在同等性能下,DeepSeek訓練成本是OpenAI的5%,API價格是其3%-10%。這些特性使得中小企業也能夠借助先進的 AI 技術提升自身的網絡安全防護能力,尤其是在威脅情報分析、日志異常檢測等領域。四是開源模式推動生態構建。開發者能完善DeepSeek安全漏洞,安全廠商也更傾向于使用代碼可見、可控的開源模型,作為安全基座。

2.DeepSeek落地安全領域:眾多廠商已接入

近期,國內多家頭部網絡安全廠商相繼宣布完成與DeepSeek大模型的技術對接,標志著生成式AI在安全領域的應用進入規模化落地階段。目前已有包括奇安信、深信服、安恒信息在內的業界知名安全企業接入DeepSeek,覆蓋終端安全、態勢感知、威脅情報等核心業務場景。技術對接主要聚焦三大方向:一是基于DeepSeek的自然語言處理能力,提升安全告警信息的智能分析與歸類效率;二是利用其強大的知識推理能力,構建更精準的威脅檢測模型;三是開發智能化安全運營助手,降低安全運維門檻。隨著技術的不斷發展和應用的深入,未來可能會拓展到更多領域和場景。

表:部分安全廠商應用DeepSeek情況

image.png

對通信運營商的發展啟示

通信運營商通過自研平臺實現了大模型全棧國產化適配,構建起自主可控的算力底座,并實現國產芯片與DeepSeek模型的深度優化。目前,基于大模型的新型業務場景不斷落地,安全防護需求隨之激增,通信運營商需要把握安全市場的新機遇,規避風險,拓展市場,發展生態。

1、規避風險:打造安全可信的大模型

通信運營商需要打造安全可信的大模型。在引入DeepSeek等開源大模型基礎上,構建合規訓練流程,確保質量。同時,選用安全性較高的基礎資源,并實時更新安全漏洞。對于數據清洗、轉換、標簽化、編碼等環節,實現標準化、封閉式管理。

2、拓展市場:布局信息安全新賽道

DeepSeek吸引眾多著名安全廠商對接,已證明其應用價值,通信運營商亦可利用其提升安全市場空間。一是面向內部與客戶的安全問題,訓練相應大模型。包括面向互聯網內容安全、騷擾電話識別、網絡等基礎設施安全等場景,進行大模型訓練,且具備多個版本,匹配差異化算力需求。二是發展安全模組,提升終端的安全。著眼行業終端安全短板,可通過訓練端側安全模型,以嵌入定制模組的方式,向行業終端廠商進行提供。三是打造安全大模型一體機,推廣本地部署。通過與算力設備廠商合作,打造即開即用型一體機。在硬件上,可涵蓋算力、基站等多種功能;在軟件上,涵蓋安全、數據處理等多類大模型。四是借助大模型,提升現有安全服務的性能。例如云防火墻、DDoS攻擊防護、云資產管理、漏洞掃描、態勢感知、安全資產管理、內容檢測與過濾等。

3、發展生態:助力安全行業協同共進

通信運營商亦需注重構建大模型安全生態。一是打造安全大模型的開源化模式。即在大模型完成訓練之后,在國內外各類共享平臺上進行分享,接受業內安全意見,提升能力,并借助生態實現推廣。二是建立安全生態激勵機制。可聯合行業權威機構共建大模型漏洞協同響應平臺,通過漏洞賞金計劃、貢獻度評級等激勵措施,引導生態合作伙伴主動上報安全漏洞,并建立標準化漏洞處置流程,實現安全風險的快速響應與閉環管理。

編 輯:甄清嵐
分享到: