国产成人综合久久亚洲精品_欧美日韩福利视频_国产精品嫩草影院免费_午夜小视频网站

首頁 >> >> 安全 >> 正文
DeepSeek廣泛應用之后,大模型安全面臨的機遇與挑戰(zhàn)
  • 天翼智庫
  • 2025年6月25日 17:13

2025年初,DeepSeek在全球范圍內(nèi)迅速走紅,成為科技領域的焦點。目前電信、華為、阿里等數(shù)百家行業(yè)領軍企業(yè)紛紛將DeepSeek融入自身的產(chǎn)品生態(tài),探索深度融合與創(chuàng)新應用的路徑。與此同時,各關鍵行業(yè)的機構也在加速推進DeepSeek的應用部署,力求借助其功能提升效率和服務質(zhì)量。隨著DeepSeek大規(guī)模部署,大模型的安全治理面臨新挑戰(zhàn)。

DeepSeek帶動AI應用廣泛落地,大模型安全問題凸顯

隨著DeepSeek在更多場景落地應用,大模型的安全問題也變得更加突出。奇安信董事長齊向東表示:DeepSeek一問世,針對性的高強度網(wǎng)絡攻擊就爆發(fā)了,給人工智能行業(yè)敲響了堅守安全底線的警鐘。當前越來越多的企業(yè)、個人開始私有化部署DeepSeek大模型,而將近90%的服務器都沒有采取足夠的安全措施,服務運行和數(shù)據(jù)安全岌岌可危。未來隨著人工智能大模型的基礎設施地位越來越突出,針對性的惡意手段和風險場景也將激增,伴生的數(shù)據(jù)隱私、認知安全、基礎設施等安全風險超乎想象。對于整個人工智能行業(yè)來說,平衡技術創(chuàng)新與安全風險必會成為重要課題。

現(xiàn)有的大模型安全問題主要分為兩類:大模型自身安全問題,以及大模型被惡意應用產(chǎn)生的安全問題。

第一類 大模型自身潛伏安全隱患

2017年Transformer模型問世后,AI研究成果呈現(xiàn)快速增長態(tài)勢。然而,在增長速度上,面向應用的AI技術研究顯著高于AI安全技術研究,導致AI安全難以跟上應用發(fā)展的步伐。目前LLM大模型存在諸多潛在安全問題:

提升算法效率對安全產(chǎn)生影響。強化學習算法在提升推理效率同時,犧牲安全對齊機制,使得模型易被自動化工具繞過限制,盡管可通過RLHF、RLAIF等進行補償,但無法改變原生層的問題。

大模型基礎框架存在漏洞風險。大模型訓練和運行的基礎框架與軟件包(如TensorFlow、PyTorch、NumPy等)存在潛在漏洞。2024年5月,大模型軟件包llama_cpp_python漏洞被發(fā)現(xiàn),它允許攻擊者執(zhí)行任意命令并竊取數(shù)據(jù),由此影響6000個AI大模型。

模型訓練數(shù)據(jù)的投毒。模型訓練涉及數(shù)據(jù)清洗、轉換、標簽化、編碼等環(huán)節(jié),任何環(huán)節(jié)漏洞,均會對質(zhì)量造成不可逆影響。2024年10月,字節(jié)跳動實習生在訓練大模型中間文件插入惡意代碼,導致部門整月訓練成果作廢。

惡意大模型生成與傳播。DeepSeek等開源模型,在二次訓練及分享過程中,存在被植入惡意代碼風險。Hugging Face已發(fā)現(xiàn)40多個惡意大模型,包括植入python后門、可執(zhí)行二進制程序等;并且通過多層模型加載結合加密解密機制、代碼分散嵌套模式等,規(guī)避平臺檢查。

第二類 大模型被惡意應用形成安全事件

DeepSeek等大模型的廣泛應用,成為了“雙刃劍”,在帶來技術革新與便利的同時,也暗藏諸多安全風險。其應用過程中的隱患不容小覷,稍有不慎就可能引發(fā)嚴重的安全事件:

大模型應用供應鏈的安全風險。AutoGPT、LangChain等組件和擴展框架,存在潛在漏洞。例如2024年3月,攻擊者利用Ray大模型框架漏洞,入侵數(shù)千臺AI系統(tǒng)的負載服務器。

部署開源模型的安全風險。出于成本考量,眾多機構部署DeepSeek等開源模型時,使用免費版本工具(如Ollama),默認不提供安全認證,且模型核心邏輯不被嵌入硬件固件,由此面臨數(shù)據(jù)泄漏、服務中斷和濫用風險等風險。根據(jù)奇安信數(shù)據(jù),在掃描到的6449個活躍的Ollama大模型服務器中,有88.9%裸奔在互聯(lián)網(wǎng)上。

數(shù)據(jù)智能化泄露風險。由于大模型采用全量數(shù)據(jù)訓練,且動態(tài)權限校準難度大,因此可通過合適問題,誘導獲得超權限的信息。

基于大模型的網(wǎng)絡攻擊。依據(jù)網(wǎng)宿《2023年互聯(lián)網(wǎng)安全報告》,生成式AI技術助長了網(wǎng)絡攻擊。一是它比常見FuZZy工具在語法和邏輯上更復雜與隱蔽,;二是可生成更復雜的惡意軟件變種,繞過傳統(tǒng)基于簽名檢測手段;三是對已知攻擊策略和漏洞進行學習,生成專用攻擊代碼。

聯(lián)網(wǎng)生成虛假信息。一些賬號在網(wǎng)絡平臺炮制不實消息,并擴散后,供大模型納入信源引用,給出錯誤答案,尤其在投資領域。

以大模型解決大模型的安全問題,DeepSeek帶動安全行業(yè)發(fā)展

DeepSeek規(guī)模應用后,一方面需解決大模型應用安全,另一方面它也將賦能網(wǎng)絡信息安全發(fā)展。360董事長周鴻祎認為,要想解決大模型帶來的安全問題,就得用“魔法打敗魔法”——用大模型解決大模型的安全問題。基于這一技術解決思路,DeepSeek應用于信息安全領域,有望推動新市場空間形成。

根據(jù)對13家網(wǎng)信安全上市公司2022年至2024年財報分析:關鍵詞“大模型安全”、“安全大模型”的出現(xiàn)從零頻次到顯著增加;在財報中提及“大模型安全”、“安全大模型”的企業(yè)數(shù)也在2024年分別達到了8家和9家,占比約62%和69%。啟明星辰首席戰(zhàn)略官潘柱廷預測,DeepSeek將給網(wǎng)安行業(yè)帶來千億元量級增量空間。

數(shù)據(jù)來源:根據(jù)相關企業(yè)財報自行整理

image.png

注:13家網(wǎng)安企業(yè)包括奇安信、啟明星辰、深信服、天融信、綠盟科技、安恒信息、亞信安全、國投智能、電科網(wǎng)安、北信源、三六零、任子行、辰安科技。

在政策面,人工智能安全也隨DeepSeek發(fā)展而得到強調(diào)。2025年2 月 25 日,中共中央、國務院印發(fā)的新版《國家突發(fā)事件總體應急預案》中,明確提出加強人工智能安全監(jiān)測。

1.DeepSeek技術特性:契合安全應用需求

綜合業(yè)界觀點,DeepSeek技術特性使其適合在安全應用中落地。

一是DeepSeek安全倫理設計。DeepSeek的安全機理將助力其持續(xù)改進,一方面通過 RLHF和 RLAIF雙軌對齊策略,減少模型生成有害或偏見內(nèi)容的風險。例如,在DeepSeek Chat 中引入“安全閾值”動態(tài)過濾機制。另一方面,提供神經(jīng)元激活追蹤和決策路徑可視化工具,幫助開發(fā)者理解模型行為,滿足金融、醫(yī)療等高風險場景合規(guī)需求。二是專家混合(MoE)架構保障實時安全要求。DeepSeek采用的MoE架構,通過分治策略在同等算力下實現(xiàn)了更高性能,顯著提升了模型推理效率。對于威脅分析、自動化安全響應等實時性場景,能夠迅速、精準做出反應。三是低資源低成本保障普惠應用。DeepSeek的推理對算力要求較低,在同等性能下,DeepSeek訓練成本是OpenAI的5%,API價格是其3%-10%。這些特性使得中小企業(yè)也能夠借助先進的 AI 技術提升自身的網(wǎng)絡安全防護能力,尤其是在威脅情報分析、日志異常檢測等領域。四是開源模式推動生態(tài)構建。開發(fā)者能完善DeepSeek安全漏洞,安全廠商也更傾向于使用代碼可見、可控的開源模型,作為安全基座。

2.DeepSeek落地安全領域:眾多廠商已接入

近期,國內(nèi)多家頭部網(wǎng)絡安全廠商相繼宣布完成與DeepSeek大模型的技術對接,標志著生成式AI在安全領域的應用進入規(guī)模化落地階段。目前已有包括奇安信、深信服、安恒信息在內(nèi)的業(yè)界知名安全企業(yè)接入DeepSeek,覆蓋終端安全、態(tài)勢感知、威脅情報等核心業(yè)務場景。技術對接主要聚焦三大方向:一是基于DeepSeek的自然語言處理能力,提升安全告警信息的智能分析與歸類效率;二是利用其強大的知識推理能力,構建更精準的威脅檢測模型;三是開發(fā)智能化安全運營助手,降低安全運維門檻。隨著技術的不斷發(fā)展和應用的深入,未來可能會拓展到更多領域和場景。

表:部分安全廠商應用DeepSeek情況

image.png

對通信運營商的發(fā)展啟示

通信運營商通過自研平臺實現(xiàn)了大模型全棧國產(chǎn)化適配,構建起自主可控的算力底座,并實現(xiàn)國產(chǎn)芯片與DeepSeek模型的深度優(yōu)化。目前,基于大模型的新型業(yè)務場景不斷落地,安全防護需求隨之激增,通信運營商需要把握安全市場的新機遇,規(guī)避風險,拓展市場,發(fā)展生態(tài)。

1、規(guī)避風險:打造安全可信的大模型

通信運營商需要打造安全可信的大模型。在引入DeepSeek等開源大模型基礎上,構建合規(guī)訓練流程,確保質(zhì)量。同時,選用安全性較高的基礎資源,并實時更新安全漏洞。對于數(shù)據(jù)清洗、轉換、標簽化、編碼等環(huán)節(jié),實現(xiàn)標準化、封閉式管理。

2、拓展市場:布局信息安全新賽道

DeepSeek吸引眾多著名安全廠商對接,已證明其應用價值,通信運營商亦可利用其提升安全市場空間。一是面向內(nèi)部與客戶的安全問題,訓練相應大模型。包括面向互聯(lián)網(wǎng)內(nèi)容安全、騷擾電話識別、網(wǎng)絡等基礎設施安全等場景,進行大模型訓練,且具備多個版本,匹配差異化算力需求。二是發(fā)展安全模組,提升終端的安全。著眼行業(yè)終端安全短板,可通過訓練端側安全模型,以嵌入定制模組的方式,向行業(yè)終端廠商進行提供。三是打造安全大模型一體機,推廣本地部署。通過與算力設備廠商合作,打造即開即用型一體機。在硬件上,可涵蓋算力、基站等多種功能;在軟件上,涵蓋安全、數(shù)據(jù)處理等多類大模型。四是借助大模型,提升現(xiàn)有安全服務的性能。例如云防火墻、DDoS攻擊防護、云資產(chǎn)管理、漏洞掃描、態(tài)勢感知、安全資產(chǎn)管理、內(nèi)容檢測與過濾等。

3、發(fā)展生態(tài):助力安全行業(yè)協(xié)同共進

通信運營商亦需注重構建大模型安全生態(tài)。一是打造安全大模型的開源化模式。即在大模型完成訓練之后,在國內(nèi)外各類共享平臺上進行分享,接受業(yè)內(nèi)安全意見,提升能力,并借助生態(tài)實現(xiàn)推廣。二是建立安全生態(tài)激勵機制。可聯(lián)合行業(yè)權威機構共建大模型漏洞協(xié)同響應平臺,通過漏洞賞金計劃、貢獻度評級等激勵措施,引導生態(tài)合作伙伴主動上報安全漏洞,并建立標準化漏洞處置流程,實現(xiàn)安全風險的快速響應與閉環(huán)管理。

編 輯:甄清嵐
分享到: