猎影观察：在勒索的泥土里，如何阻止大模型开出恶之花？

猎影观察：

网络犯罪分子通常对前沿技术具有敏锐的感知力，他们迅速意识到大模型及生成式人工智能的潜在威胁和滥用可能性。

以ChatGPT为代表的大模型技术在全球引起了巨大的轰动，激烈的竞争迫使每一个市场参与者必须接受并适应这一由技术驱动的范式转变。越来越多的公司开始采用类似的自然语言生成工具，试图在这场技术变革的浪潮中抢占先机。

从媒体、教育到商业领域，无数公司正在探索大型语言模型驱动创新和进步的潜力。各大公司热切地创造、交流、采纳基于生成式AI的解决方案，以保持在各自市场的竞争力。

越来越多的公司都将目光投向了这一领域，期望能够借助ChatGPT的成功经验，推动各自行业的技术升级和创新。

然而，在商业公司还在试错的时候，大模型之恶已蔓延至勒索领域，勒索软件团伙已经将大模型打磨成新型武器，随时做好攻击准备。

01

AI辅助，小白也能干勒索

随着生成式人工智能技术的快速进步，一种新的趋势正在浮现：黑客正日益倾向于使用类ChatGPT软件自动编写恶意代码。

这种技术的发展不仅加速了恶意软件的创新速度，也使得即使是技术能力有限的个人也能轻松地参与并实施复杂的网络攻击。

网络安全环境日益严峻，借助自然语言大模型的强大能力，网络犯罪的门槛和成本正变得前所未有地低，更多不可预测且高度自动化的威胁不断出现。

例如，一位名为 Last/laste 的不知名开发人员创建了WormGPT，该工具将自己视为GPT模型的黑客替代品，专为恶意威胁获得而设计，旨在帮助网络犯罪分子降低犯罪成本。

2023年7月，HYAS实验室的研究人员展示了他们称之为 BlackMamba 的概念验证攻击，该攻击利用LLM来动态合成多态键盘记录器功能，并称规避了现代EDR系统的安全检测。

一系列迹象表明生成式人工智能逐渐成为网络犯罪分子手中的武器。在不同的暗网论坛上有着很多关于人工智能主题的讨论。随着时间的推移，这些技术只会不断改进和增强。

02

诱导犯罪，大模型内容安全何在？

为了探索AI实现编写勒索软件的可操作性，我们与ChatGPT进行了对话，尝试诱导其写一个具有勒索加密基本功能的代码。

为了模拟真实勒索软件，我们要求与ChatGPT写出的代码需要具备更好的可移植性和独立性，使用Go语言语法，并运用AES和RSA组合的加密方案。

在不断的诱导对话后，ChatGPT回复符合要求的200余行代码，部分代码截图如下：

加密文件附加ransom_enc的后缀，并且构造了勒索内容，在加密目录创建勒索信文件，代码经编译验证成功实现了文件加密的功能。

实验证明，诱导大模型犯罪是可能发生的。即使是一个对勒索软件开发技术没有深入了解的恶意行为者，也能依靠生成式人工智能得到具有加密能力的勒索软件程序。

值得注意的是，编写的勒索软件程序，在没有任何反检测和混淆代码的情况下，在VT上的检出率并不高。

目前已经发现黑客在多个方面利用AI，例如生成更为逼真的、更具迷惑性的钓鱼邮件，或者是生成多态恶意软件以逃避检测等。

虽然目前还没有明确证据显示勒索软件团伙利用生成式人工智能提高攻击效率，但我们有理由相信未来网络安全攻防对抗绕不开大模型之恶。

03

人工智能不会打破攻防的动态平衡

攻击者不断采用创新手段试图规避现有的安全防护措施，而防御者则努力保持技术上的领先，以预防和应对各种新型攻击手法。

攻防总是此消彼长，在这场永无休止的网络安全博弈中，人工智能的崛起并不意味着破坏这一动态平衡，而是在提供新的工具和策略的同时，也引入了新的挑战和机遇。

在当前的网络安全威胁格局中，勒索软件攻击已成为全球范围内最为严峻的挑战之一。这种攻击手段不仅普适性强，而且破坏力巨大，已被许多网络犯罪团伙视为主要的经济利益来源。

随着大型语言模型如OpenAI的GPT系列在人工智能领域的迅猛发展，我们预见到AI技术将为勒索软件的生态系统带来显著的变革。这些变革不仅体现在攻击手法的智能化和自动化上，而且还可能促进勒索软件的定制化和目标化，从而对网络防御策略提出更高的要求。

与之对应，人工智能在提升安全防护效率和精准度方面的潜力也不容小觑。以防勒索为例，我们就可以尝试让沙箱技术与大模型结合，提高对恶意文件的防范能力。

在静态分析阶段，大模型的推理能力可以准确识别出代码中的恶意行为。此外，大模型还具有更强的泛用性。相比基于特征的规则匹配，大模型能有效降低人工维护规则带来滞后性。

在动态分析阶段，分析人员使用沙箱技术对恶意文件进行动态分析，模拟其运行环境，观察其行为和活动。同时，收集恶意文件在沙箱中的行为数据，包括文件操作、网络活动、系统调用等。大模型能够对行为特征进行提取和总结，识别其中的关键步骤。再根据特征自动编写终端侧、流量侧的检测和防护策略。

相比人工分析，AI能够更迅速地应对每天产生的海量样本，提高分析效率，实现对包括勒索软件在内的各类恶意文件攻击的快速响应和精准防护。通过数据飞轮和人工反馈强化学习，大模型可以不断学习和更新，适应新的恶意文件特征和攻击手法，提高方案的持续性和有效性。

最后，需要将编写的检测和防护策略自动部署到终端设备和网络流量监测系统中。目前，恒脑安全垂域大模型已经展现出了一定的任务规划能力，可以通过联动SOAR安全产品实现更加灵活和全面的自动化事件响应。

除了让大模型的“善”与“恶”相互抗衡，我们还应该思考如何从根源上抑制大模型“无意识作恶”。从国内的《生成式人工智能服务管理暂行办法》到欧盟的《人工智能法案》，全球高度关注人工智能伦理与法律风险，多国正在进行对人工智能从框架到细节的治理探索，为自身的人工智能发展提供最基本护栏。

安恒信息同样重视大模型安全问题，秉承“让AI更安全、让安全更智能”的理念，安恒信息率先提出生成式大模型内容安全评估流程。

综合运用技术手段、专业知识和人工审核等各种方式，针对内容安全的主要威胁，根据不同的应用场景、相关法律法规、道德规范，形成了多角度的自动化评估方案。基于该解决方案，我们对全行业主流的大模型做了对应的安全评估，并且将这个过程中发现的问题用于优化改进用于恒脑·安全垂域大模型，极大提升了恒脑内容安全性，打造真正的国产安全可信大模型。

随着技术的发展，我们可以期待一个更加智能和自适应的网络安全环境，安恒研究院将为此不懈努力，直至达成。