安全、ChatGPT、灌水

简介

GPT的出现实在让人大受震撼，出于好奇笔者也注册了一堆应用进行了许多尝试，实在令人着迷。正如同它出世之后被人翻出的上古科幻所说，人类存在的目的只为发明出人工智能。

所以，由于近期我的GPT被封号，就写一篇小文总结一下近期看到的观点。

用最浅显的方式理解GPT的模型即是：通过数据训练，预测下一句。这也是GPT现阶段问题和争议的核心，就如同两人激情对线一般，对线的不是话语，是情感和共鸣，所以即便回一百句完全不同的话，核心的情绪表达仍是相同的。仅是因为它见过无数次类似的回答，所以它得出的是语言结构相似的回答，它不关注话语本身的意义。

GPT本身并没有设计逻辑推理的功能，虽然相关论文和测试显示出简单逻辑的逻辑推理能力，但在功能上确实没有设计这个功能。所以，如Hinton感慨一般，它完成了我认为不可能的常识性推理。也如Lecun阐述的，GPT对现实的理解仍很肤浅。

GPT的任务仅仅是满足统计的一致性，并不包含对现实的理解。

相信使用者都感受过GPT“幻觉”的存在，即是一本正经胡说八道。它生成了一个正确结构的文本和错误的语义。比如你问一个不存在的城市，它生成一个胡编乱造并栩栩如生的城市介绍。在实际的测试中，虽然可以不断通过提示工程的方式一定程度修正幻觉，但仍然是一个缺陷，在极大程度上限制了模型的场景。

GPT出现后不久，基于其局限性有了新的尝试。第一种观点，认为所有复杂的逻辑即是简单逻辑的堆砌，那么GPT以迭代的方式逐步由简单逻辑不断推理就可以解决复杂任务。第二种观点，认为幻觉来源于知识的短缺，那么定向增加知识即可最大限度规避幻觉的出现。

那么基于第一种方向的探索，AutoGPT以及各类实验，如游戏创建虚拟环境和社区交流，第二个方向的探索更为商业化，通过企业数据库让GPT的回答更加定向，生成领域内结论。

当然，与机会相比，GPT的担忧也与日俱增。从各类监管的动向和讨论来看确实如此，从模型本身并没有确切的管制方向，大型语言模型也并非是什么独家拥有的技术。从传统的过滤到 模型本身的微调，或在训练之初减少有害内容的进入，都并不能让人放心，从事实来看也有越狱的发生。

总结而言，人们认为未来有几种方向，来自于构成算法产品的四要素，模型、数据、算力、工程。

1 模型派认为GPT代表的大语言模型已经到了极限，只有更先进的模型才能进一步突破，如Lecun推崇的【世界模型】。

2 数据派认为，通过更精确和专业的数据以及模型交互过程中的微调，可以增强GPT的性能，使其能够更深入地涉足各个领域的专业范畴。

3 算力派认为，既然现阶段的成果是大力出奇迹，那就加大。

4 工程派认为，对环境的感知与互动能力是重要的，这个过程GPT能够配合人工反馈自主修正错误并增强。

技术

当然，作为安全从业者，安全还是要聊的。

总结来说，我并不认为GPT类算法会给安全技术带来革命性的变化，但对部分场景下的生产力提升是不可小瞧的。

开始具体讨论场景前，我想读者都认可的是，我们所有的安全知识的前提是对所在领域的软件的原理和机制的理解。编程语言、操作系统、数据库以及各类的服务，抛去社工这种非常规类别。所有的安全都是在各类软件和系统上进行，黑白测试、留存、横向、钓鱼、木马后门以及对应的WAF、各类终端检测、邮件检测。

简而言之，安全的技术体系是取决于基础设施的形态。基础设施的形态、它的输入和输出的模式的变化才有可能带来本行业革命性的变化。

从现阶段各类同行的尝试来看，有三个方向，黑白盒的漏洞挖掘、自动化攻击、运营增强，更多在于基础生产力的提升，第一点是代码能力，如github-copilot类的自动化代码生成和检测，提升攻防领域的生产力。第二点是认知辅助，提升信息搜索、多任务协同、反馈执行的效率。

从实现来看三类，一类是建立新的数据集做二次训练；一类是将数据集Embeding成一个向量库，每次对问题近似度搜索后提交给算法做整理和扩展；一类是AutoGpt式的实现，迭代执行、长短期记忆、系统交互指令。还有一些衍生的技巧，如问题本身先通过GPT转换关键词，然后做近似查询；如原生数据通过gpt自动进行对话式数据的转化，再提供给模型二次训练；或者AutoGpt的基础上集成一些现成的工具。

具体的实践有微软做的安全copilot，用于辅助安全运营；VT出的 code Insight，用于样本分析时提供功能解读；开源项目gpt3_security_vulnerability_scanner、hackgpt、beelzebub、FinGen各类的小项目就多了。

总结来看，几个较为清晰的方向。

社工领域：GPT在测试中可以很灵活地进行欺骗性社交，从网络收集各类型的自然语言信息并进行基础的整合与分析，反之也可以作为一类工具降低欺诈信息的审核。

自动化测试：相比过往成熟的工具和规则的累积，AutoGPT类工具的实验提供的基础推理能力赋予了复杂任务更好的灵活性，即是不断根据反馈修正自身。

安全运营：目前看到的实践在于信息整合、分析辅助层面，过往运营领域降低分析成本的方式一般是标准化分析流程和硬编码关联查询，微软的copilot相当于对该过程的加速。

关于Copilot：

我理解有两个模块类，一类是企业日志流的关联查询，一类是对外部安全知识的关联和微软自身安全数据库的查询。前者，看介绍猜测的两种方式，一种是Embeding了企业日志和自身的威胁数据，好处是攻击活动的时间和链路上下游的关联性更容易发现，坏处是贵。另一种是索引查询然后交给Chatgpt。

猜测一个未来的方向是强限制和审核式的AutoGPT类，用于整合各类运营工具，包含微软安全生态，自动化运营。在此之前也见有人吐槽微软的sentinel很难用，定制性成本很高。

以上的实践基本都是基于gpt接口实现，但从生产角度，安全数据的外传是不可接受的。所以我们看一下自研模型，Openai被人扒来扒去总结出了大力出奇迹，一则是大算力、大参数、好的计算架构，一则是鼓了一千个劳动力做后期的标注反馈。

但如果要自训练模型，算力、模型、数据仍是问题，虽然现阶段有很多低成本开源方案声称可以达到接近GPT3的能力，但该结论的核心是测试数据跑分跑出来的接近，跟实际投产不同。在数据层面，中文的数据欠缺是一个问题，openai的中文语料核心也是维基百科中文，如果要达到安全领域的专用模型，那只能自己准备数据。而且对话式数据是核心，数据本身要体现安全知识，并且要体现中文语义和关键代码的关联性，这又是一个难点。

总的来说，前景还是在的。

行业

以上看起来似乎是一个充满趣味的方向，我所知的范围内已经有一些国内同行在做各种尝试。但我认为，它带来的影响力最终是更广泛的，更多层面的变化。

========================================================================

因为安全行业的规模取决于信息技术产业的规模以及攻防的生产力。前者是广义范围下的各类终端以及信息化的规模和信息公司的规模，而后者而言，攻防本就是一本经济帐。

基础效率和自动化提升带来的是攻击成本的降低，可以在更短的时间、更为自动化的手段、完成对一个企业的攻击，并进一步提升APT攻击中信息收集、边界探测等攻击手段的效率。试想一下0day的利用过程，从APT级的团队利用、到公开后快速被市场化、工程化、最终沦为大范围端口扫描都自带的小插件，试想一下连垃圾邮件都比以前更打动人心还能互动的时代。

攻击成本的降低带来的结果是逐层升级，更大范围的企业面临更高级的攻击。相比攻防不对等原则和攻击团队的小作坊模式来看，攻击方的升级可能会快一些。

所以该过程是否会进一步引发防守方在GPT领域的迭代，其实不一定。于攻击者而言，只需要技术成本低于攻击收益，就会产生技术迭代，他们可以大方地使用各类公开工具，享受低廉的API收费。

对于防守方而言，除了基础工作的提效外，GPT能带来的只有运营阶段的辅助，而这个运营辅助也是建立在全链路的告警/日志打通后，才可能会有好的效果。相比其成本而言，实在是划不来，另一个视角来说，GPT并不会改变攻防的手段，而大部分企业的安全建设的问题也不在于自动化。

扯远了，总结来说，攻击成本降低会带来安全需求增加。但于防守方而言，损失不变，攻击手段的复杂与频次与否，攻破后遭遇的损失是一样的，安全预算常常是由下限决定而不是上线。

**其他
**

抛去安全，其他领域也有各类型有意思的尝试。如彭博社设计的金融领域专用的BloombergGPT，用财报、股票、新闻以及常识性数据训练的新模型，用于测试一些基础的金融任务，如分析裁员对企业股价的影响是正面还是负面。如卡耐基梅隆大学提出的化学实验类Autogpt，在docker里跑了一个模拟实验环境，提供实验操作功能、上网、python解释器、化学数据库，能自己反复实验最终合成布洛芬。在消费领域就有更多的产品推出，图像生成的midj5、音频的audiogpt、市场营销的markinggpt。

除这些之外，更早之前非生成模型领域，deepmind提出了AlphaFold，基于蛋白质的基因序列，预测蛋白质的3D结构，我还特地去咨询了下，获得的评价是革命性的进展。

前一阵与朋友喝茶，提出一个有趣的观点，或许机器学习技术已经成熟到达到了某个基准线之上，在这个基准线上，许多基础科学领域过去成本高昂的模拟和计算将被极大地压缩，从而带来质的改变。