国内外基于大模型的网络安全产品陆续发布，为安全人员的工作带来全新范式。安全人员可通过自然语言对话与其交互，要求它为特定漏洞生成摘要，提供来自其他安全工具的事件和警报信息，或向它“投喂”文件、网址或代码片段以供分析。这些产品旨在与安全团队无缝协作，赋予了安全人员之前不曾具备的能力，让他们了解环境中正在发生的事情，从现有情报中学习，关联和分析威胁活动，并以机器速度做出更明智、更高效的决策。

然而，大模型在用于安全服务的同时，其本身受制于规则遵守、隐私保护、精确回答等方面的能力，自身存在的安全问题不容忽视。

对抗词缀发现——模型规则沦为废纸

在法律、伦理、安全的要求下，大模型产品多设有模型规则，避免模型被恶意利用。在大模型公测之初，便有通过与大模型进行角色扮演游戏的方式，引导大模型输出受限内容。2023年2月，斯坦福大学的学生Kevin Liu通过特定prompt诱导New Bing大模型输出其别名“Sydney”，并引导其展示了相关开发者文档[1]。2023年7月，卡内基梅隆大学的研究团队提出一种对抗词缀的生成方法[2]，将词缀附加在提问中，便可使大模型响应本应拒绝回答的问题（如毁灭人类文明的步骤），如图1所示。尽管大模型公司已经注意到这些问题并采取一定措施予以解决，但攻击手段的多样性足以说明大模型规则的安全性不容乐观，仍存在被恶意攻击和利用的安全隐患。因此，模型规则部署方式急需进一步迭代，避免大模型应用服务于恶意用户。

图1 通过特定后缀使模型生成有害内容

数据提取攻击——隐私泄露人人自危

大模型令人惊叹的表现很大程度来自于强大的上下文记忆能力，但同时意味着隐私泄露隐患。2023年4月香港科技大学研究团队提出通过绕过ChatGPT 、New Bing等大模型的道德模块（称为越狱），使大模型逃避编程限制并自由生成任何内容，从而获取大模型所保存的个人信息[3]，如图2所示。2023年8月，纽约大学研究团队提出Codex模型[4]，用于从GitHub Copilot提取敏感个人信息，并发现约8%的提示导致隐私泄露。与此同时，大模型数据泄露事件也屡见不鲜：三星引入ChatGPT后短短20天内便爆出了三起敏感资料外泄事件；意大利数据保护局在2023年3月宣布暂时禁用ChatGPT，并对其涉嫌违反隐私规则展开调查。因此，将大模型完全应用于网络安全领域前，应充分考虑大模型应用可能面临的隐私泄露风险。

 图2 New Bing泄露个人隐私数据

大模型将多个网络安全技术领域攻防战推向全新水平迈进。

大模型生成钓鱼邮件

邮件安全一直以来都是一个缺乏创新的领域。然而，随着疫情爆发，一切都开始发生变化。钓鱼邮件数量急剧增加，随着大模型技术的强大，可以预见钓鱼邮件和各种形式的社交工程攻击将继续存在，这将继续推动邮件安全领域自疫情爆发以来所发生的创新浪潮。图3所示为ChatGPT创建一封容易被人点击链接的邮件。

图3 ChatGPT创建一封容易被人点击链接的邮件

大模型挖掘零日漏洞

ChatGPT这类大型模型在聊天、问答、文章写作、程序编写等多个领域都有广泛应用。如将ChatGPT用于恶意目的，可能会带来严重后果。图4所示ChatGPT 挖掘一段代码中存在的漏洞。近期有报道称，以普通用户的视角，没有编写任何代码，ChatGPT仅需数小时，即能创建一个新的零日漏洞，且成功逃过了69家恶意软件检测机构的检测。

图4 ChatGPT挖掘一段代码中存在的漏洞

大模型生成恶意代码

ChatGPT使黑客甚至无需编码就能迭代生成数十万次恶意软件。不久的将来，需要处理的恶意软件检测数据集将大幅增长，这意味着安全防御者必须迅速重新构建检测引擎的机器学习模型。另一方面，ChatGPT同样也为防御方提供了利器，加强逆向工程能力，极大提高反恶意软件工作效率。逆向工程需要大量手动工作以识别目标系统。ChatGPT以惊人速度执行这些迭代，为逆向工程师提供最终的汇编语言，并提供自然语言解释恶意软件的行为。更重要的是，ChatGPT能够批量执行这些操作，分析数十万个二进制样本并提供分析观点。ChatGPT还有助于攻克恶意软件的常见反逆向技术，分析恶意软件的遗传代码，以快速识别开发者的指纹。

虽然大模型具有令人印象深刻的创造能力，但其安全和伦理方面的风险与担忧将在可预见的未来长期存在。确保AI技术的合法和道德使用，以及强化安全防护措施，已成为至关重要的任务。必须采取措施来监管和约束这些技术的滥用，以确保它们为社会带来积极的影响。

参考：

[1] https://twitter.com/kliu128/status/1623472922374574080

[2] Zou A, Wang Z, Kolter J Z, et al. Universal and transferable adversarial attacks on aligned language models[J]. arXiv preprint arXiv:2307.15043, 2023.

[3] Li H, Guo D, Fan W, et al. Multi-step jailbreaking privacy attacks on chatgpt[J]. arXiv preprint arXiv:2304.05197, 2023.

[4] Niu L, Mirza S, Maradni Z, et al. {CodexLeaks}: Privacy Leaks from Code Generation Language Models in {GitHub} Copilot[C]//32nd USENIX Security Symposium (USENIX Security 23). 2023: 2133-2150.