ChatGPT 在威胁检测领域的应用及潜在风险

  网络渗透测试     |      2023-03-27 06:32

事件响应分类和软件漏洞发现是大型语言模型成功的两个领域,尽管误报很常见。

ChatGPT 在威胁检测领域的应用及潜在风险

ChatGPT 是一个开创性的聊天机器人,由基于神经网络的语言模型 text-davinci-003 提供支持,并在来自互联网的大型文本数据集上进行训练。它能够生成各种样式和格式的类似人类的文本。ChatGPT 可以针对特定任务进行微调,例如回答问题、总结文本,甚至解决与网络安全相关的问题,例如,生成事件报告或解释反编译代码。安全研究人员和人工智能黑客都对 ChatGPT 产生了兴趣,尝试探索 LLM 的弱点,而其他研究人员以及网络犯罪分子则试图将 LLM 引诱到黑暗面,将其设置为产生力工具,用于生成更好的网络钓鱼电子邮件或生成恶意软件。已经有一些案例表明不法分子已经尝试利用 ChatGPT 生成恶意对象,例如,网络钓鱼电子邮件,甚至多态恶意软件。

安全分析师的许多实验都在表明,流行的大型语言模型(LLM)ChatGPT 可能有助于帮助网络安全防御者分类潜在的安全事件并发现代码中的安全漏洞,即使人工智能(AI)模型没有专门针对此类活动进行训练。

在对 ChatGPT 作为事件响应工具的实用程序的分析中,安全分析师发现 ChatGPT 可以识别在受感染系统上运行的恶意进程。通过使用 Meterpreter 和 PowerShell Empire 代理感染了一个系统,以对手的角色采取了共同的步骤,然后对系统运行了 ChatGPT 驱动的恶意程序扫描器。LLM 识别出系统上运行的两个恶意进程,并正确忽略了 137 个良性进程,利用 ChatGPT 在很大程度上减少了开销。

安全研究人员也在研究通用语言模型如何在特定的防御相关任务上执行。去年 12 月,数字取证公司 Cado Security 使用 ChatGPT 分析来自真实安全事件的 JSON 数据创建了黑客入侵的时间表,从而生成了一份很好的但并不完全准确的报告。安全咨询公司 NCC Group 则尝试使用 ChatGPT 作为查找代码漏洞的一种方式,虽然 ChatGPT 确实做到了,但漏洞识别并不总是很准确。

从实际的使用来看,安全分析师,开发人员和逆向工程师在使用 LLM 时需要小心,特别是对于超出其能力范围的任务。安全咨询公司 NCC Group 的首席科学家 Chris Anley 说," 我绝对认为专业开发人员和其他使用代码开展工作的人应该探索 ChatGPT 和类似的模型,但更多的是为了灵感,而不是绝对正确的事实结果," 他说,并补充说 " 安全代码审查不是我们应该使用 ChatGPT 的事情,所以期望它第一次就完美是不公平的。"

使用 AI 分析 IoC

安全和威胁研究通常会以报告、演示文稿、博客文章、推文和其他类型的内容的形式公开披露其调查结果(对手指标、战术、技术和程序)。

ChatGPT 在威胁检测领域的应用及潜在风险

因此,我们最初决定检查 ChatGPT 对威胁研究的了解,以及它是否可以帮助识别简单的、众所周知的对手工具,如 Mimikatz 和快速反向代理,并发现常见的重命名策略。输出看起来很有希望!

ChatGPT 在威胁检测领域的应用及潜在风险

那么对于经典的入侵指标,例如众所周知的恶意哈希和域名 ChatGPT 能回答正确吗?不幸的是,在我们的快速实验中,ChatGPT 无法产生令人满意的结果:它未能识别 Wannacry 的知名哈希值(哈希:5bef35496fcbdbe841c82f4d1ab8b7c2 ) .

ChatGPT 在威胁检测领域的应用及潜在风险

对于多个 APT 活动使用的域名,ChatGPT 生成了一个基本相同的域名列表并提供了 APT 攻击者的描述,我们可能对有些域名一无所知?

ChatGPT 在威胁检测领域的应用及潜在风险

至于 FIN7 使用的域名,chatGPT 正确地将它们归类为恶意域名,尽管它给出的原因是," 域名很可能是试图欺骗用户相信它是一个合法的域名 ",而不是有众所周知的入侵指标。

ChatGPT 在威胁检测领域的应用及潜在风险

虽然最后一个针对模仿知名网站域名的实验给出了一个有趣的结果,但还需要更多的研究:很难说为什么 ChatGPT 对基于主机的安全事件产生的结果要比对域名和哈希等简单指标的结果更好。某些过滤器可能已应用于训练数据集,或者如果以不同的方式构建问题本身(定义良好的问题就是解决了一半的问题!)