火爆出圈的“最强 AI”(2)
时间:2023-03-23 12:03 来源:网络整理 作者:默认发布 点击:次
(3)GPT-3.5-turbo-0301 answer (4)GPT-4(Web) answer 可以看到 GPT-3.5(Web)、GPT-3.5-turbo-0301 都发现了关键的 Overflow 漏洞,出乎意料的是 GPT-4(Web) 居然没有相关提示。 测试三 用例:《空手套白狼 —— Popsicle 被黑分析》 漏洞代码: (1)对 GPT 进行提问: (2)GPT-3.5(Web) answer (3)GPT-3.5-turbo-0301 answer (4)GPT-4(Web) answer 对比结果,我们可以看到 3 个版本都未发现关键的漏洞点。 代码片段的检测总结 可以看到 GPT 模型对简单的漏洞代码块的检测能力还是不错的,但是对稍微复杂一点的漏洞代码暂时还无法检测,并且在测试中可以看到 GPT-4(Web) 的整体上下文可读性很高,输出格式清晰、舒服,但是其对代码的审计能力暂时没有远超 GPT-3.5(Web)、GPT-3.5-turbo-0301,甚至在部分测试中由于 Transformer 输出存在一定的不确定性反而导致 GPT-4(Web) 遗漏了一些关键问题。 对比已知漏洞的全量合约检测为了更加契合普通项目方在合约审计中的简单操作需求,这里我们提高些难度,针对代码量大的合约进行全量导入上下文,让 GPT-4 模型进行审计(GPT-3 对上下文的字符总数限制更小这里就不做测试)。 用例:《千万美元被盗 —— DeFi 平台 MonoX Finance 被黑分析》 整份合约分批输入,在对话最后提出检测漏洞请求 这里使用 Prompt: Here is a solidity smart contract Contract code The above is the complete code,help me discover vulnerabilities in this smart contract. (责任编辑:admin) |