网络安全检测|网络安全服务|网络安全扫描-香港墨客投资移动版

主页 > 业界资讯 > 网络渗透测试

火爆出圈的“最强 AI”(2)

火爆出圈的“最强 AI” —— GPT 是否可用于合约安全审计?

(3)GPT-3.5-turbo-0301 answer

火爆出圈的“最强 AI” —— GPT 是否可用于合约安全审计?

(4)GPT-4(Web) answer

火爆出圈的“最强 AI” —— GPT 是否可用于合约安全审计?

火爆出圈的“最强 AI” —— GPT 是否可用于合约安全审计?

可以看到 GPT-3.5(Web)、GPT-3.5-turbo-0301 都发现了关键的 Overflow 漏洞,出乎意料的是 GPT-4(Web) 居然没有相关提示。

测试三

用例:《空手套白狼 —— Popsicle 被黑分析》

漏洞代码:

火爆出圈的“最强 AI” —— GPT 是否可用于合约安全审计?

(1)对 GPT 进行提问:

火爆出圈的“最强 AI” —— GPT 是否可用于合约安全审计?

(2)GPT-3.5(Web) answer

火爆出圈的“最强 AI” —— GPT 是否可用于合约安全审计?

(3)GPT-3.5-turbo-0301 answer

火爆出圈的“最强 AI” —— GPT 是否可用于合约安全审计?

(4)GPT-4(Web) answer

火爆出圈的“最强 AI” —— GPT 是否可用于合约安全审计?

对比结果,我们可以看到 3 个版本都未发现关键的漏洞点。

代码片段的检测总结

可以看到 GPT 模型对简单的漏洞代码块的检测能力还是不错的,但是对稍微复杂一点的漏洞代码暂时还无法检测,并且在测试中可以看到 GPT-4(Web) 的整体上下文可读性很高,输出格式清晰、舒服,但是其对代码的审计能力暂时没有远超 GPT-3.5(Web)、GPT-3.5-turbo-0301,甚至在部分测试中由于 Transformer 输出存在一定的不确定性反而导致 GPT-4(Web) 遗漏了一些关键问题。

对比已知漏洞的全量合约检测

为了更加契合普通项目方在合约审计中的简单操作需求,这里我们提高些难度,针对代码量大的合约进行全量导入上下文,让 GPT-4 模型进行审计(GPT-3 对上下文的字符总数限制更小这里就不做测试)。

用例:《千万美元被盗 —— DeFi 平台 MonoX Finance 被黑分析》

整份合约分批输入,在对话最后提出检测漏洞请求

这里使用 Prompt:

Here is a solidity smart contract 

Contract code

The above is the complete code,help me discover vulnerabilities in this smart contract.

(责任编辑:admin)