精选的安全漏洞样本集 / 基准(Security Vulnerability Benchmark & Samples)清单,用于评估 静态分析工具(SAST)与大模型(LLM)的漏洞挖掘 / 安全代码生成能力。
覆盖 Java · Node.js/JavaScript · Golang · Next.js/React 及多语言真实 CVE 数据集,并收录 2025–2026 最新科研基准(时间越新越靠前)。
本清单由多份横向调研去重整合而成,所有仓库链接均已逐一验证有效。
| 基准 | 语言 | 说明 | 链接 |
|---|---|---|---|
| SecCodeBench-V2(阿里,arXiv:2602.15485) | Java · C · Python · Go · Node.js | 98 个去标识化的真实工业漏洞场景,22 CWE;Docker 沙箱动态执行 PoC 测试,功能与安全双维度判分,LLM-as-judge 处理语义型漏洞(弱加密/硬编码凭据) | github.com/alibaba/sec-code-bench · arXiv |
| SecLens(mattersec-labs) | 通用 | 12 个前沿模型按角色(工程师/CISO)评估漏洞检测能力,提出 Role Divergence Index,无单一模型全类别领先 | github.com/mattersec-labs/seclens |
| Veracode 2026 GenAI 代码安全报告 | 多语言 | 100+ 模型平均安全通过率停滞于 56%;推理型模型稳定领先(56% vs 51%);Java 最危险(30%)、Python 最安全(63%) | veracode.com |
| 基准 | 语言 | 说明 | 链接 |
|---|---|---|---|
| SecureCode v2.0(arXiv:2512.18542) | Go · Python · JavaScript · Java 等 | 1215 条生产级安全代码生成训练集,每条均含真实安全事件 CVE 溯源与 vuln/safe 双实现,覆盖 OWASP Top 10:2025 | arXiv |
| PATCHEVAL(arXiv:2511.11019) | Go · JavaScript · Python | 1000 个真实 CVE(2015–2025)、65 CWE,自动化漏洞修复基准;230 个含沙箱运行环境,可同时验证安全性与功能性 | arXiv |
| SafeGenBench | 12 种语言(含 JS/Go) | 558 条 prompt、44 类漏洞(OWASP/CWE 分类体系),Semgrep 静态分析 + LLM(DeepSeek-R1)双裁判 | SafeGenBench |
| PrimeVul(ICSE 2025,arXiv:2403.18624) | C/C++ | ~7k 漏洞函数 + ~229k 良性函数(97% 良性贴近真实分布),140+ CWE;高精度标注 + 时间切分防污染 + VD-Score;评测显示主流 LLM 在严格设定下接近随机 | github.com/DLVulDet/PrimeVul |
| 基准 | 语言 | 说明 | 链接 |
|---|---|---|---|
| CyberSecEval 3(Meta,arXiv:2408.01605) | 通用 | LLM 网络安全风险/能力评测套件(红队能力、漏洞利用、恶意代码生成、prompt 注入);结论:无证据表明 LLM 在真实规模漏洞发现上超越传统工具 | github.com/meta-llama/PurpleLlama |
| SVEN(ICSE 2024) | C/Python | CodeQL 标注的函数级 vuln/safe 最小差异配对,同时评测安全性与功能正确性 | github.com/eth-sri/sven |
| LLMSecEval(MSR 2023) | Python | 150 条自然语言需求 → 安全代码生成,安全单测 + 功能单测双判分 | github.com/tuhh-softsec/LLMSecEval |
| 样本集 | 规模 / 特点 | 链接 |
|---|---|---|
| OWASP Benchmark v1.2 | SAST 事实标准。2740 例可编译用例、11 类(sqli/xss/cmdi/pathtraver/weakrand/crypto…),vuln:safe≈1:1,带 expectedresults 可算 TPR/FPR 曲线 |
github.com/OWASP-Benchmark/BenchmarkJava |
| NIST Juliet Test Suite | 112 CWE、4 万+ 用例,bad()/good() 成对、servlet/standalone 双形态,同一 sink 的几十种数据流/控制流变体 | UnitTestBot 112-CWE 完整镜像 · find-sec-bugs 10-CWE 轻量镜像 · NIST 官方 zip |
| securibench-micro | 125 例污点分析微基准,aliasing/arrays/context/inter-procedural/sanitizers 等 12 类 taint 难点,Javadoc @should_taint 期望标注,至今仍是 taint 引擎试金石 |
github.com/too4words/securibench-micro |
| Vul4J(ISSTA 2024) | 262 个可复现真实 Java CVE(含 fastjson 等知名项目),补丁前失败/补丁后通过的触发测试,ground truth 可执行验证,支持检测/定位/修复全任务 | github.com/tuhh-softsec/Vul4J |
| java-sec-code | Spring Boot 常见漏洞与安全代码对照(35+ 类),教学基准 | github.com/JoyChou93/java-sec-code |
| WebGoat | OWASP 经典教学靶场应用 | github.com/WebGoat/WebGoat |
| find-sec-bugs | SpotBugs 安全插件,140+ 检测器规则,真实 Java sink 规则库(命令注入/反序列化/SSRF/XSS/加密…) | github.com/find-sec-bugs/find-sec-bugs |
| ysoserial | Java 反序列化 gadget chain 利用链 payload 生成器 | github.com/frohoff/ysoserial |
| JYso(qi4L) | 现代 gadget / JNDI 利用框架,含 fastjson 各版本利用链 | github.com/qi4L/JYso |
| 样本集 | 规模 / 特点 | 链接 |
|---|---|---|
| SecBench.js(AttackStrings) | Node.js 专用漏洞基准。600 个已公开漏洞、5 类:原型污染 192 / 路径遍历 169 / 命令注入 101 / ReDoS 98 / 任意代码注入 40;每例含 Jest 测试 + CVE/修复 commit/sink 位置元数据 | github.com/MartinDetloff/AttackStrings |
| OpenSSF CVE Benchmark | 200+ 真实 JS/TS CVE 的可复现代码与元数据,配套 SAST 工具(ESLint/NodeJSScan/CodeQL)评测报告工具链 | github.com/ossf-cve-benchmark/ossf-cve-benchmark |
| OWASP Juice Shop | 最现代化的"不安全"Web 应用(Node.js/Express),教学与 CTF | github.com/juice-shop/juice-shop |
| DVNA(Damn Vulnerable NodeJS Application) | 有意的 Node.js 漏洞应用(★779) | github.com/appsecco/dvna |
| nodejs-goof | Snyk 出品的故意含漏洞 Node.js todo 应用 | github.com/snyk-labs/nodejs-goof |
| 样本集 | 规模 / 特点 | 链接 |
|---|---|---|
| go-test-bench(Contrast Security) | 故意含漏洞的 Go Web 应用,覆盖 OWASP Top 10,多框架变体(net/http · gin · chi · go-swagger · httprouter) | github.com/Contrast-Security-OSS/go-test-bench |
| GoVulnDB | Go 官方漏洞数据库(golang.org/x/vulndb 镜像),CVE + 受影响/修复版本,供 govulncheck 使用 |
github.com/golang/vulndb |
| 样本集 | 规模 / 特点 | 链接 |
|---|---|---|
| React2Shell Lab(CVE-2025-55182) | 基于 App Router + Server Actions 的故意漏洞 Next.js 应用,演示 RSC "Flight" 协议不安全反序列化 → 预认证 RCE(影响 React 19.0.0–19.2.0 / Next.js 14.3+,仅限隔离环境研究) | github.com/subzer0x0/React2Shell |
| ai-code-security-golden(HuggingFace) | 118 条手标代码样本(65 条为 Next.js App Router/API 片段),34 类漏洞,含 "safe-twin" 安全孪生配对可同时测召回与精度 | huggingface.co/datasets/axyr/ai-code-security-golden |
| oss-oopssec-store | 首个 React + Next.js CTF 商城(XSS/CSRF/IDOR/JWT/路径遍历/SQLi),CI 回归测试防误修漏洞 | Docker Hub |
| 样本集 | 说明 | 链接 |
|---|---|---|
| CVEfixes(MSR 2021) | 全语言 CVE→修复 commit 关系库(SQLite 经 Zenodo 发布),真实历史漏洞分布,支持定位/补丁评测 | github.com/secureIT-project/CVEfixes |
| VulnGym(腾讯) | 项目级白盒基准,entry_point→trace→critical_operation 三段式,60 个 L2 分类(业务逻辑 12+1 子类),多语言(JS/TS 为主) | github.com/Tencent/VulnGym |
- 评估 SAST 工具速度/精度 → OWASP Benchmark + Juliet + find-sec-bugs
- 评估 taint 分析引擎 → securibench-micro
- 真实世界 Java 漏洞可执行评测 → Vul4J
- Node.js 生态漏洞检测 → SecBench.js + OpenSSF CVE Benchmark
- Go 服务安全测试 → go-test-bench + GoVulnDB
- Next.js/App Router 安全评测 → ai-code-security-golden + React2Shell Lab
- LLM 漏洞挖掘/安全生成评测 → SecCodeBench-V2(2026)、PrimeVul、SVEN、LLMSecEval、CyberSecEval 3
本清单去重整合自多份针对静态分析与 LLM 漏洞检测的开源基准横向调研,覆盖三代基准演进(教学标签期 → 真实 CVE 期 → LLM 配对样本/可执行 ground truth 期)。
贡献:欢迎通过 Issue / PR 补充权威样本集(需提供可验证的 GitHub 链接)。