Skip to content

About

Curated security vulnerability benchmarks & vulnerable code samples for evaluating SAST tools and LLMs. Java · Node.js · Go · Next.js · CVE datasets · 2025-2026 research. OWASP Benchmark, NIST Juliet, Vul4J, SecBench.js, SecCodeBench-V2, PrimeVul & more.

Topics

Resources

Stars

3 stars

Watchers

0 watching

Forks

Latest commit

 

History

1 Commit

Folders and files

NameName
Last commit message
Last commit date
 
 
 
 

Repository files navigation

Awesome Security Benchmark Samples 🛡️

精选的安全漏洞样本集 / 基准(Security Vulnerability Benchmark & Samples)清单,用于评估 静态分析工具(SAST)与大模型(LLM)的漏洞挖掘 / 安全代码生成能力。

覆盖 Java · Node.js/JavaScript · Golang · Next.js/React 及多语言真实 CVE 数据集,并收录 2025–2026 最新科研基准(时间越新越靠前)。

本清单由多份横向调研去重整合而成,所有仓库链接均已逐一验证有效。


📈 最新科研基准(2025–2026)Latest Research & Benchmarks

2026

基准 语言 说明 链接
SecCodeBench-V2(阿里,arXiv:2602.15485) Java · C · Python · Go · Node.js 98 个去标识化的真实工业漏洞场景,22 CWE;Docker 沙箱动态执行 PoC 测试,功能与安全双维度判分,LLM-as-judge 处理语义型漏洞(弱加密/硬编码凭据) github.com/alibaba/sec-code-bench · arXiv
SecLens(mattersec-labs) 通用 12 个前沿模型按角色(工程师/CISO)评估漏洞检测能力,提出 Role Divergence Index,无单一模型全类别领先 github.com/mattersec-labs/seclens
Veracode 2026 GenAI 代码安全报告 多语言 100+ 模型平均安全通过率停滞于 56%;推理型模型稳定领先(56% vs 51%);Java 最危险(30%)、Python 最安全(63%) veracode.com

2025

基准 语言 说明 链接
SecureCode v2.0(arXiv:2512.18542) Go · Python · JavaScript · Java 等 1215 条生产级安全代码生成训练集,每条均含真实安全事件 CVE 溯源与 vuln/safe 双实现,覆盖 OWASP Top 10:2025 arXiv
PATCHEVAL(arXiv:2511.11019) Go · JavaScript · Python 1000 个真实 CVE(2015–2025)、65 CWE,自动化漏洞修复基准;230 个含沙箱运行环境,可同时验证安全性与功能性 arXiv
SafeGenBench 12 种语言(含 JS/Go) 558 条 prompt、44 类漏洞(OWASP/CWE 分类体系),Semgrep 静态分析 + LLM(DeepSeek-R1)双裁判 SafeGenBench
PrimeVul(ICSE 2025,arXiv:2403.18624) C/C++ ~7k 漏洞函数 + ~229k 良性函数(97% 良性贴近真实分布),140+ CWE;高精度标注 + 时间切分防污染 + VD-Score;评测显示主流 LLM 在严格设定下接近随机 github.com/DLVulDet/PrimeVul

2024 及更早(LLM 评测方法论奠基)

基准 语言 说明 链接
CyberSecEval 3(Meta,arXiv:2408.01605) 通用 LLM 网络安全风险/能力评测套件(红队能力、漏洞利用、恶意代码生成、prompt 注入);结论:无证据表明 LLM 在真实规模漏洞发现上超越传统工具 github.com/meta-llama/PurpleLlama
SVEN(ICSE 2024) C/Python CodeQL 标注的函数级 vuln/safe 最小差异配对,同时评测安全性与功能正确性 github.com/eth-sri/sven
LLMSecEval(MSR 2023) Python 150 条自然语言需求 → 安全代码生成,安全单测 + 功能单测双判分 github.com/tuhh-softsec/LLMSecEval

☕ Java(SAST / 漏洞检测事实标准)

样本集 规模 / 特点 链接
OWASP Benchmark v1.2 SAST 事实标准。2740 例可编译用例、11 类(sqli/xss/cmdi/pathtraver/weakrand/crypto…),vuln:safe≈1:1,带 expectedresults 可算 TPR/FPR 曲线 github.com/OWASP-Benchmark/BenchmarkJava
NIST Juliet Test Suite 112 CWE、4 万+ 用例,bad()/good() 成对、servlet/standalone 双形态,同一 sink 的几十种数据流/控制流变体 UnitTestBot 112-CWE 完整镜像 · find-sec-bugs 10-CWE 轻量镜像 · NIST 官方 zip
securibench-micro 125 例污点分析微基准,aliasing/arrays/context/inter-procedural/sanitizers 等 12 类 taint 难点,Javadoc @should_taint 期望标注,至今仍是 taint 引擎试金石 github.com/too4words/securibench-micro
Vul4J(ISSTA 2024) 262 个可复现真实 Java CVE(含 fastjson 等知名项目),补丁前失败/补丁后通过的触发测试,ground truth 可执行验证,支持检测/定位/修复全任务 github.com/tuhh-softsec/Vul4J
java-sec-code Spring Boot 常见漏洞与安全代码对照(35+ 类),教学基准 github.com/JoyChou93/java-sec-code
WebGoat OWASP 经典教学靶场应用 github.com/WebGoat/WebGoat
find-sec-bugs SpotBugs 安全插件,140+ 检测器规则,真实 Java sink 规则库(命令注入/反序列化/SSRF/XSS/加密…) github.com/find-sec-bugs/find-sec-bugs
ysoserial Java 反序列化 gadget chain 利用链 payload 生成器 github.com/frohoff/ysoserial
JYso(qi4L) 现代 gadget / JNDI 利用框架,含 fastjson 各版本利用链 github.com/qi4L/JYso

🟢 Node.js / JavaScript

样本集 规模 / 特点 链接
SecBench.js(AttackStrings) Node.js 专用漏洞基准。600 个已公开漏洞、5 类:原型污染 192 / 路径遍历 169 / 命令注入 101 / ReDoS 98 / 任意代码注入 40;每例含 Jest 测试 + CVE/修复 commit/sink 位置元数据 github.com/MartinDetloff/AttackStrings
OpenSSF CVE Benchmark 200+ 真实 JS/TS CVE 的可复现代码与元数据,配套 SAST 工具(ESLint/NodeJSScan/CodeQL)评测报告工具链 github.com/ossf-cve-benchmark/ossf-cve-benchmark
OWASP Juice Shop 最现代化的"不安全"Web 应用(Node.js/Express),教学与 CTF github.com/juice-shop/juice-shop
DVNA(Damn Vulnerable NodeJS Application) 有意的 Node.js 漏洞应用(★779) github.com/appsecco/dvna
nodejs-goof Snyk 出品的故意含漏洞 Node.js todo 应用 github.com/snyk-labs/nodejs-goof

🐹 Golang

样本集 规模 / 特点 链接
go-test-bench(Contrast Security) 故意含漏洞的 Go Web 应用,覆盖 OWASP Top 10,多框架变体(net/http · gin · chi · go-swagger · httprouter) github.com/Contrast-Security-OSS/go-test-bench
GoVulnDB Go 官方漏洞数据库(golang.org/x/vulndb 镜像),CVE + 受影响/修复版本,供 govulncheck 使用 github.com/golang/vulndb

▲ Next.js / React

样本集 规模 / 特点 链接
React2Shell Lab(CVE-2025-55182) 基于 App Router + Server Actions 的故意漏洞 Next.js 应用,演示 RSC "Flight" 协议不安全反序列化 → 预认证 RCE(影响 React 19.0.0–19.2.0 / Next.js 14.3+,仅限隔离环境研究) github.com/subzer0x0/React2Shell
ai-code-security-golden(HuggingFace) 118 条手标代码样本(65 条为 Next.js App Router/API 片段),34 类漏洞,含 "safe-twin" 安全孪生配对可同时测召回与精度 huggingface.co/datasets/axyr/ai-code-security-golden
oss-oopssec-store 首个 React + Next.js CTF 商城(XSS/CSRF/IDOR/JWT/路径遍历/SQLi),CI 回归测试防误修漏洞 Docker Hub

🌐 多语言真实 CVE 数据集

样本集 说明 链接
CVEfixes(MSR 2021) 全语言 CVE→修复 commit 关系库(SQLite 经 Zenodo 发布),真实历史漏洞分布,支持定位/补丁评测 github.com/secureIT-project/CVEfixes
VulnGym(腾讯) 项目级白盒基准,entry_point→trace→critical_operation 三段式,60 个 L2 分类(业务逻辑 12+1 子类),多语言(JS/TS 为主) github.com/Tencent/VulnGym

📌 选型建议 Selection Guide

  • 评估 SAST 工具速度/精度 → OWASP Benchmark + Juliet + find-sec-bugs
  • 评估 taint 分析引擎 → securibench-micro
  • 真实世界 Java 漏洞可执行评测 → Vul4J
  • Node.js 生态漏洞检测 → SecBench.js + OpenSSF CVE Benchmark
  • Go 服务安全测试 → go-test-bench + GoVulnDB
  • Next.js/App Router 安全评测 → ai-code-security-golden + React2Shell Lab
  • LLM 漏洞挖掘/安全生成评测 → SecCodeBench-V2(2026)、PrimeVul、SVEN、LLMSecEval、CyberSecEval 3

📚 参考调研 References

本清单去重整合自多份针对静态分析与 LLM 漏洞检测的开源基准横向调研,覆盖三代基准演进(教学标签期 → 真实 CVE 期 → LLM 配对样本/可执行 ground truth 期)。

贡献:欢迎通过 Issue / PR 补充权威样本集(需提供可验证的 GitHub 链接)。

License

MIT

About

Curated security vulnerability benchmarks & vulnerable code samples for evaluating SAST tools and LLMs. Java · Node.js · Go · Next.js · CVE datasets · 2025-2026 research. OWASP Benchmark, NIST Juliet, Vul4J, SecBench.js, SecCodeBench-V2, PrimeVul & more.

Topics

Resources

Stars

3 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors