Skip to content

add kv rsnorm rope cache archive task - #155

Open
justice-dance wants to merge 43 commits into
Just-it:mainfrom
justice-dance:br_kv_ref_add
Open

add kv rsnorm rope cache archive task#155
justice-dance wants to merge 43 commits into
Just-it:mainfrom
justice-dance:br_kv_ref_add

Conversation

@justice-dance

@justice-dance justice-dance commented Apr 29, 2026

Copy link
Copy Markdown
Contributor

变更说明

添加kv rsnorm rope cache kernel样例,性能0.7x左右

变更类型

  • 新增算子 / Skill
  • 性能优化
  • Bug 修复
  • Benchmark(新增 case / 修改评测逻辑)
  • Agent / 框架改动
  • 文档 / 基础设施

影响范围

  • Triton 侧
  • AscendC 侧
  • 共享(router / benchmark-scheduler)

性能数据(涉及算子生成/优化时必填)

Benchmark 评测(与 BASELINE.md 对比)

指标 BASELINE 本次评测
编译通过数
精度通过数
平均 Speedup

测试环境

  • 设备型号:
  • CANN 版本:
  • PyTorch 版本:

冒烟测试(涉及算子生成/框架改动时必填)

  • Triton 通路:✅ / ❌(失败原因:)
  • AscendC 通路:✅ / ❌(失败原因:)

验证清单

  • 双通路冒烟测试通过
  • 通过率不退化(编译、精度均 >= BASELINE)
  • 平均 Speedup 不退化(>= BASELINE × 0.95)
  • 性能优化类:已跑全量评测、逐任务无退化、至少 1 个提升 >= 5%

退化说明(如有通过率下跌)

chopper0126 and others added 30 commits April 20, 2026 20:30
add level30 allcase json+add relubackward and fix realdiv
[triton] 适配多用例benchmark评测
【benchmark】修改elu_grad算子的标杆代码逻辑,使标杆性能达到正常水平
【benchmark】修改RealDiv算子的标杆代码逻辑,不使用走cpu的tf实现,改为走npu的torch实现
主要改动
1. 阈值标准化 - get_limit() 返回 2 的幂次方阈值(FP16: 2^-10, BF16: 2^-7, FP32: 2^-13)
2. 判定逻辑升级 - 使用 MERE + MARE 双指标:
   - MERE (平均相对误差) < threshold
   - MARE (最大相对误差) < 10 * threshold
3. 分母保护 - eps 从 1e-8 统一为 1e-7
4. 代码重构 - 提取 _check_accuracy_npu_benchmark() 独立函数,提升可读性和可维护性
保留特性
-  NaN/Inf 位置和符号检查
-  布尔值精确比对
-  输出形状一致性检查
-  详细的错误值定位(前10个不匹配点)

(cherry picked from commit cad9fb8)
补充hifloat32,float8_e4m3,float8_e5m2类型精度阈值

(cherry picked from commit dfc3680)
对齐用profile方式验证性能+对齐精度验证方式+保存每个case 的加速比
[benchmark] 修复17_logaddexp用例类型问题
feat:精度测试参考AscendCOPBenchMark修改。
Just-it and others added 13 commits April 25, 2026 16:38
[triton] Phase 4基线评测复用Phase 3结果,并强制精度全通过才能进入性能评测
[triton] benchmark评测方式变更,由延时求和计算加速比更改为几何平均计算加速比
[Bug] 修复脚本支持绝对路径
更新部分uint8用例,避免出现负值入参
Signed-off-by: justice-dance <justice1717@163.com>
Signed-off-by: justice-dance <justice1717@163.com>
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

8 participants