reproduce success

[LukeLIN-web]

• Blockers, if any: (a) BEATs link in README is broken — needed HF mirror discovery; (b) PYTHONPATH=. is missing from the demo shell scripts; (c) pytorchvideo requires a one-line patch with modern torchvision; (d) AV-generation requires ~31 GB extra weights not fitting our budget.
• Recommendation: Repo is genuinely functional for the comprehension half. To make it install cleanly, the maintainers should: pin a working BEATs source on HF (or self-host), add PYTHONPATH=. (or convert the entrypoint into python -m tools.audio_visual_demo), and bump/replace pytorchvideo. For trying AV generation, plan for at least ~35 GB free disk on top of the 15 GB comprehension footprint.

[LukeLIN-web]

复现链路

1. 下载 JavisUnd-Eval → 解压。 期间触发了一次 HF 连接挂死（CLOSE_WAIT），切换到 HF_HUB_ENABLE_HF_TRANSFER=1 后吞吐稳在 ~100 MB/s。
2. 本地起 Qwen2.5-32B 裁判（vLLM 0.19.0，TP=2，GPU 4/5），通过 OPENAI_BASE_URL=http://localhost:8000/v1 让 eval_und.py 走本地。
3. 在 GPU 0–3 并行跑 scripts/eval/infer_av_und.sh，每个子集切 4 chunk。
4. 走 javisgpt/eval/eval_und.py 让裁判打分。

期间踩到的、改过的几个坑（仅本地补丁，未提交）

• scripts/eval/infer_av_und.sh 末尾两行 done done 多余，会触发 syntax error near unexpected token 'done'。删掉。
• 同脚本里 4 条 chunk 命令的 & 写在了行尾注释里（#... &），所以原本"4 GPU 并行"实际是顺序跑。把 & 移出注释。
• javisgpt/eval/dataset.py 的 __getitem__ 没有错误兜底，遇到坏视频会让 DataLoader worker 直接抛异常，进程整体退出。在文件尾追加了一个小 shim，对 8 个 dataset 类的 __getitem__ 包一层 try/except，碰到读失败的样本就跳到下一个 idx。
• javisgpt/eval/eval_und.py 的判分采样参数里有 repetition_penalty，OpenAI 兼容 API 不接受这个键，触发 unexpected keyword argument。build_judge_llm 走 OpenAI 分支时把这个键过滤掉了。

结果定性总结

完整数值在 results/javisgpt_v10/av_und/eval_res.json，per-sample 的裁判判定写在每个子集目录下的 merge_judge.jsonl。

• 三个 video 子集（ActivityNet, Perception, MVBench）、AVQA、MU-AVQA 与论文报告基本对齐（绝对差异 ≤ ~3 点），可视为复现成功。
• TUT2017 比论文报告值明显更高，可能与裁判更宽松或 prompt 解读差异有关。
• ClothoAQA 略低于论文，差值在裁判一致性的合理波动范围内。
• AVSD 明显低于论文，主要怀疑两点：(a) 多轮对话的逐轮判分对裁判要求更高，Qwen2.5-32B 相对 72B 在长对话场景上的稳定性较差；(b) 我们使用了过滤后的 meta，AVSD 部分被切走也可能影响整体分布。

整体上，单模态（video、audio）和 AV 同步任务（AVQA、MU-AVQA）的复现质量较好，多轮对话型 AV 任务（AVSD）受裁判规模影响较大。