bash scripts/isf_bert.sh ${name} ${model_dir} dev

[xm1217]

这个阶段产生出的test_rel 和dev_rel分别对应的是什么

[YoumiMa]

@xm1217 您好，感谢您对此项目的兴趣。

scripts/isf_bert.sh实际在开发集上进行了两步推论，第一步推论relation和evidence的标签（这由--eval_mode single触发），第二步根据第一步推论出的evidence标签构建pseudo-document（这由--eval_mode fushion触发），并在其基础上推论relation的标签。比如，上图在第二步构建了36,227个pseudo-document。

因此，test_rel和dev_rel均对应开发集上的关系抽取精度。这里notation定义得不好，给您带来误解，我们深感抱歉。

希望这能解决您的问题，谢谢。