loss为NAN

[AliciaYan1]

你好，为什么复现的时候，一个epoch还没有跑完loss就已经出现NAN，且输出的结果val.jaon中的各个值也是NAN，这可能是什么问题吗

[callsys]

你好！请问复现使用的服务器配置怎么样呢。另外可以提供下log文件和使用的配置文件看看问题。

[AliciaYan1]

你好！请问复现使用的服务器配置怎么样呢。另外可以提供下log文件和使用的配置文件看看问题。

log.txt

因为用的单卡4090D，所以先采用一小部分数据训练

[callsys]

你好，原文结果是在8卡A100 80G训练出来的。我们也尝试过在4卡A100上训练，结果也不会有损失。如果单卡4090，的确有可能因为batch size太小了导致训练不稳定。可以尝试使用梯度累加等策略缓解batch size过小的问题。

[AliciaYan1]

你好，原文结果是在8卡A100 80G训练出来的。我们也尝试过在4卡A100上训练，结果也不会有损失。如果单卡4090，的确有可能因为batch size太小了导致训练不稳定。可以尝试使用梯度累加等策略缓解batch size过小的问题。
谢谢你的及时回复，我试一试使用梯度累加看能否缓解