🔥損失関数をDice Loss へ変更する

[takusugar0]

概要

• Longformerのtraining codeにて，損失関数をcross entropy LossからDice Lossへ変更する

参考情報

• The Best Loss Function for this Competition
  → Dice Lossが効くのでは？という指摘
  abhishekkrthakur/long-text-token-classification
  → Training code

経過

[takusugar0]

Training Code

https://www.kaggle.com/sugar0/two-longformers-are-better-than-1-training/edit

Todo

• Wandbを載せてloss監視　→ tezで学習しているので，wandbでのlogが辛い
• cross entropy loss (default loss function) でoof
• Dice loss でoof

[takusugar0]

• cross entropy loss
  f1 0.657

[takusugar0]

loss function変えても飛躍的に上がらなさそうなので
#5 を優先する

[takusugar0]

インパクトが小さそう+時間がないので，今あるモデルで戦う方法を考える