复现和LasHeR问题

[jcwang0602]

在LaSOT上复现结果差了1.6%，不知道是不是因为LasHeR数据集中出现了太多缺失的原因，作者能否提供一下训练日志，或者使用的LasHeR数据集？

[chenxin-dlut]

你好，重新训练可能会存在微小的性能的浮动，1.6%看上去有些大，可否将配置文件发来看下。
LasHeR数据集与官方数据集一致。

[jcwang0602]

感谢大佬的回复，我用的config就是这个仓库默认的，并没有进行任何的修改。
此外，只有在LaSOT上差距明显，在TNL2K数据集上几乎一致，感觉蛮奇怪的
配置如下：
DATA:
MAX_SAMPLE_INTERVAL: 400
MULTI_MODAL_LANGUAGE: True
MULTI_MODAL_VISION: True
MEAN:

• 0.485
• 0.456
• 0.406
  SEARCH:
  CENTER_JITTER: 3.5
  FACTOR: 4.0
  SCALE_JITTER: 0.5
  SIZE: 224
  NUMBER: 1
  STD:
• 0.229
• 0.224
• 0.225
  TEMPLATE:
  CENTER_JITTER: 0
  FACTOR: 2.0
  SCALE_JITTER: 0
  SIZE: 112
  NUMBER: 2
  TRAIN:
  DATASETS_NAME:
  • LASOT
  • GOT10K_vottrain
  • COCO17
  • TRACKINGNET
  • VASTTRACK
  • TNL2K_train
  • DepthTrack_train
  • VisEvent
  • LasHeR_train
    DATASETS_RATIO:
  • 4
  • 4
  • 4
  • 4
  • 4
  • 4
  • 2
  • 2
  • 2
    SAMPLE_PER_EPOCH: 100000
    USE_NLP:
    TNL2K: True
    MODEL:
    ENCODER:
    TYPE: fastitpnb
    STRIDE: 16
    PRETRAIN_TYPE: 'pretrained/itpn/fast_itpn_base_clipl_e1600.pt' # This parameter is not activated for now.
    PATCHEMBED_INIT: halfcopy
    DROP_PATH: 0.1
    TOKEN_TYPE_INDICATE: True
    TEXT_ENCODER:
    TYPE: ViT-L/14
    DECODER:
    TYPE: CENTER
    NUM_CHANNELS: 256
    CONV_TYPE: normal
    XAVIER_INIT: True
    TASK_DECODER:
    NUM_CHANNELS: 256
    FEATURE_TYPE: average
    TASK_NUM: 5
    TASK_INDEX:
    VASTTRACK: 0
    LASOT: 0
    TRACKINGNET: 0
    GOT10K: 0
    COCO: 0
    TNL2K: 1
    DEPTHTRACK: 2
    LASHER: 3
    VISEVENT: 4
    TRAIN:
    TYPE: text_frozen
    ENCODER_MULTIPLIER: 0.1
    BATCH_SIZE: 32
    EPOCH: 180
    GRAD_CLIP_NORM: 0.1
    LR: 0.0001
    LR_DROP_EPOCH: 144
    NUM_WORKER: 10
    OPTIMIZER: ADAMW
    PRINT_INTERVAL: 50
    SCHEDULER:
    TYPE: step
    DECAY_RATE: 0.1
    WEIGHT_DECAY: 0.0001
    TEST:
    EPOCH: 180
    SEARCH_FACTOR: 4.0
    SEARCH_SIZE: 224
    TEMPLATE_FACTOR: 2.0
    TEMPLATE_SIZE: 112
    WINDOW: True
    NUM_TEMPLATES: 2
    UPDATE_INTERVALS:
    DEFAULT: 25
    UPDATE_THRESHOLD:
    DEFAULT: 0.70
    MULTI_MODAL_VISION:
    DEFAULT: True
    MULTI_MODAL_LANGUAGE:
    DEFAULT: True
    USE_NLP:
    DEFAULT: False
    TNL2K: True

[qutv]

在LaSOT上复现结果差了1.6%，不知道是不是因为LasHeR数据集中出现了太多缺失的原因，作者能否提供一下训练日志，或者使用的LasHeR数据集？

你好！我想请问一下你有遇到这种缺失情况吗？还是能正常训练
data sampler bug: OpenCV(4.12.0) /io/opencv/modules/imgproc/src/color.cpp:199: error: (-215:Assertion failed) !_src.empty() in function 'cvtColor'