HRNet-W18 기반 얼굴 랜드마크 검출 모델에 대해 synthetic low-light augmentation이 landmark robustness에 미치는 영향을 분석한 프로젝트입니다.
본 실험에서는 WFLW 데이터셋을 사용하여 gamma correction, noise, blur 및 mixed training 기반 저조도 augmentation을 적용하고, 전체 test set 및 illumination subset에서의 NME 변화를 비교하였습니다.
실험 결과, 원본 데이터로 학습한 baseline 모델이 가장 좋은 성능을 보였으며, 단순 synthetic low-light augmentation만으로는 facial landmark robustness 향상이 어렵다는 점을 확인하였습니다.
-
HRNet Facial Landmark Detection HRNet-Facial-Landmark-Detection
-
WFLW Dataset WFLW Dataset (Kaggle)
- Model: HRNet-W18 Facial Landmark Detection
- Dataset: WFLW
- Task: 98-point facial landmark detection
- Metric: NME, 낮을수록 좋음
- Goal: synthetic low-light augmentation이 illumination robustness에 미치는 영향 분석
저조도 환경에서는 contrast 저하, noise, blur로 인해 얼굴의 세밀한 landmark 위치 추정이 어려워질 수 있습니다. 본 실험은 gamma, noise, blur 기반의 단순 synthetic augmentation이 실제 illumination variation에 도움이 되는지 확인하는 것을 목표로 합니다.
WFLW는 pose, expression, occlusion, blur, makeup, illumination 등 다양한 in-the-wild variation을 포함하는 98-point facial landmark dataset입니다.
평가는 두 가지 기준으로 수행했습니다.
- WFLW Test: 전체 test set 성능
- Illumination Subset: 조명 변화 샘플에 대한 성능
비교한 학습 데이터 구성은 다음과 같습니다.
- Baseline: normal
- Gamma: normal + gamma
- Gamma+Noise: normal + gamma_noise
- Gamma+Noise+Blur: normal + gamma_noise_blur
- Mix30: normal 70% + Gamma+Noise+Blur 기반 low-light 30%
- Input size: 256 x 256
- Heatmap size: 64 x 64
- Pretrained weights: HRNetV2-W18 ImageNet pretrained
- Optimizer: Adam
- Learning rate: 0.0001
- Batch size per GPU: 64
- Epochs: 20
- Base augmentation: flip, scale, rotation
| Model | Train Data | WFLW Test NME ↓ | Illumination NME ↓ |
|---|---|---|---|
| Baseline | normal | 6.08 | 6.05 |
| Gamma | normal + gamma | 6.93 | 6.88 |
| Gamma+Noise | normal + gamma_noise | 7.30 | 7.40 |
| Gamma+Noise+Blur | normal + gamma_noise_blur | 6.57 | 6.57 |
| Mix30 | normal 70% + low-light 30% | 6.45 | 6.39 |
Baseline이 전체 test set과 illumination subset 모두에서 가장 낮은 NME를 기록했습니다. 이는 본 실험 조건에서 단순 synthetic low-light augmentation이 HRNet-W18의 저조도 강건성을 개선하지 못했음을 보여줍니다.
Gamma와 Gamma+Noise는 baseline보다 성능이 낮았으며, 특히 noise를 추가했을 때 성능 저하가 가장 컸습니다. Landmark detection은 세밀한 local texture와 boundary cue에 의존하기 때문에 noise가 localization을 방해했을 가능성이 있습니다.
Gamma+Noise+Blur는 Gamma+Noise보다 일부 성능이 회복되었지만 baseline에는 도달하지 못했습니다. Mix30 역시 성능 저하를 완화했지만 baseline을 넘지는 못했습니다.
- Baseline이 가장 좋은 성능을 보였습니다.
- 단순 synthetic low-light augmentation만으로는 robustness 향상이 어려웠습니다.
- Noise augmentation은 landmark localization 성능을 크게 저하시켰습니다.
- Blur 추가 시 일부 성능 회복 경향이 있었습니다.
- Mix30은 성능 저하를 줄였지만 baseline보다 좋지는 않았습니다.
- WFLW가 이미 다양한 illumination variation을 포함하고 있을 가능성이 있습니다.
- Synthetic low-light와 실제 illumination distribution 사이 domain gap이 존재할 수 있습니다.
본 실험에서는 gamma, noise, blur 기반 synthetic low-light augmentation이 WFLW illumination subset 성능을 개선하지 못했습니다. 단순한 image degradation은 실제 저조도 분포를 충분히 반영하지 못하거나, landmark localization에 필요한 시각적 단서를 손상시킬 수 있습니다.
따라서 low-light robustness 향상을 위해서는 더 현실적인 저조도 합성 방식, augmentation 강도 조절, 실제 low-light 데이터 활용, domain adaptation 등의 추가 실험이 필요합니다.
- 다양한 augmentation 강도에 대한 ablation
- 다른 low-light mixing ratio 실험
- 실제 low-light facial dataset 평가
- Landmark별 error 분석
- 더 현실적인 low-light synthesis 또는 domain adaptation 적용