[AITech][Semantic Segmentation][P stage] 20220515 - Retrospect
Retrospect
대회 동안 진행한 일
Baseline 실험
대회를 시작하며 제공된 간단한 baseline 코드를 이용하여 실험을 진행했다.
FCN, Deeplabv3 등 실험을 통해 가장 간단한 베이스라인 모델의 성능이 어느정도 나오는지 확인할 수 있었고, 이를 mmsegmentation 모델 실험 시 참고할 수 있었다.
또한 baseline 코드를 이용해 augmentation에 대한 사전 실험도 진행하였는데, Image classification이나 Object detection에 비해 다양한 augmentation 적용 시 생각만큼 성능이 크게 오르지 않고 오히려 몇몇 augmentation에 대해서는 성능이 하락하는 것을 확인할 수 있었다. 이를 통해 대회 진행 중 적용할 augmentation에 대한 인사이트를 얻고, EDA에 대한 중요성을 팀원들과 공유하였다.
데이터 파이프라인 생성
대회에서 기본으로 주어진 데이터셋은 COCO format의 json 파일로, mmsegmentation에서 이를 활용하려면 적절하게 format을 바꿔주는 과정이 필요했다. 토론 게시판에 있는 글을 참고하여 우리 팀에 맞게 코드를 작성하고, mmsegmentation의 데이터셋 config 파일을 작성하였다.
Backbone/Scheduler/Loss 실험
지난 대회 동안 조작변인/통제변인을 명확히 하여 실험을 진행하지 못했던 것이 아쉬워서 이번 대회에서는 조금 늦더라도 이를 명확히 하여 차근차근 실험을 진행하였다.
Backbone으로는 resnet, convnext, swin-L 등을, Scheduler로는 Poly, StepLR, CosineAnnealing 등을, Loss로는 CE, Focal, Dice, 여러 개를 동시에 사용하는 Multi-loss 등을 실험해보았다.
knet 실험
2020년 발표된 논문의 모델인 knet을 위주로 실험을 진행하였다. Validation score 상에서는 mIoU 값이 0.76 이상이 나올 정도로 좋은 성능을 보였지만, test score 에서는 그러지 못했다. 이에 k-fold, seed ensemble 등 다양한 시도를 해보았지만 명확한 해결책을 찾지는 못했다. 이에 모델 특성 때문일지도 모른다는 생각을 하였다.
느낀 점
배운점 및 좋았던 점
- 이슈 기반 github 협업을 가장 활발하게 했던 대회였던 것 같다. 진행하면서 다양한 어려움에 직면하며 이를 해결하는 과정에서 실제로 협업이 어떤 식으로 이루어져야 할 지 배울 수 있었다.
- 이번 대회에서는 통제변인/조작변인을 명확히 설정하여 하나씩 실험을 진행하였다. 이에 실험의 방향성을 잡을 수 있었고, 각 요소가 성능에 미치는 영향을 알 수 있었다.
- Data cleansing, Pseudo labeling, TTA 등을 활용하여 모델 성능을 끌어올리려는 시도를 하였고, 실제로 해당 기법들이 어느정도의 영향을 주는지 파악할 수 있었다.
한계점 및 아쉬운 점
- 데이터를 많이 만져보지 못 한 것이 아쉽다. 다른 팀원 분이 data cleansing, pseudo labeling 등을 진행하는 과정에서 더 많은 도움을 드리지 못 해 아쉽다. 다음에는 직접 데이터를 만지는 경험을 중점적으로 시도할 것이다.
- knet 모델의 mIoU가 validation set과 test set에서 다른 모델들보다 큰 차이가 나는 이유를 명확히 찾지 못했다. 이를 찾으려 다양한 시도를 해보았지만, 그 차이가 완화되었을 뿐 비슷한 수준으로 align 하지는 못했다. BEiT, SEMASK 등의 모델들은 비교적 align이 잘 되었는데, 모델의 특성 때문일지도 모르겠다는 생각을 해본다.
- Image Classification에서 focal loss와 dice loss 등을 함께 사용하는 multi-loss가 좋은 성능을 보였다고 하는데, 이를 이번 segmentation 대회에서 시도해보았지만 성능의 향상이 없었던 것이 아쉽다.
Leave a comment