제출 번호 모델 메모 f1 (public → private) acc (public → private) acc (train , val) loss (train , val) config.json 　 (SOTA 비교하여 다른 점) 아쉬운 점 + 느낀 점
1 Eff b6 train,val 그래프는 좋던데.. 0.4896 → 0.4872 63.2063 → 61.7619 90 , 89.31 기록 지움ㅠ batch : 64(valid 도) , optm : Adam ,epoch : 10, loss : focal , lr : 1e-5 이미지 사이즈(논문에 맞추지 않고 아마 128,96?)
2 Eff b7 오버피팅 끝판왕..; 0.6077 → 0.5864 68.2063 → 67.7619 99 , 96.80 기록 지움ㅠ (1) + epoch : 40 (1)와 같음
3 Eff b7 custom augmentation 추가 + age band : 25,55 0.5891 → 0.5584 64.4286 → 63.7143 99 , 92.83 기록 지움ㅠ (2) + custom Augmentation (1)와 같음 + (25,55)는 아니군!
4 Eff b7 Base augmentation 그대로 + age band : 27,57 0.6332 → 0.5983 68.3968 → 66.5238 기록 지움ㅠ 기록 지움ㅠ (2) + batch : 32 (1)와 같음 + (27,57)은 그나마..?
5 Vit age band : 27,57 0.2781 → 0.2719 37.0635 → 35.6190 기록 지움ㅠ 기록 지움ㅠ (1) + epoch : 3 + resize : 224,224 다른 분들은 잘 되던데..
6 Swin Transformer age band : 29,57(🙏태일님) choices → sample(🙏주영님) 여기까지 (base_v2) 0.6621 → 0.6527 73.8571 → 74.3016 기록 지움ㅠ 기록 지움ㅠ epoch : 1 , dataset : MaskSplitByProfileDataset, augmentation : CustomAugmentation , batch : 16 , optm : AdamW ,lr : 2e-5, loss : f1 , lr_decay_step : 4 ,val_ratio : 0.2 epoch 왜 1로했지..
7 Swin Transformer + Lightning 이제부턴 (6)과 동일(🙏세연님) 0.7763 → 0.7623 81.7619 → 81.1270 87 , 83 0.57 , 0.38 (6) + epoch : 5 최고 기록 달성!
8 Swin Transformer + Lightning 0.7594 → 0.7402 79.8730 → 79.3333 96 , 83 0.53 , 0.37 (6) + epoch : 15 오버피팅의 표본..
9 Swin Transformer + Lightning 0.7594 → 0.7402 79.8730 → 79.3333 96 , 85 0.53 , 0.36 (6) + epoch : 13 15번 돌리면 오버피팅 나구나.. 13번 돌린다면 ..? → 여전히 오버피팅, 제출할 때 비교해보고 내자..
10 Swin Transformer + Lightning 0.7414 → 0.7281 78.8413 → 79.0000 93 , 83 0.5 , 0.37 (6) + epoch : 7 7번 돌리면 더 낮게 나오네 ..? → 실시간으로 best.pth 파일 확인해야겠네
11 Swin Transformer + Lightning 0.7763 → 0.7623 81.7619 → 81.1270 92 , 83 0.57 , 0.38 (6) + epoch : 6 무지성으로 6번돌림(자정 직전 기회 남음) → 분석 후 제출하자..그래프 봤으면 3번 돌린게 최적인 걸 알았을텐데..
12 Swin Transformer + Lightning age band 실험 → 29,58 0.7808 → 0.7741 82.0635 → 81.9524 90 , 86 0.57 , 0.38 (6) + epoch : 5 + ageband : 29,58 초심으로 돌아와 기본세팅 + age밴드 수정 → 기록 갱신, train vs val 비교해서 그래프만 봐도, ‘이게 일반화가 잘된거구나’ 바로 알 수 있음(train vs val의 그래프 간격 차이)
13 Swin Transformer + Lightning age band 실험 → 29,59 0.7727 → 0.7651 82.3175 → 81.9683 91 , 89 0.55 , 0.3867 (6) + epoch : 5 + ageband : 29,59 내 모델 기준 29,58이 최적이겠군!
14 Swin Transformer + Lightning age band 29,57로 회귀(age band의 최적을 알았으니.. 다른것을 조절해볼까? → epoch:3) 0.7763 → 0.7623 81.7619 → 81.1270 86 , 83 0.60 , 0.42 (6) + epoch : 3 무지성 실험 끝 . 실험관리의 중요성 → 하나를 변경했으면 나머지도 다시 변경해야 하나? → 그러지말고 AutoML 또는 최적의 파라미터 세팅후에 비교하자(epoch은 그래프만 봐도 아니까) + 이때 머리 복잡하기 시작
15 Swin Transformer + Lightning 최적으로회귀(12) + val_ratio 팀원끼리 다른거 확인하고 0.2 →0.1 0.7679 → 0.7430 81.0317 → 80.3175 90 , 86 0.56 , 0.38 (12) + val_ratio : 0.2 → 0.1 태일님 데이터의 경우엔 샘플링을 통해 학습데이터 부족 → val ratio 가 0.1인게 적합, 하지만 내 데이터의 경우는 충분하기에 val ratio를 줄이면 오버피팅이 일어날 수 있음!(f1 score 감소한게 큼), 하지만 실험관리 보면서 꼼꼼하게 다른 점 파악한 건 잘함!
16 Swin Transformer + Lightning (15) + epoch 8 0.7723 → 0.7585 81.4762 → 81.3016 94 , 87 0.55 , 0.40 (12) + val_ratio : 0.2 → 0.1 + epoch : 5 → 8 val ratio를 줄이고 epoch을 8로 늘리면, 오히려 오버피팅이 날거라고 생각했는데, 왜 더 늘지..? 알다가도 모르겠네
17 Swin Transformer + Lightning 최적으로회귀(12) + Test Data Center Crop 0.7822 → 0.7731 81.6508 → 81.5397 (12) 그대로 →test data set만 수정했으니 (12) 그대로 →test data set만 수정했으니 (12) + Test Data Set Center Crop 대회마다 다르겠지만, 이번 대회의 경우는 암호화된 파일로 테스트데이터 제공 → 살펴본후에 학습데이터와 다를게없네? → 데이터전처리 학습과 동일하게 해도 될듯! → 개인 최고기록 갱신!
18 Swin Transformer + Lightning 최적으로회귀(12) + Test Data에 Center Crop, Color Jitter 0.7776 → 0.7670 81.2857 → 81.0794 (12) 그대로 →test data set만 수정했으니 (12) 그대로 →test data set만 수정했으니 (12) + Test Data Set Center Crop + Test Data Set Color Jitter 센터크롭이 성공했으니, 테스트 데이터를 트레인 데이터와 아예 같게..? → 컬러지터는 안되네.. 어떻게 해석해야 하나(평가 데이터에 노이즈 x..? 학습 데이터와 비슷하다 ..?)

<실험 메모 → 위의 표 기준>

17번 : 2958nogaussianval0.2e5t_ccrop

15번 : 2958val0.1

16번 : 2958val0.1epochs8real

제출x실험만 : 2960val0.2nogaussian → age : 29,60 + SOTA 동일

제출x실험만 : addgaussiannoise → train 시에 AddGaussiannoise 추가 + SOTA동일

12번 : f1loss_exp19=exp19

제출x실험만 : focal → SOTA 동일 + loss만 focal → 발표자료용

exp 2 : epochs 5, age : 29,57 —> 0.7763_81.7619

exp 13 : epochs 6, age : 29,57 —> 0.7763_81.7619

exp 17(exp9) : epochs 7 , age : 29,57 —> 0.7414_78.8413

exp 4 : epochs 15 , age : 29,57 —> 0.7594_79.8730

exp 5 : epochs 13 , age : 29,57 —> 0.7594_79.8730

exp 19 : epochs 5 , age : 29,58 —> 0.7808_82.0635

exp 20 : epochs 5 , age : 29,59 —> 0.7727_82.3175