feedback regarding autoencoder

Today’s feedback:

• 오토인코더 성능을 좋게 할 수 있는 방법은? 오토인코더 중에서 좋은 성능을 가진 모델은 무엇인가?
  • 하이퍼 파라미터 튜닝 = latent feature 수, epoch 수를 늘리는 것.
  • 코드가 잘못 ⇒ accuracy 0 (다 맞는데 라벨을 잘못.)
  • 0.5보다 낮으면 코드가 틀렸을 경우 혹은 major class를 못 맞추는 경우
  • classification report에서 잘못된 게 있는지, overfitting의 가능성이 높음
  • 드롭아웃으로 학습이 안되었을 때에도 존재하지만 성능이 완전 나쁠 수는 없음.
  • 심한 드롭아웃을 하더라도 output은 랜덤샘플링에 가까운 것으로 나와야 함. (0.5에 근사하게.)
  • 성능이 0 = 결과 계산부분에서 이슈가 있을 수 있으므로 확인 필요함.
  • data 분포에 상황에 따라 다름. convolutional & denoising autoencoder가 부수적으로..
• 불균형 데이터를 처리하고 나서 딥러닝 모델의 성능이 나빠질 수 있는 경우 존재??
  • 가능함.
  • 확인 사항: 오토인코더의 성능(latent feature이 좋은지 - 오토인코더 l2 loss 먼저 확인)과 upsampling의 영향이 충분했는가 (분류성능에서는 좋지 않음. upsampling 먼저 → test 성능 확인 먼저, stratify 비율을 가지고 확인, 학습에서는 upsampling ⇒ 최종에서는 원본 데이터 셋으로)
• 오토 인코더에서 dense unit값이 늘어나면 성능이 나빠질 수도 있는지 여부
  • 오토인코더의 학습 먼저 확인 → l2 loss가 낮아지도록 하는 방향 → decode → 학습을 다시 (따로 학습)
  • 일반적으로 latent layer를 늘리거나 하지 않음.

성능 문제 (낮은 accuracy 문제) 해결!!