[Application & Tips] Efficient Models

[TensorFlow] Lab-07-3-1 application and tips 모두의 딥러닝 시즌 2 정리...

시즌2 강의가 부실하다고 판단되어 시즌 1 lec 07-2: Training/Testing 데이타 셋 강의 내용 추가 정리

 

목차

• Data sets
  
  • Evaluation using training set?
  • Training and Test sets
  • Trainig / Validation / Testing
• Learning
  
  • Online Learning vs Batch Learning
  • Fine tuning
  • Efficient Models
• Sample Data
  • MNIST / Fashion MNIST / IMDB / CIFAR-100

 

---

Efficient Models

 

 

실제 우리가 fine-tuning이라던지 여러 방법을 통해 모델을 만들었다고 할지라도 우리가 이 모델을 사용하기 위해서는 효율적인 모델을 만드는 것이 중요하다.

결국은 우리가 실제 만든 모델이 속도. 즉, 어떤 이미지를 분류한다고 했을 때 그 이미지를 분류하는 데 10초 라는 시간이 걸리면 사용이 불가능하다고 볼 수 있다.

 

예를 들어,

이미지 내 사람 100명을 분류하는 모델이 있다고 해보자. 그리고 이 이미지를 바라보는 카메라가 100대라고 한다면 이를 처리 연산은 100×100 = 10000. 즉, 1만번의 연산이 요구된다. 

하지만 실세계에서는 엄청난 연산량이 요구되며 이를 처리할 모델이 필요하게 된다.

 

결국엔 Inference time을 최소화하고 해당 모델의 weight 값을 경량화하는 것이 중요하다고 할수 있다.

 

따라서 우리는 fully connected layers 에 대한 파라미터 값이 굉장히 많다보니깐 이것을 1×1 convolution으로 대체하는 기법들이 많이 존재하며 결국 이런 기법들을 통해서 핸드폰에서 딥러닝을 돌리거나 대량의 처리를 위한 것들이 존재한다.