Big conv layer to Small conv layer로 변경하는 이유는?

큰 컨볼루션(convolution) 레이어를 작은 컨볼루션 레이어로 변경하는 이유

1. 계산 비용 감소: 대규모의 컨볼루션 레이어는 많은 파라미터와 계산 비용을 요구
   1. 이는 모델의 학습 및 추론 속도를 느리게 만듬
   2. 작은 컨볼루션 레이어로 변경하면 모델의 계산 비용을 줄일 수 있으며, 더 빠른 학습 및 추론을 가능
2. 과적합 방지: 대규모의 컨볼루션 레이어는 모델의 복잡성을 증가시키고, 많은 파라미터를 학습
   1. 이는 작은 데이터셋에서 과적합(overfitting) 문제
   2. 작은 컨볼루션 레이어로 변경하면 모델의 복잡성을 줄일 수 있으며, 과적합을 방지
3. 일반화 성능 향상: 작은 컨볼루션 레이어는 보다 간결한 표현력
   1. 이는 모델이 데이터의 본질적인 특징을 더 잘 파악하고, 일반화 성능을 향상
4. 특징 추출의 단순화: 대규모의 컨볼루션 레이어는 복잡한 특징을 추출할 수 있지만, 이는 종종 과도한 세부 정보를 포함
   1. 작은 컨볼루션 레이어로 변경하면 모델이 더 간단하고 중요한 특징을 추출할 수 있으며, 이를 통해 모델의 해석이 용이
5. 메모리 사용량 감소: 대규모의 컨볼루션 레이어는 더 많은 메모리를 필요
   1. 작은 컨볼루션 레이어로 변경하면 메모리 사용량을 줄일 수 있으며, 이는 모델을 더 많은 데이터나 파라미터로 확장하는 데 도움