[Deep Learning] Transfer Learning과 Knowledge distillation
·
Technology Notes
Pre-trained Model 개념 Pre-trained Model (사전 학습 모델)은 대규모 데이터셋으로 이미 학습이 끝난 모델.이 모델은 특정 문제를 풀기 위해서 처음부터 학습한 것이 아니라, 충분히 크고 일반적인 데이터셋에서 학습된 지식을 내포하고있음입력에 가까운 레이어: Low-level feature (엣지, 색상, 질감 등).출력에 가까운 레이어: High-level feature (객체의 의미론적 특징).이런 계층적 구조 덕분에, 한 번 학습된 CNN은 단순히 원래 문제에서만 쓰이는 것이 아니라, 다른 문제에서도 충분히 활용 가능한 표현을 제공이러한 특징은 다른 태스크에도 활용 가능. feature를 학습하는 파트에서 활용 + 당연히 Task가 다르다면 head는 달라야됨 Transfe..