이 리뷰는 오직 학습과 참고 목적으로 작성되었으며, 해당 논문을 통해 얻은 통찰력과 지식을 공유하고자 하는 의도에서 작성된 것입니다. 본 리뷰를 통해 수익을 창출하는 것이 아니라, 제 학습과 연구를 위한 공부의 일환으로 작성되었음을 미리 알려드립니다.
본 논문은 IEEE 논문으로 2019년 9월 16일 출판된 논문이지만 연구에 도움이 될만한 부분이 많아 보여 리뷰하게 되었다.
Abstract
이 논문에서는 반도체에서 결함 분류 결과로부터 수율 감소의 원인을 식별하는 결함 분석 작업에 대해 다룬다고 나와 있고 분석 작업을 defect classification, defect trend monitoring, detailed classification 세 가지 단계로 나누었다. 전이 학습 방법에 기반한 컨볼루션 신경망(CNN)을 사용하여 자동 결함 분류를 수행했고, 실제 반도체 제조 데이터 세트에서 결함 분류 작업을 수행하고, 주사전자현미경(SEM) 이미지를 사용하여 제안된 방법을 평가하고 성능을 철저히 검토했다고 한다. 그리고 이 연구에서 결과적으로 제안된 방법은 수동 검사를 위한 노동의 1/3에 해당하는 비용을 절감하면서 결함 이미지를 높은 정확도로 분류할 수 있다고 결론지었다.
Introduction
서론에서는 defect inspection과 detect trend monitoring이 반도체 결함 분류에서 얼마나 중요한 작업인지를 소개한다. 반도체 웨이퍼 생산 현장에서는 optical wafer inspection tools와 scan ning electron microscope (SEM)-based review tools를 사용한다고 한다고 하는 등 반도체 결함 분류 환경도 소개한다.
하지만 위 그림처럼 반도체 장치 제조 과정에서 결함은 다양한 형태와 질감을 가지고 있다. 이로 인해 수동 결함 분류의 정확도는 검사자의 전문성에 크게 의존한다. 그리고 여기서 자동 결함 분류(ADC)가 등장하는데 자동 결함 분류는 결함 이미지를 외형을 기반으로 미리 정의된 결함 클래스로 자동으로 분류하는 기능이다.
그리고 다양한 분류기 레퍼런스를 인용하였는데 rule based classifiers, learning-based classifiers, hybrid-type classifiersrk 가 있었다. 참고하면 좋을 것 같다.
- P. B. Chou, A. R. Rao, M. C. Sturzenbecker, F. Y. Wu, V. H. Brecher (1997)
제목: 반도체 제조를 위한 자동 결함 분류
발표지: Machine Vision and Applications, vol. 9, no. 4, pp. 201-214, 1997년 2월. - K. Watanabe, Y. Takagi, K. Obara, H. Okuda, R. Nakagaki, T. Kurosaki (2000)
제목: 신뢰할 수 있는 고속 SEM-ADC를 이용한 효율적인 킬러 결함 제어
발표지: ASMC 컨퍼런스, 2000, pp. 219-222. - S. Chen, T. Hu, G. Liu, Z. Pu, M. Li, L. Du (2008)
제목: PCA와 SVM을 기반으로 한 IC 포토마스크 결함 분류 알고리즘
발표지: Image and Signal Processing Congress, vol. 1, pp. 491-496, 2008. - J. Ritchison, A. Ben-Porath, E. Molasay (2000)
제목: 고급 공정 팹에서 SEM 기반 ADC 평가 및 통합
발표지: SPIE 컨퍼런스, vol. 3998, pp. 258-268, 2000..
이러한 여러 가지 자동 결함 분류 시스템 방법이 제시되었음에도 불완전한 데이터와 결함 분류 문제 자체가 시간이 지남에 따라 변하는 제조 공정의 미묘한 환경은 ADC 작업을 해결하기 어렵게 만들었다. 이 논문에서는 일관되지 않은 수동 분류와 다른 비용 문제를 해결하기 위해, 이들은 컨볼루션 신경망(CNN) 기반의 전이 학습 방법을 이용한 자동 결함 분류 방법을 제시했다. 많은 작업에서는 데이터 레이블링 과정이 비용이 많이 들기 때문에 강력한 감독 정보를 얻기 어려운 경우가 많다고함.
논문의 나머지 부분은 다음과 같이 구성되어 있음
II장 결함 분석 작업을 살펴봄
III장 본 방법과 관련된 연구를 소개함
IV장 자동 결함 분류를 위한 CNN 방법을 채택함
V장 훈련 데이터를 위한 레이블 수를 줄이기 위한 전이 학습 접근 방식을 소개함
VI장 모델 훈련의 가속화에 대해 논의
II. DEFECT ANALYSIS TASK
defect classification에서 주사전자현미경(SEM)을 이용한 검사 시스템에서 캡처된 결함 이미지는 여러 종류의 결함 유형으로 분류함, defect trend monitoring에서는 분류 결과를 사용하여 각 결함 유형의 발생 빈도를 모니터링, 특정 결함 유형의 발생 빈도가 증가하면, 해당 유형으로 분류된 이미지는 더 구체적인 하위 범주로 재분류되어 공정 실패의 근본 원인을 식별
defect trend monitoring 은 분류 결과를 기반으로 자동화될 수 있지만, 분석의 첫 번째 및 세 번째 단계에서는 비용이 많이 드는 수동 검사나 재확인이 필요함. 따라서 이들은 분석의 첫 번째 및 세 번째 단계에서 엔지니어의 작업을 지원하기 위해 딥 러닝 기술을 사용한다고 소개했다.
III. RELATED WORK
이 논문에서는 자동 결함 분류(ADC) 시스템 개발에 초점을 맞추어 반도체 제조와 결함 분류와 관련된 이전 연구들을 소개했다.
기존의 연구들에서는 여러 결함 분류 방법들이 제시되었으나, 규칙 기반 분류기나 기계 학습 기반 분류기들은 특히 고급 제조 공정에서 발생하는 복잡한 결함을 정확하게 분류하는 데 어려움이 있었다. 이러한 문제를 해결하기 위해 최근에는 딥 러닝 기반의 접근 방식이 제시되었으며, 특히 컨볼루션 신경망(CNN)을 사용한 모델들이 높은 성능을 보였다고 주장했다.
- S. Zhou, Y. Chen, D. Zhang, J. Xie, and Y. Zhou (2017)
제목: Classification of surface defects on steel sheet using convolutional neural networks
발표지: Materiali Tehnologije, vol. 51, no. 1, pp. 123–131, 2017.
내용: 강판 표면의 결함 분류를 위한 컨볼루션 신경망(CNN)을 활용한 연구
- A. Seker, K. A. Peker, A. G. Yüksek, and E. Delibaş (2016)
제목: Fabric defect detection using deep learning
발표지: Proceedings of the SIU Conference, 2016, pp. 1437–1440.
내용: 직물 결함 감지를 위한 딥러닝 기술을 사용한 연구로, 직물 결함을 자동으로 탐지하는 방법에 대해 설명
- S.-H. Huang and Y.-C. Pan (2014)
제목: Automated visual inspection in the semiconductor industry: A survey
발표지: Computers in Industry, vol. 66, pp. 1–10, 2014년 1월.
내용: 반도체 산업에서의 자동 시각 검사에 관한 설문 조사로, 시각 검사 기술의 발전 및 적용 사례를 다룸.
- T. Nakazawa and D. V. Kulkarni (2018)
제목: Wafer map defect pattern classification and image retrieval using convolutional neural network
발표지: IEEE Transactions on Semiconductor Manufacturing, vol. 31, no. 2, pp. 309–314, 2018년 5월.
내용: 웨이퍼 맵 결함 패턴 분류와 이미지 검색을 위한 CNN을 사용한 연구
- K. Nakata, R. Orihara, Y. Mizuoka, and K. Takagi (2017)
제목: A comprehensive big-data-based monitoring system for yield enhancement in semiconductor manufacturing
발표지: IEEE Transactions on Semiconductor Manufacturing, vol. 30, no. 4, pp. 339–344, 2017년 11월.
내용: 반도체 제조에서 수율 향상을 위한 종합적인 빅 데이터 기반 모니터링 시스템에 대해 설명
- J. Kim, S. Kim, N. Kwon, H. Kang, Y. Kim, and C. Lee (2018)
제목: Deep learning based automatic defect classification in through-silicon via process
발표지: Proceedings of the 29th Annual SEMI Advanced Semiconductor Manufacturing Conference (ASMC), 2018, pp. 35–39.
내용: 실리콘 관통 공정에서의 자동 결함 분류를 위한 딥러닝 기반 방법을 다룬 연구
- S. Cheon, H. Lee, C. O. Kim, and S. H. Lee (2019)
제목: Convolutional neural network for wafer surface defect classification and the detection of unknown defect class
발표지: IEEE Transactions on Semiconductor Manufacturing, vol. 32, no. 2, pp. 163–170, 2019년 5월.
내용: 웨이퍼 표면 결함 분류와 미지의 결함 클래스 탐지를 위한 CNN 활용 연구
- H. Yang, S. Mei, K. Song, B. Tao, and Z. Yin (2018)
제목: Transfer-learning based online Mura defect classification
발표지: IEEE Transactions on Semiconductor Manufacturing, vol. 31, no. 1, pp. 116–123, 2018년 2월.
내용: 전이 학습 기반의 온라인 Mura 결함 분류 방법에 대한 연구
이들 방법의 단점은 정확한 정답 레이블을 가진 수천 개의 훈련 데이터가 필요하다는 점이다. 데이터 레이블링 비용을 줄이는 한 가지 방법은 약한 감독 학습(weakly supervised learning)의 사용이며. 참고 논문에 Zhou는 약한 감독을 세 가지 유형으로 나누었으며, 그들은 각각 다음과 같이 설명된다. 불완전한 감독(incomplete supervision)에서는 훈련 데이터의 일부만 레이블이 매겨지고 나머지 데이터는 레이블이 없으며, 부정확한 감독(inexact supervision)에서는 대략적인 레이블만 사용됩니다. 부정확한 감독(inaccurate supervision)에서는 레이블이 항상 정답일 수 없으며, 이는 작업자의 피로도나 특정 이미지를 분류하는 어려움 때문이라고한다.
이 논문에서 이들은 이미 수동으로 불완전하게 레이블이 매겨진 대규모 데이터 세트를 가지고 있기 때문에 부정확한 감독(inaccurate supervision) 방식을 채택했고. 또한, 전이 학습 방법을 사용하여 정답 레이블을 가진 훈련 데이터의 양을 줄였습니다.
여기까지 정리하자면 본 논문에서는 반도체 제조와 같은 고도로 전문화된 분야에서는 데이터 라벨링이 매우 까다롭고 시간이 많이 걸리기 때문에 완벽한 라벨링이 되지 않은 데이터를 사용하여 모델을 학습시키는 방식 약한 감독 학습(weakly supervised learning) 방식을 사용하여 모델을 훈련시키겠다고 소개한다.
IV. DEFECT CLASSIFICATION BY DEEP LEARNING
Network Structure
입력 SEM 이미지는 128 x 128로 크기를 조정하였다. 이들은 Szegedy et al이 개발한 Inception 모델을 채택하였다. 각 모듈은 3가지 크기의 필터(1×1, 3×3, 5×5)로 구성되었으며, 최대 풀링과 결합된 출력이 후속 Inception 모듈로 전달되었다. 비용 절감을 위해 입력 채널의 수를 제한하기 위해 3x3과 5x5 컨볼루션 앞에 추가적인 1x1 컨볼루션을 추가하였다. 이 방법은 "컨볼루션 팩토리제이션(convolution factorization)"이라고 불리며, 각 Inception 모듈에서 파라미터 수를 줄여 계산 비용을 감소시켰다. 이들은 33개의 컨볼루션 층을 포함하는 10개의 Inception 모듈을 채택하였다. 각 컨볼루션 층에서는 정류된 선형 활성화(ReLU)를 사용하였다. 컨볼루션 층 뒤에는 크기 256의 완전 연결(FC) 층을 추가하였고, 그 후 시그모이드 활성화가 적용되었다. 드롭아웃을 거친 후에는 결함 클래스 크기의 또 다른 FC 층이 추가되었다. 마지막 층은 클래스 확률 계산을 위한 소프트맥스(softmax) 층이었다. 추가로 CNN 파라미터 학습을 위해서는 가장 많이 사용되는 최적화 알고리즘인 미니배치 확률적 경사 하강법(mini-batch stochastic gradient descent) 방법을 사용하였다.
C. Szegedy, V. Vanhoucke, S. Ioffe, J. Shlens, and Z. Wojna (2016)
제목: Rethinking the inception architecture for computer vision
발표지: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, USA, 2016, pp. 2818–2826.
내용: 컴퓨터 비전에서 Inception 아키텍처를 재구성한 연구로, 성능 향상을 위한 새로운 접근법을 제시
N. Srivastava, G. E. Hinton, A. Krizhevsky, I. Sutskever, and R. Salakhutdinov (2014)
제목: Dropout: A simple way to prevent neural networks from overfitting
발표지: Journal of Machine Learning Research, vol. 15, no. 1, pp. 1929–1958, 2014년 1월.
내용: 신경망의 과적합을 방지하기 위한 Dropout 기법에 대해 설명하는 논문
첫 번째 학습 단계에서는 CNN 모델의 모든 층의 파라미터가 수천 개의 잘못된 레이블을 포함하는 수만 개의 이미지 데이터로부터 학습하고 두 번째 학습 단계에서는, 사전 학습된 CNN 모델의 출력층이 무작위로 초기화된 가중치로 확장되었으며, 몇 개의 신뢰할 수 있는 레이블이 포함된 데이터 포인트를 사용하여 모든 파라미터를 원래 값에서 최소화하도록 학습되었다.
Evaluation Setup
이미지를 128×128 크기로 일관되게 크기 조정하고 각 데이터셋은 비전문가가 라벨을 붙인 노이즈 데이터와 전문가가 라벨을 붙인 순수 데이터로 구성된다. 노이즈 데이터와 순수 데이터는 겹치지 않는다. 순수 데이터는 미세 조정(fine-tuning)과 평가에 사용된다. 각 데이터셋은 수천 개의 이미지로 구성되어 있으며, 여러 개의 결함 클래스로 이루어져 있다.
Result
상용 전통적 자동 결함 분류(ADC) 시스템과 제안된 방법의 분류 성능을 보여준다. 각각의 평균 정확도는 77.23%와 87.26%였다. 제안된 방법은 모든 평가 데이터셋(세트 A부터 세트 D까지)에서 높은 성능을 보였다. 이 결과는 제안된 방법이 전통적인 ADC 시스템보다 우수하다는 것을 나타낸다. 클래스 성능은 일반적으로 샘플 수가 적을수록 저하되는 경향이 있다. 따라서 높은 빈도로 나타난 클래스는 매우 높은 성능을 보였다.
V. TRANSFER LEARNING FOR FINE-GRAINED CLASSIFICATION
세 번째 분석에서는 세분화된 결함이 예상보다 적게 발생하고 수동 분류가 더 어려워 훈련에 사용할 수 있는 신뢰할 수 있는 레이블이 적었다. 이러한 문제는 전이 학습을 통해 해결할 수 있다. 전이 학습 접근 방식은 무엇을 전이할지에 따라 네 가지 유형으로 나눌 수 있다: (1) instance-based, (2) feature-representation, (3) parameter and (4) the relational knowledge
S. J. Pan and Q. Yang (2010)
제목: A survey on transfer learning
발표지: IEEE Transactions on Knowledge and Data Engineering, vol. 22, no. 10, pp. 1345–1359, 2010년 10월.
내용: 전이 학습에 관한 종합적인 설문 조사로, 이 방법의 개념과 응용에 대해 설명함.
첫 번째 단계에서 거친 결함 분류에 사용된 도메인과 세 번째 단계에서 세분화된 결함 분류에 사용되는 도메인이 동일하므로 “good” feature representation을 재사용하기 위해 특성 표현 전이 접근 방식을 채택했다. 구체적으로, 첫 번째 단계의 거친 결함 분류를 위한 사전 훈련된 CNN 모델의 출력 레이어는 세 번째 단계에서 무작위로 초기화된 가중치로 확장되며, 적은 수의 레이블이 있는 데이터 포인트에서 새로운 작업의 손실을 최소화하기 위해 작은 학습률로 모든 파라미터가 조정된다.
세 번째 분석 단계 실험을 위해, 데이터셋 C는 5386개의 세분화된 이미지 레이블 세트를 재레이블링하여 세부 조정 훈련용 데이터로 사용하였고, 5388개의 이미지 세트를 평가용으로 준비했다. 총 29개의 클래스가 있었다. 세분화된 이미지 비율과 정확도 간의 관계를 평가하기 위해, 0.01에서 1까지 여섯 가지 조건이 설정되었으며, 0.01은 세부 조정 훈련을 위해 54개의 이미지를 사용하는 것에 해당한다.
- w/o pre-training (사전 훈련 없이): 이 경우는 사전 훈련을 하지 않고 바로 세분화된 결함 분류 작업을 위해 모델을 학습하는 방식. 즉, 처음부터 세분화된 결함 분류 작업만을 위해 모델을 훈련시킵니다.
- w/ pre-training (사전 훈련을 사용하여): 이 경우는 첫 번째 단계에서 거친 결함 분류를 위한 모델을 먼저 사전 훈련(pre-training) 시킨 후, 세 번째 단계인 세분화된 결함 분류 작업에 이를 전이 학습(transfer learning) 방식으로 활용하는 것입니다. 사전 훈련을 통해 얻은 특성 표현을 재사용하여, 적은 수의 데이터로도 더 좋은 성능을 얻을 수 있도록 합니다.
훈련 데이터 포인트의 수를 변경하여 얻은 데이터셋 C의 세분화된 결함에 대한 분류 정확도를 보여준다. 분류 정확도는 훈련 데이터 포인트 수가 증가함에 따라 초기에는 증가하였으며, 사전 훈련된 제안된 방법이 사전 훈련이 없는 방법보다 모든 조건에서 우수한 성능을 보였다. 특히, 제안된 방법은 훈련 데이터 포인트 수가 적을 때도 높은 분류 정확도를 보였다. 이 결과는 제안된 방법이 레이블이 적은 데이터에 대해 더 높은 강건성을 가지고 있음을 시사한다.
VII. CONCLUSION
본 논문에서는 결함 분류 결과를 통해 수율 감소의 원인을 파악해야 하는 결함 분석 작업에 집중했다. 일관되지 않은 수동 분류와 기타 비용이 많이 드는 문제를 해결하기 위해 CNN 기반의 전이 학습 방법을 제시했다. 딥 러닝은 대량의 라벨링된 훈련 데이터를 필요로 하며, 신뢰할 수 있는 라벨 데이터가 충분하지 않으면 분류 성능이 저하될 수 있다. 우리는 신뢰할 수 없는 라벨 데이터나 다른 작업의 라벨 데이터를 활용하는 전이 학습을 도입했다. 실제 반도체 제조 데이터를 사용한 실험 결과, 제안된 방법이 기존 시스템보다 우수한 성능을 보였으며, 제한된 수의 신뢰할 수 있는 라벨 데이터로 높은 분류 정확도가 달성됨을 확인했다.
리뷰후기
이 논문을 리뷰하면서 전이 학습을 활용한 결함 분류 방법이 매우 흥미롭고 유용하다는 생각을 했다. 특히, 결함 분석을 위한 자동화 시스템에서 수천 개의 정확한 라벨을 필요로 하는 기존 방법과 달리, 이 연구에서는 적은 수의 정확한 레이블로도 높은 정확도를 달성할 수 있다는 점이 인상적이었다. 전이 학습을 활용해 적은 수의 레이블로도 성능을 높일 수 있다는 접근 방식은 내가 준비하고 있는 비슷한 연구에도 큰 도움이 될 것 같다.
출처
K. Imoto, T. Nakai, T. Ike, K. Haruki and Y. Sato, "A CNN-Based Transfer Learning Method for Defect Classification in Semiconductor Manufacturing," in IEEE Transactions on Semiconductor Manufacturing, vol. 32, no. 4, pp. 455-459, Nov. 2019, doi: 10.1109/TSM.2019.2941752.
keywords: {Training;Task analysis;Deep learning;Inspection;Training data;Monitoring;Manufacturing;Machine learning;deep learning;transfer learning;defect classification;semiconductor manufacturing},
참고
- Z.-H. Zhou (2018)
제목: A brief introduction to weakly supervised learning
발표지: Nature Science Review, vol. 5, no. 1, pp. 44–53, 2018년 1월