[논문 리뷰] Selective Search for Object Recognition (선택적 탐색)

이 리뷰는 오직 학습과 참고 목적으로 작성되었으며, 해당 논문을 통해 얻은 통찰력과 지식을 공유하고자 하는 의도에서 작성된 것입니다. 본 리뷰를 통해 수익을 창출하는 것이 아니라, 제 학습과 연구를 위한 공부의 일환으로 작성되었음을 미리 알려드립니다.

---

Selective Search는 기존의 exhaustive search 방식에서 발생하는 비효율성을 해결하기 위해 제안된 객체 탐지 기법입니다. 일반적인 exhaustive search 방식은 모든 영역을 일일이 탐색하는 방식으로, 처리 시간이 오래 걸리고 비효율적입니다. 반면 Selective Search는 Selective Search는 이에 Segmetation을 결합해 Exhaustive Search를 개선시킨 방법으로   객체가 있을 법한 영역만을 효율적으로 찾아내기 위한 방법입니다.

 

Selective Search의 핵심 아이디어

Selective Search는 객체 인식을 위해 이미지를 세그멘테이션(분할) 하여 후보 영역(Region Proposal)을 추출하는 방법을 제시합니다. 기존의 슬라이딩 윈도우 방식에서는 고정된 크기의 윈도우를 사용하여 모든 영역을 스캔합니다. 하지만 각기 다른 크기와 형태의 객체를 탐지할 때, 고정된 윈도우 사이즈는 충분히 효과적이지 않기 때문에, Selective Search는 이미지 내에서 객체가 있을 가능성이 높은 영역만을 효율적으로 찾는 방식을 채택합니다.

 

Abstract

이 논문은 객체 인식을 위한 가능한 객체 위치를 생성하는 문제를 다룹니다. 이 논문은 선택적 검색(Selective Search)을 소개하는데, 이는 포괄적인 검색(exhaustive search)과 분할(segmentation)의 장점을 결합한 방법입니다. 분할처럼 이미지 구조를 사용하여 샘플링 과정을 안내하며, 포괄적인 검색처럼 모든 가능한 객체 위치를 캡처하는 것을 목표로 합니다. 단일 기법이 아닌, 다양한 보완적인 이미지 분할을 사용하여 가능한 한 많은 이미지 조건을 처리합니다.

 

선택적 검색은 데이터 기반의 클래스 독립적인 고품질 위치를 적은 수로 생성하며, 10,097개의 위치에서 99%의 리콜율과 0.879의 평균 최적 중첩(MABO)을 달성합니다. 포괄적인 검색에 비해 위치 수가 줄어든 덕분에, 더 강력한 기계 학습 기법과 더 강력한 외형 모델을 객체 인식에 사용할 수 있게 됩니다. 본 논문에서는 선택적 검색이 강력한 Bag-of-Words 모델을 인식에 사용할 수 있게 한다는 것을 보여줍니다. 선택적 검색 소프트웨어는 공개적으로 제공됩니다.

 

Selective Search

이 논문은 객체 인식을 위한 위치 생성 방법으로 선택적 검색(Selective Search)을 제안합니다. 선택적 검색은 포괄적 검색(전체 공간을 검색)과 분할(이미지를 분할하여 처리)의 장점을 결합한 방법입니다.

• 포괄적 검색은 계산 비용이 크고, 분할은 단일 알고리즘에 의존합니다.
• 선택적 검색은 다양한 전략을 사용해 클래스 독립적인 객체 위치를 생성하고, 계산 비용을 줄입니다.
• 기계 학습과 외형 모델을 더 강력하게 사용할 수 있도록 도와줍니다.

즉, 선택적 검색은 효율적이고 정확한 객체 위치 생성을 목표로 하며, 기존 방법들에 비해 다양한 이미지 조건에 잘 적응할 수 있습니다.

Selective Search의 고려사항

1. Capture All Scales (모든 크기 고려):
   • 객체는 이미지 내에서 다양한 크기(scales)로 나타날 수 있기 때문에, 모든 크기의 객체를 고려해야 합니다.
   • 또한, 일부 객체는 경계가 명확하지 않거나 불규칙한 형태를 가질 수 있어, 다양한 크기를 처리할 수 있는 방식이 필요합니다.
   • 이를 위해 계층적(hierarchical) 알고리즘을 사용하여 다양한 크기와 형태를 포용할 수 있도록 합니다.
2. Diversification (다양성):
   • 객체는 색상, 질감, 부분 등 여러 요소로 형성될 수 있습니다. 또한, 조명 조건이 변화하면 객체를 탐지하는 방식에 영향을 줄 수 있습니다.
   • 따라서 단일 전략이 아닌, 다양한 전략들을 조합하여 여러 상황에서 잘 작동할 수 있도록 해야 합니다.
3. Fast to Compute (빠른 계산):
   • Selective Search의 목표는 가능한 객체 위치 집합을 빠르게 생성하는 것입니다.
   • 이 과정이 컴퓨팅 병목 현상이 되어서는 안 되므로, 알고리즘은 효율적이고 빠르게 계산되어야 합니다.

Selective Search 과정

1. 원본 이미지로부터 각각의 object들이 1개의 개별 영역에 담길 수 있도록 수많은 영역들을 생성합니다.

 

논문에서는 Efficient Graph-Based Image Segmentation 알고리즘을 통해 초기 후보 영역을 다양한 크기와 비율로 생성합니다.

 

2. 그리디 알고리즘을 통해 비슷한 영역을 반복적으로 통합합니다.

3. 최종적으로 하나의 영역이 만들어질 때까지, 2번을 반복적으로 수행합니다.

Selective Search의 장점

• 객체가 다양한 크기와 형태를 가질 수 있다는 점을 고려하여, 모든 가능한 객체를 탐지할 수 있는 후보 영역을 효율적으로 생성합니다.
• 기존의 exhaustive search 방식보다 성능이 우수하며, 다양한 객체와 환경에서 높은 정확도를 보입니다.

 

Object Recognition using Selective Search

이 논문에서는 객체 인식을 위해 선택적 검색에서 생성된 위치를 사용합니다. 이 섹션에서는 객체 인식을 위한 프레임워크를 상세히 설명합니다.

 

 

객체 인식에서 주요 특징은 방향 기울기 히스토그램(HOG)과 Bag-of-Words입니다. HOG는 부분 기반 모델과 결합하여 좋은 성과를 보였으나, 계산적으로는 선형 분류기와 결합한 HOG가 유일한 실용적인 선택입니다. 반면, 선택적 검색을 통해 더 비싸고 강력한 특징을 사용할 수 있습니다. 따라서 우리는 객체 인식을 위해 Bag-of-Words를 사용하고, 색상-SIFT 기술자와 더 세밀한 공간 피라미드 분할을 적용한 강력한 구현을 사용합니다.

우리는 각 픽셀에서 단일 스케일로 특징을 샘플링하며, 이미지 구조를 감지하는 데 민감한 SIFT와 색상 SIFT 기술자를 사용합니다. 시각적 코드북 크기는 4,000이며, 4단계 공간 피라미드를 적용하여 총 특징 벡터 길이는 360,000입니다. 공간 피라미드는 HOG 기술자보다 더 거친 공간 분할을 초래하므로, 우리의 특징은 객체의 구체적인 공간 배치에 대한 정보가 적습니다. 따라서 HOG는 고정된 객체에 더 적합하고, 우리의 특징은 변형 가능한 객체에 더 적합합니다. 분류기로는 히스토그램 교차 커널을 사용하는 서포트 벡터 머신(SVM)을 사용하며, 훈련된 분류기를 적용하기 위해 빠르고 근사적인 분류 전략을 사용합니다.

훈련 절차는 초기 긍정적인 예제를 실제 정답 객체 창으로 설정하고, 초기 부정적인 예제는 선택적 검색을 통해 생성된 객체 위치 중 긍정적인 예제와 20%에서 50% 사이의 중첩이 있는 예제들로 선택합니다. 부정적인 예제는 70% 이상의 중첩이 있는 경우 제외되며, 각 클래스의 부정적인 예제 수를 제한하기 위해 일부 부정적인 예제는 무작위로 삭제됩니다.

그 후, 우리는 재훈련 단계를 통해 어려운 부정적인 예제를 추가하고, 모델은 빠르게 수렴합니다. 테스트 세트에서는 최종 모델을 선택적 검색에서 생성된 모든 위치에 적용하고, 창은 분류기 점수에 따라 정렬된 후 높은 점수를 가진 창과 중첩되는 창은 제거됩니다.

Conclusions

이 논문은 선택적 검색을 위한 세분화를 적용하는 방법을 제안했습니다. 우리는 이미지가 본질적으로 계층적이며, 객체를 형성하는 다양한 이유가 있다는 것을 관찰했습니다.

 

따라서 하나의 하향식 그룹화 알고리즘만으로는 가능한 모든 객체 위치를 포착할 수 없습니다. 이를 해결하기 위해 우리는 선택적 검색을 도입했으며, 여기서 주요 아이디어는 다양한 보완적이고 계층적인 그룹화 전략을 사용하는 것입니다. 이로 인해 선택적 검색은 안정적이고 강력하며 객체 유형에 독립적입니다.

 

출처

Uijlings, J. R. R., van de Sande, K. E. A., Gevers, T., & Smeulders, A. W. M. (2012). Selective search for object recognition. Technical Report, University of Amsterdam, submitted to IJCV. University of Trento, Italy. http://www.huppelen.nl/publications/selectiveSearchDraft.pdf

 

 

참고자료

https://better-tomorrow.tistory.com/entry/Selective-Search-%EA%B0%84%EB%8B%A8%ED%9E%88-%EC%A0%95%EB%A6%AC

Selective Search 간단히 정리..