[논문 리뷰] A Comprehensive Review of Computer Vision in Sports:Open Issues, Future Trends and Research Directions

임승택 2024. 12. 31. 12:28

이 리뷰는 오직 학습과 참고 목적으로 작성되었으며, 해당 논문을 통해 얻은 통찰력과 지식을 공유하고자 하는 의도에서 작성된 것입니다. 본 리뷰를 통해 수익을 창출하는 것이 아니라, 제 학습과 연구를 위한 공부의 일환으로 작성되었음을 미리 알려드립니다.

졸업 작품을 준비하면서 스포츠 관련 기술을 연구하고 있어서, 컴퓨터 비전이 어떻게 스포츠 분야에서 활용되는지에 대한 이해가 필요했습니다. 둘째, 평소에 스포츠와 기술에 관심이 많아서, 이 주제를 다룬 연구가 매우 흥미롭게 느껴졌습니다. 특히, 컴퓨터 비전이 스포츠에서 어떻게 발전하고 있는지, 그리고 그 기술이 앞으로 어떤 방향으로 나아갈 것인지에 대한 통찰을 얻고자 했습니다.

이 논문은 2022년 4월에 Applied Sciences 저널에 게재된 논문으로 나름 인용도 여러 횟수 된 논문이다. 49페이지의 논문이라 엄첨 내용이 상세했고 스포츠를 전 범위로 삼은 논문이라 다양한 스포츠 분야에 도움이 많이 될것 같았다.

Naik, B. T., Hashmi, M. F., & Bokde, N. D. (2022). A Comprehensive Review of Computer Vision in Sports: Open Issues, Future Trends and Research Directions. Applied Sciences, 12(9), 4429. https://doi.org/10.3390/app12094429.

Abstract

이 논문은 스포츠 비디오 분석과 컴퓨터 비전 기술의 발전을 다룹니다. 주요 내용은 선수 감지, 추적, 경로 예측, 팀 전략 인식 및 스포츠 이벤트 분류 등 다양한 고급 분석 작업을 포함한 스포츠 영상 분석의 응용입니다. 또한, 컴퓨터 비전 기술을 다양한 스포츠에 적용하는 연구 범위와 관련된 공개 데이터셋에 대해 논의합니다. 인공지능(AI), GPU 기반 워크스테이션 및 임베디드 플랫폼의 활용도 다루며, 스포츠에서 시각적 인식의 연구 방향과 미래 트렌드, 예상되는 도전 과제도 제시합니다.

1. Introduction

이 논문은 스포츠 비디오 자동 분석의 다양한 응용에 대해 설명합니다. 주요 응용 분야로는 선수 위치 추적, 공의 경로 추적, 하이라이트 감지, 3D 재구성, 게임 분석 등이 있습니다. 그러나 선수 감지 및 추적은 많은 도전 과제를 동반합니다. 주요 문제로는 유사한 외모, 복잡한 가림, 예측 불가능한 움직임, 불안정한 카메라 및 낮은 화질 등이 있습니다. 특히, 선수와 공을 동시에 추적하는 것은 공과 선수의 움직임과 가림으로 인해 어려움이 있습니다. 이 논문은 다양한 스포츠에서 선수 감지, 추적, 경로 예측 및 팀 전략 인식에 대한 연구를 다룹니다.

이 연구는 다양한 스포츠에서 선수 감지, 분류, 추적, 경로 예측 및 팀 전략 인식에 관한 조사 결과를 제시합니다. 선수 감지 및 추적은 사이클링, 수영 등 일부 스포츠에서는 주요 요구 사항입니다. 이에 따라, 그림 1에 나타난 것처럼 이 연구는 모든 스포츠를 두 가지 카테고리로 분류합니다: 선수 중심 스포츠와 공 중심 스포츠. 이에 대한 상세한 분석은 4장에서 다룹니다.

1-1. 선수 감지 및 분류

유니폼 번호 인식을 통한 선수 구분: 유니폼에 적힌 번호를 인식하여 각 선수를 식별합니다.
선수 관련 다양한 이벤트 분류: 선수의 동작, 포지션 변화 등을 추적하여 중요한 이벤트를 분류합니다.

1-2. 고급 분석

선수 및 공의 추적: 경기 중 선수와 공의 위치를 실시간으로 추적하여 경기 흐름을 분석합니다.
선수의 기술 평가: 선수의 기술적 행동(예: 슛, 패스, 드리블 등)을 분석하여 성과를 평가합니다.
팀 전략 감지: 각 팀의 전략적 움직임을 분석하여 경기 전반의 흐름을 이해합니다.
이벤트 분석: 주요 이벤트(예: 골, 파울 등)를 자동으로 감지하고 분석합니다.
전술적 위치 형성 평가: 예를 들어, 미드필드 분석을 통해 각 팀의 전술적 포지셔닝을 평가합니다.

1-3. 스포츠 비전 응용

스마트 어시스턴트: 경기 중 실시간으로 데이터를 제공하는 인공지능 기반의 어시스턴트를 활용하여 코칭이나 전략에 도움을 줍니다.
가상 심판: 경기 규칙 위반을 자동으로 감지하고 판정하는 시스템입니다.
코치 지원 시스템: 코치가 선수의 퍼포먼스를 분석하고 전략을 세울 수 있도록 지원하는 시스템입니다.
실시간 분석 및 시스템 활용: 경기 중 실시간으로 다양한 데이터를 수집하고 분석하여 즉각적인 피드백을 제공합니다.
인간 개입 최소화: 자동화된 시스템이 대부분의 작업을 수행하여 인간의 개입을 최소화합니다.
고차원적 의미 해석을 통한 실시간 분석: 경기 중 발생하는 복잡한 상황을 이해하고, 실시간으로 그 의미를 분석하여 제공하는 시스템입니다.

1-4. 시스템 출력 활용

비디오 요약 및 하이라이트 추출: 중요한 장면을 추출하여 하이라이트 영상으로 제공하는 기능입니다.
주요 게임 이벤트 추출: 골, 파울, 중요한 패스 등 핵심 이벤트를 자동으로 추출하여 편집합니다.
사용자 맞춤형 하이라이트 제공: 각 사용자의 관심사에 맞춰 하이라이트를 제공하는 개인화된 기능입니다.

1-5. 필요한 작업

제스처 감지: 심판이나 선수의 제스처를 인식하여 행동을 분석합니다.
심판/주심의 행동 인식: 심판이나 주심의 동작을 감지하고 이를 분석합니다.
주요 이벤트에서 선수 및 공 추적: 주요 경기 이벤트(예: 골, 득점 등) 발생 시 선수와 공의 위치를 추적하여 관련 정보를 제공합니다.

1-6. 플레이필드 및 추적 작업

플레이필드 추출: 경기장 내에서 선수와 공의 움직임을 정확히 추적할 수 있도록 필드를 디지털화합니다.
선수 및 공 감지 및 추적 작업: 경기 중 선수와 공의 위치를 실시간으로 감지하고 추적하여 분석합니다.

제안된 설문조사는 컴퓨터 비전 기반 스포츠 비디오 분석에서 수행된 연구들을 포괄적으로 다루며, 다양한 응용 프로그램(예: 선수 감지 및 분류, 선수 또는 공 추적, 선수 또는 공의 궤적 예측, 팀 전략 인식, 스포츠 필드에서의 이벤트 분류 등)을 위한 연구를 제공합니다. 특히, 스포츠 분야에서 차세대 연구를 위한 방향을 설정하는 데 중점을 둡니다. 이 리뷰의 특징은 다음과 같습니다:

최근 발표된 스포츠 분야의 리뷰 논문들과는 달리, 본 논문은 다양한 스포츠에서 수행된 연구 통계와 스포츠에서 관찰되고 검증된 다양한 AI 알고리즘을 포괄적으로 리뷰합니다.
다양한 AI 알고리즘 선택 및 평가 기준 로드맵을 제공하고, 여러 스포츠와 관련된 공개 데이터셋도 소개합니다.
실시간 객체 감지 및 추적 프레임워크를 개선하여 엣지 장치의 성능과 정확도를 향상시키는 다양한 GPU 기반 임베디드 플랫폼을 다룹니다.
다양한 스포츠 비전 응용 프로그램과 이를 위한 향후 연구 방향을 제시합니다.

이 논문의 나머지 내용은 다음과 같이 구성됩니다:

섹션 2: 스포츠 연구에 대한 통계적 세부사항을 제공합니다.
섹션 3: 다양한 스포츠 경기장에 관련된 데이터 추출을 다룹니다.
섹션 4: 다양한 스포츠에 대한 더 넓은 범위의 리뷰를 제공합니다.
섹션 5와 6: 다양한 스포츠와 관련된 공개 데이터셋 및 임베디드 플랫폼을 리뷰합니다.
섹션 7: 스포츠 비전 분야에서의 응용 프로그램별 작업들을 제공합니다.
섹션 8: 잠재적인 연구 방향과 스포츠 연구에서 해결해야 할 다양한 도전 과제를 다룹니다.
섹션 9: 최종 결론을 내며 중요한 고려 사항들을 설명합니다.

2. Statistics of Studies in Sports

선수의 위치를 특정 시점에서 감지하는 것은 선수 추적의 기본 단계이며, 이는 스포츠 분석과 게임의 중요한 순간을 캡처하는 그래픽 시스템에서도 필요합니다. 상용 시스템에서 방송 분석에 사용되는 장비와 방법은 선수를 추적하는 데 필요한 방법에 따라 다릅니다. 예를 들어, 수동 조작자가 선수의 발을 클릭하는 방법에서부터 세그먼트화 및 선수를 나타낼 가능성이 있는 영역을 식별하는 자동화된 기술까지 다양합니다. 축구, 배구, 하키, 배드민턴 등과 같은 스포츠에서 선수 개별의 움직임과 실시간 팀 구성을 분석하는 것은 팀 코치에게 중요한 실시간 통찰력을 제공할 수 있습니다.

이 리뷰에서 다룬 연구들은 IEEE, Elsevier, MDPI, Springer와 같은 다양한 저명한 출판사 및 CVPR, ICCV, ECCV와 같은 주요 컴퓨터 비전 회의에서 발표된 논문들로부터 수집되었습니다. 논문들은 선수/공/심판 감지 및 추적, 스포츠에서의 객체 분류, 선수의 행동 및 성과 분석, 심판/주심의 제스처 인식, 자동 하이라이트 감지, 점수 업데이트 등 다양한 주제를 다룹니다.

3. Play Field Extraction in Various Sports

스포츠 비디오 분석에서 스포츠 필드 감지는 중요한 역할을 합니다. 스포츠 필드 영역 감지에는 두 가지 주요 목적이 있습니다. 첫 번째는 비(非)경기장 지역에서 경기장 영역을 감지하는 것이며, 두 번째는 배경에서 주요 객체를 식별하고 풀밭이나 코트 선과 같은 불필요한 픽셀을 필터링하는 것입니다. 이를 통해 픽셀 수를 줄여 플레이어나 공 감지 및 추적, 이벤트 추출, 자세 감지 등을 단순화할 수 있습니다.

이 과정에서의 도전 과제는 경기장의 색을 경기장 외부와 구별하는 것, 조명 조건, 때로는 날씨, 시점, 그림자 등을 포함합니다. 따라서 경기장의 정확한 분할은 특정 상황에서 색상만을 처리하고 게임을 진행하면서 통계치를 업데이트하지 않으면 달성할 수 없습니다. 또한, 선수의 유니폼 색상이 경기장의 색상과 일치하는 경우나 다양한 광원에서 발생하는 그림자와 같은 추가적인 잡음이 생길 수 있습니다.

이 문제를 해결하기 위한 방법으로는 Gaussian 기반의 배경 제거 기법이 있습니다. 이 기법은 컴퓨터 비전 방법을 사용하여 전경 마스크를 생성하며, 이는 Figure 5에 나타난 것처럼 구현됩니다.

연구자들은 경기장을 감지하기 위해 단일 지배적인 색상을 사용했습니다. 이에 따라 일부 연구에서는 이미지의 조명이 영향을 받지 않도록 RGB 색 공간에서 HIS, YCbCr, 정규화된 RGB로 이미지를 변환하는 방법을 활용했습니다.

선수의 움직임, 공의 추적, 심판의 행동을 정확하게 캡처하기 위해서는 카메라 교정이 필요하고, 또한 필드를 커버할 수 있도록 적절한 수의 카메라를 사용하는 것이 중요합니다. 일부 알고리즘은 선수를 추적할 수 있지만, 다른 객체들도 관심 있는 이벤트를 상세히 분석하고 데이터를 추출하기 위해 동적으로 복잡한 상황에서 추적해야 합니다. 예를 들어, 에서는 여러 카메라를 사용하여 축구 비디오에서 경기장을 추출하고 선수와 공을 추적하는 방법을 제시했습니다. 단일 카메라(그림 6a)와 다중 카메라(그림 6c)를 사용하여 심한 폐쇄 또는 공이 프레임에서 사라지는 등 어려운 상황에서 선수와 공을 선명하게 캡처하는 아키텍처를 제시했습니다. 선수의 경로와 팀 분류를 추정하기 위해 필드의 새총 시점(bird’s eye view)을 제공하여 선수들을 정확하게 캡처하는 방법을 보여주었습니다(그림 6b). 또한,전체 필드를 캡처하고, 선수와 공을 추적하며, 선수의 위치를 추정하기 위한 다양한 카메라 위치를 제시했습니다.

(a) 천장에 장착된 카메라. (b) 경기장의 조감도. (c) 경기장을 완전히 커버하는 여러 대의 카메라.

형태학적 연산 기반 기술은 경기장과 비경기장 영역을 분리할 수 있지만, 경기장 라인을 감지할 수는 없습니다. 배경 차감 기반 기술은 현재 프레임에서 배경 프레임을 차감하여 전경 영역을 생성하는 방식으로 (즉, 프레임에서 움직이는 객체를 감지하여) 작동하지만, 경기장 라인을 감지하지 못하는 문제를 발생시킵니다. 이는 경기장 라인을 감지하지 못하는 문제를 말합니다. 따라서 경기장 라인을 감지하는 가장 좋은 방법은 데이터를 경기장 라인, 광고, 비경기장 영역으로 레이블링하는 것입니다.
경기장 라인, 광고 및 비경기장 영역으로 레이블링된 데이터셋을 사용하여 모델을 훈련시키면 경기장 라인, 광고 및 비경기장 영역을 감지하고 분류할 수 있으며, 이는 false positive와 false negative를 줄이는 데 도움이 됩니다.

Background-labeled samples from the dataset (a) playfield lines, (b) advertisements, (c) non-playfield region.

4. Literature Review

4.1. 농구
농구는 두 팀이 각 5명의 선수로 경쟁하며, 목표는 상대보다 더 많은 점수를 얻는 것입니다. 이 스포츠는 공을 패스, 던지기, 튕기기, 배팅, 굴리기 등의 활동을 포함하며, 신체 접촉이 선수의 움직임을 방해할 경우 파울로 간주될 수 있습니다.

컴퓨터 비전 기술은 농구 스포츠에서 수동 분석을 자동화하는 시스템을 가능하게 했습니다. 농구 비디오에서 선수의 행동을 인식하고 이벤트를 분류하는 기술은 선수의 성과 분석에 유용하며, 선수와 공의 감지 및 추적도 시도되었으나, 선수들이 교차할 때 신원 전환을 방지하지 못하는 문제점이 있습니다. 선수의 자세 추정을 통해 바스켓으로 향하는 공의 궤적을 예측할 수 있고, 심판의 신호를 인식하여 게임 하이라이트를 추출할 수 있습니다.

농구 코트에서 선수와 공의 위치를 감지하여 선수의 움직임을 예측하고 공의 3D 궤적을 생성할 수 있지만, 이는 매우 복잡한 작업입니다. 또한 선수들의 슈팅 동작 궤적을 추적하기 위해 이미지 특징 분석 방법을 활용한 연구가 필요합니다. 그러나 게임 상황이 급변하고 데이터 구조가 복잡하여 각 플레이를 분석하는 데 어려움이 있습니다. 따라서 실시간 게임 플레이 분석이 중요합니다.

4.2. 축구
축구는 11명의 선수가 두 팀으로 나뉘어 상대 팀의 골문에 공을 넣어 득점하는 스포츠입니다. 선수들은 예기치 않게 속도나 방향을 바꾸며 서로를 혼란스럽게 만듭니다. 같은 유니폼 색을 입고 있기 때문에 선수들은 거의 동일해 보이며, 공을 자주 소유하기 때문에 심한 가림 현상과 추적 모호성이 발생합니다. 이러한 상황에서는 선수를 인식하기 위해 유니폼 번호를 감지해야 합니다.

여러 축구 선수와 공을 실시간으로 정확히 추적하는 것은 선수 성과를 평가하고, 일정 간격으로 선수들의 상대적인 위치를 파악하며, 시공간 데이터를 연결하여 궤적을 추출하는 데 있어 주요한 도전 과제입니다. 선수나 팀의 성과를 평가하는 시스템은 인간의 눈에 띄지 않는 게임의 여러 측면을 이해하는 데 도움이 됩니다. 이러한 시스템은 선수의 활동을 성공적으로 평가할 수 있으며, 선수들이 이동한 거리, 슈팅 감지, 스프린트 횟수, 선수의 위치 및 움직임, 다른 선수들과의 상대적인 위치, 공의 소유 여부, 심판의 동작/제스처 인식, 슈팅 상황에서 선수의 궤적 예측 등을 분석할 수 있습니다.

생성된 데이터는 선수 개인의 성과 평가, 선수 위치 감지에 의한 가림 현상 처리, 행동 인식, 패스 예측 및 분류, 주요 이벤트 추출, 팀의 전술 성과 분석, 팀 포메이션을 기반으로 한 전술 분석, 하이라이트 생성 등 다양한 작업에 활용될 수 있습니다.

4.3. 크리켓
크리켓에서도 컴퓨터 비전 기술은 수동 분석을 효과적으로 대체할 수 있습니다. 크리켓 경기에는 타격 샷, 볼링 성과, 공의 움직임에 따른 득점 또는 점수, 공의 궤적 감지 및 추정, 선수 발 위치 결정, 결과 분류를 통한 해설 생성, 심판의 결정 감지 등 여러 가지 관찰 가능한 요소들이 있습니다. 선수의 과거 기록을 바탕으로 개별 크리켓 선수의 성과를 예측하는 것은 국제 대회에서 팀원 선발에 중요한 역할을 할 수 있습니다. 이러한 과정은 매우 주관적이며, 보통 많은 전문성과 협상적 의사 결정이 요구됩니다. 또한, 크리켓 경기의 결과를 예측하는 시스템은 (예: 동전 던지기 결과, 홈 그라운드, 선수의 체력 및 성과 기준, 기타 동적 전략 등) 승자를 예측하는 데 활용될 수 있습니다.

비디오 요약 과정은 원본 비디오의 압축된 버전을 제공하여 흥미로운 비디오 내용을 쉽게 관리할 수 있게 도와줍니다. 또한, 비디오 요약 방법은 원본 비디오에서 흥미로운 이벤트를 캡처하여 시청자의 관심을 끌 수 있습니다.

4.4. 테니스
전 세계적으로 테니스는 엄청난 인기를 얻었습니다. 이 경기는 인간의 실수를 줄이고 게임의 시각적 피드를 통해 여러 가지 통계를 추출하기 위해 면밀한 분석이 필요합니다. 자동화된 공과 선수 추적 시스템은 복잡한 알고리즘을 필요로 하는 시스템에 속합니다. 테니스의 주요 데이터는 HawkEye와 TennisSense와 같은 공과 선수 추적 시스템에서 얻어집니다.

이 시스템에서 얻은 데이터는 공과 선수를 감지하고 추적하는 데 사용될 수 있으며, 전체 테니스 경기를 시각화하고, 공이 착지할 위치의 궤적을 예측하며, 선수 활동 인식, 선수와 공의 움직임 분석, 선수 행동 분석, 다음 샷의 움직임 예측 및 실시간 테니스 스윙 분류 등을 수행하는 데 활용될 수 있습니다.

이외에도 발리볼 아이스 하키 등등 더 많은 스포츠들이 리뷰되었다.

4.8. 기타
선수 감지 및 추적은 달리기, 수영과 같은 육상 스포츠에서 중요한 요구 사항입니다. 탁구, 스쿼시, 골프와 같은 스포츠에서는 공 감지 및 추적과 선수의 자세 감지가 도전적인 과제입니다. 럭비, 미식축구, 핸드볼, 야구와 같은 공 중심 스포츠에서는 공/선수 감지 및 추적, 선수의 행동 분석, 이벤트 감지 및 분류, 선수 성과 분석, 심판 식별 및 제스처 인식이 주요 도전 과제입니다.

비디오 하이라이트 생성은 비디오 요약의 하위 범주로, 스포츠 비디오 분석의 하위 범주로 볼 수 있습니다.

표 9는 다양한 스포츠에서 다양한 도전적인 작업을 해결하기 위해 제안된 방법론과 그 제한 사항들을 요약한 것입니다.

4.9. 머신 러닝/딥 러닝 기술 개요
객체를 분류, 감지 및 추적하는 방법은 다양한 스포츠에서 관련된 의미 수준을 분석하는 여러 방법이 있습니다. 이러한 방법들은 선수의 위치 파악, 유니폼 번호 인식, 이벤트 분류, 스포츠 비디오에서 공의 궤적 예측 등을 가능하게 하며, 이미지 전체에 대한 더 나은 해석을 제공합니다.

선택된 AI 알고리즘은 다양한 데이터에서 테스트하고 벤치마킹하는 것이 더 좋습니다. AI 알고리즘의 강건성을 평가하려면, 특정 AI 알고리즘의 성능을 측정하는 몇 가지 지표가 필요하여 더 나은 선택을 할 수 있도록 돕습니다.

Overview of deep learning algorithms of classification/detection, tracking and trajectory prediction.

5. 스포츠 데이터셋

이 섹션에서는 주석이 달린 일부 공개 스포츠 비디오 데이터셋에 대해 간략히 설명합니다. 이러한 공유 데이터셋을 활용하면 공통 데이터를 통해 알고리즘 성능을 비교할 수 있는 플랫폼을 제공하며, 이 분야의 연구 투명성을 향상시킬 수 있습니다. 또한, 연구자들 간에 데이터를 공유하면 다양한 분야에서 대량의 비디오를 캡처하고 주석을 다는 시간 소모적인 노력을 줄일 수 있습니다. 이를 통해 사용자는 개발된 알고리즘에 대한 벤치마크 점수를 얻을 수 있습니다.

6. GPU 기반 작업 스테이션 및 임베디드 플랫폼

목표를 찾기 위해 Raspberry Pi, Latte Panda, Odroid Xu4와 같은 GPU 제한 장치와 컴퓨터 비전이 사용되었습니다. 머신러닝 기법의 단점은 정확한 결과를 제공하지 못하거나 예측할 수 없는 미래 데이터를 예측하는 데 어려움이 있다는 점입니다. 반면, 딥러닝 알고리즘은 정확한 결과를 제공하며, 예측할 수 없는 미래 데이터에 대해서도 예측을 할 수 있습니다. 세분화, 위치 지정, 이미지 분류는 시각적 인식 시스템에서 중요한 연구 기여를 합니다.

7. 스포츠 비전에서의 응용

디지털로 연결된 팬은 스포츠 장소의 가장 큰 온라인 영향력이 됩니다. 팀과 경기장 소유자는 팬의 참여를 증가시키고, 그에 따라 새로운 수익 창출 기회를 생성하기 위해 맞춤형 앱과 모바일 전화 지원을 통해 콘텐츠 제공, 경기 정보의 실시간 업데이트, 디지털 보드를 활용한 제공 등을 통해 많은 개인화된 경험을 제공합니다

7.1. 챗봇과 스마트 어시스턴트

최근 NHL과 NBA와 같은 스포츠 기관들은 팬들의 다양한 질문에 답변하는 가상 어시스턴트를 사용하기 시작했습니다. 이들 질문은 티켓팅, 경기장 물류, 주차, 기타 게임 관련 정보 등 광범위한 주제에 걸쳐 있습니다. 만약 챗봇이 충분히 능숙하지 않다면, 그런 상황은 인간의 개입으로 처리되며 고객 서비스를 유지합니다.

7.2. 비디오 하이라이트

이 산업에서의 도전 과제는 콘텐츠의 생성뿐만 아니라 다양한 기기와 화면을 통해 고객에게 이를 제공하는 것도 포함됩니다. 팬들은 심층 분석과 해설을 요구하고 있으며, 그 외에도 액션 가득한 하이라이트와 비하인드 씬 콘텐츠도 원하고 있습니다. AI를 도입함으로써 다양한 스포츠에서 어려운 작업을 해결하고, 관객에게 흥미로운 시청 경험을 제공하여 더 많은 시청자를 끌어들이는 데 도움이 됩니다.

7.3. 훈련과 코칭

운동 선수들의 성과 분석을 개선하는 효과적인 방법과 코치들이 상대 팀의 전술을 파악할 수 있도록 돕는 방법들이 인기를 얻고 있습니다.

7.4. 가상 심판

크리켓과 테니스에서는 비디오 보조 심판(VAR)과 결정 검토 시스템(DRS)이 Hawk-eye, 슬로우 모션 리플레이 및 다른 기술들을 사용해 왔습니다. 그러나 이 시스템은 선수나 팀이 심판의 결정에 불확실성이 있을 때 검토를 요청하고, 그 후 다른 사람들이 주 심판을 돕는 방식으로 이루어집니다. 이 과정은 시간이 많이 소모되고, 게임의 흐름과 흥분을 방해하는 단점이 있습니다.

7.5. AI 보조 코치

AI는 동적 계획과 분석이 필요한 상황에서 훨씬 더 능동적으로 활용될 수 있습니다. 코치가 이전 데이터와 경험에 의존할 때, AI는 역동적으로 변화하는 전략을 설정하는 데 있어 훨씬 더 효과적인 방법을 제시할 수 있습니다. 미래에는 AI가 경기 중에 실시간으로 전략을 예측하고 생성하여 팀이 경쟁 우위를 확보하는 데 도움을 줄 수 있습니다.

7.6. 선수 및 공 추적을 위한 상용 시스템

Hawkeye는 크리켓, 테니스, 축구와 같은 스포츠에서 공 추적에 사용되는 선도적인 상용 기술입니다. Hawkeye의 주요 응용 분야는 심판 보조로, 경기 중 심판이 내리는 결정의 정확성을 높이는 데 도움을 줍니다. 또한 이 시스템은 스포츠의 방송에서 중요한 역할을 하며, 시청자들에게 경기 진행 상황을 고품질 시각화와 분석을 통해 전달하는 데 사용됩니다.

SportVU는 다양한 스포츠에서 실시간 광학 추적을 제공하는 컴퓨터 비전 기술입니다. 이 기술은 모든 팀의 선수를 추적하여 종합적인 경기 분석을 제공하고, 경기에서의 전술 분석을 위한 데이터를 수집하며, 경기 중 선수들의 성과 차이를 강조하여 부상 예방에 도움을 줍니다.

8. 스포츠 비전 연구 방향

스포츠 관련 기사들의 조사 결과, 우리는 다양한 연구 주제를 도출할 수 있었으며, 스포츠에서 컴퓨터 비전/비디오 처리의 향후 연구를 위한 잠재적인 연구 방향을 식별했습니다. 이러한 연구 방향은 주로 스포츠 응용 프로그램에서 선수/공/심판의 감지 및 추적, 자세 추정, 궤적 예측 등이 필요한 주요 스포츠를 기준으로 분류되어 있으며, 이는 미래 연구를 위한 유망하고 잠재적인 방향을 제시합니다.

스포츠 활동은 동적이기 때문에, 실시간 스포츠 비디오에서 단일 또는 다중 플레이어 추적의 정확성과 신뢰성은 선수들 간의 신원 전환 문제를 해결하는 깊은 표현을 통해 객체의 신원을 학습하는 프레임워크를 제안함으로써 향상될 수 있습니다. 또한, 시간 정보를 고려함으로써 추적 알고리즘의 성능을 향상시킬 수 있으며, 심각한 가림 현상이나 미스 감지 문제와 같은 문제를 극복할 수 있습니다.

축구에서 다양한 수비 전략을 분류하는 정확도를 향상시키기 위해서는 대규모 시공간 데이터셋을 라벨링하고, 액션을 하위 유형으로 분류하는 작업이 필요합니다. 팀 전술 분석의 성능을 향상시키기 위해서는 선수의 궤적을 분석하는 것이 중요합니다. 시간 정보를 통합하면 분류 정확도가 향상되며, 비자명한 통찰력이 필요한 경우에는 패스 이벤트와 같은 특정 상황에 대해 더 구체적인 통찰력을 제공할 수 있습니다.

8.1. 열린 문제와 향후 연구 분야

스포츠 영상 처리에서 컴퓨터 비전은 이벤트 분석에 중요한 역할을 합니다. 그러나 여러 가지 열린 문제들이 있으며, 이들에 대한 연구가 필요합니다:

카메라 보정 및 시점 문제: 스포츠 이벤트를 캡처하는 다양한 시점(클로즈업, 와이드, 원거리 뷰 등)에서 카메라의 보정이 여전히 해결되지 않은 문제입니다. 다양한 카메라 각도는 다른 수준의 가림 현상을 유발할 수 있으며, 이는 플레이어나 공을 추적하는 데 어려움을 줍니다. 현재의 해결책은 이러한 다양한 관점을 처리하는 데 한계가 있으며, 최적화된 커버리지와 왜곡을 줄이는 방법에 대한 개선이 필요합니다.

공의 감지 및 추적: 공이 포함된 스포츠에서는 공의 속도, 예측할 수 없는 운동, 필드나 선수들에 비해 상대적으로 작은 크기 때문에 공을 감지하고 추적하는 데 큰 어려움이 있습니다. 축구, 농구, 테니스와 같은 빠른 게임에서는 공의 궤적과 운동 패턴을 추적하는 것이 매우 어려워집니다. 공의 감지와 추적을 위한 AI 알고리즘은 발전했지만, 특히 가림 현상이나 급격한 방향 전환이 있는 경우 정확한 추적이 여전히 어려운 문제로 남아 있습니다.

선수 추적 및 가림 현상 처리: 선수들을 추적하는 것도 주요 연구 분야 중 하나로, 선수들의 빠르고 빈번한 움직임, 팀 스포츠에서 유니폼 색상 때문에 유사한 외모를 가진 선수들, 그리고 종종 발생하는 부분적 및 전체적인 가림 현상 등의 문제가 있습니다. 다양한 알고리즘은 다중 선수 추적을 위해 선형 운동을 사용하지만, 이러한 방법은 가림 현상이나 선수 간 외모의 불확실성 같은 조건에서는 성능이 떨어집니다

리뷰 후기

이 논문을 리뷰하면서 스포츠 비전 분야에서의 최근 발전들이 매우 흥미롭고, 다양한 기술들이 결합되어 성능 향상에 기여하고 있다는 점이 인상 깊었다. 특히, 전통적인 영상 처리 기법들에 대한 개선뿐만 아니라 최신의 기계 학습 및 딥 러닝 기술들이 결합되어 스포츠 경기 분석의 정확도와 효율성을 크게 향상시킨 점이 돋보였다. 이 논문은 스포츠 비전 분야의 여러 가지 응용 사례를 다루면서, 각 기술들이 실제 스포츠 상황에서 어떻게 적용될 수 있는지에 대한 유용한 통찰을 제공해 주었다.

졸업 작품을 준비하면서 스포츠 관련 기술을 연구하고 있어서, 컴퓨터 비전이 어떻게 스포츠 분야에서 활용되는지에 대한 이해가 필요했습니다. 둘째, 평소에 스포츠와 기술에 관심이 많아서, 이 주제를 다룬 연구가 매우 흥미롭게 느껴졌었다.

출처