[Pose Estimation] OpenPose 써보기

여러 자세 추정 모델을 경험 해보기 위해 오늘은 OpenPose모델을 사용해보았다.

 

오픈포즈(OpenPose)란?

 

딥러닝의 합성곱 신경망(Convolutional Neural Network, CNN)을 기반으로 하며, 사진에서 실시간으로 여러 사람의 몸, 손, 그리고 얼굴의 특장점을 추출할 수 있는 라이브러리

 

이 프로젝트의 특징은 여러 사람의 자세를 빠르게 찾을 수 있다는 것이라고 한다. 오픈포즈가 발표되기 전에는 여러 사람의 자세를 추정하기 위해 사진에서 각각의 사람을 검출하고, 검출된 사람에 대해 자세를 찾도록 반복 수행하는 탑-다운(Top-Down, 하향식) 방식을 주로 사용했다고 한다. 오픈포즈는 바텀-업(Bottom-Up, 상향식) 방식으로 반복적인 처리 없이 성능을 향상시켰다고 했다.

 

바텀-업 방식은 모든 사람의 관절을 추정하고, 각 관절의 위치를 이은 다음, 각각에 해당하는 사람의 관절 위치로 재생성하는 방식이라고 한다. 

 

 

몸과 손 얼굴까지 추적한다고 한다.

 

아래 링크에서 파이토치로 된 모델을 사용하였다.

https://github.com/Hzzone/pytorch-openpose

GitHub - Hzzone/pytorch-openpose: pytorch implementation of openpose including Hand and Body Pose Estimation.

 

모델도 이미 훈련된 모델을 사용하였다.

https://drive.google.com/drive/folders/1JsvI4M4ZTg98fmnCZLFM-3TeovnCRElG

pytorch-openpose - Google Drive

 

가상환경 구축

conda create -n openpose  python=3.7
activate openpose
pip install numpy matplotlib opencv-python scipy scikit-image tqdm
pip install torch torchvision torchaudio
pip install ffmpeg-python

 

추가로 동영상을 이용해 탐지를 하기위해 파이썬 ffmpeg를 설치하였다.

https://ffmpeg.org/download.html 

Download FFmpeg

https://dataanalytics.tistory.com/entry/%ED%8C%8C%EC%9D%B4%EC%8D%AC-ffmpeg-%EC%84%A4%EC%B9%98-%EB%B0%8F-%EB%8B%A4%EC%9A%B4%EB%A1%9C%EB%93%9C-cv2-%EC%9D%B4%EB%AF%B8%EC%A7%80-%EB%8F%99%EC%98%81%EC%83%81-%EB%B3%80%ED%99%98

[파이썬] ffmpeg 설치 및 다운로드, cv2 이미지 동영상 변환

 

 

손가락까지 인식되니까 좀 신기했다.

 

 

근데 이유를 모르겠는데 demo_video.py로 예측을 수행했는데 초당 처리된 프레임 수는 0.4fps로 매우 느렸다. 왜 이런지 이유를 더 찾아봐야할 것 같다.