개발 배경

2022년 베이징 올림픽을 기념해서 만들었던 skating ai가 다가오는 2026년 밀라노 올림픽을 기념해서 재밌게 만들고자 다시 꺼내보게 되었다. 사실 나는 2014년에 굉장히 불합리한 판정을 보고 내 마음 어딘가에 judge ai 관련해서 만들고 싶은 소망은 10년 이상 내내 있어왔다..ㅋㅋㅠㅠ

아시다싶이 당시 2022년에는 transformer기반해서 여러 pose estimation이 많이 나오던 시기였지만, 내 기억상.. 일상과 관련하여 벗어난 행동을 하면 잘 인식하지 못한 한계를 지니고 있었다. 점프와 같은 경우 속도로 인해서 블러리하게 보이는 영상이 많고 애초에 데이터셋 자체가 스포츠 관련 데이터로 훈련하지 않는 경우가 부지기수라..

논문을 자세하게 읽지는 않았지만 pose estimation 관련해서는 여러 개 정도 감만 잡고 있었다.

그러다가 우연히 이 논문을 발견하게 되는데.. 보아하니 해당 모델 토대로 실제로 웹사이트를 로컬로 만드신건지..

암튼 최대한 해당 논문을 보고 따라하면서 추가적인 몇가지로 웹사이트를 만들기로 하였다.

스케이트 궤적 그릴 것
어텐션 및 판정 요소: 도약과 착지에서만 각도 계산
앞 뒤 함께 재생할 수 있도록(?)
영상은 단안 카메라로 촬영된 영상만 -> 점프 구간 사용자가 클립핑할 수 있도록

논문 구현

본 논문 contribution은 아래와 같다

점프 데이터셋
2d pose estimation + 3d pose estimation + temporal action segmentation
- DWposeEstimator
- MotionAGFormer
- FACT

먼저 MotionAGFormer로 2d->3d pose 모델을 만들어보자..

데이터 전처리

라고 쓰고 삽질 연대기라고 읽는다.

커스텀 데이터셋 토대로 전처리하는 방법은 아래 이슈에 잘 남겨져있다.

Data preprocessing for finetuning using external data

그런데 여기서 알 수 있듯, world -> camera -> image 좌표계로 변환을 해야한다. 그거도 모르고 삽질을 했었다.. 그리고 더군다나 논문에 나온 FSJump3D 데이터셋에서는 2D 관련 정보가 없고, 좌표계 변환에서는 카메라 정보가 필수라.. 결국에는 이 부분은 저자에게 문의했다.

삽질하면서 아래처럼 이렇게 만들었는데 생각보다 잘 되지 않았었다..ㅠㅠ

2d pose는 dwpose로 얻은 데이터, world3d 좌표는 있겠다 싶어서 focal length는 linear regression으로 650 추정한 값을 이용했고(현실은 1650..^^) extrinsic값은 cv2.solvePnP이용해서 추정했다. 그래서 그런지 위와 같은 결과가..나왔다..ㅋㅋㅋ 그래도 일련의 삽질 덕분에 어떻게 데이터가 전처리되는지 파악은 되어서.. 다행?인 거 같기도

데이터 형태

MotionAGFormer에서 지원하는 데이터 format 형태는 Human 3.6M과 mpi형태를 지원한다. 물론 위 이슈를 통해서 커스텀으로도 훈련이 가능하다. 커스텀으로 훈련 가능하게 만들었으나.. 데이터를 받아버린 바람에 반쯤 의미가 없어지긴 했다..ㅋㅋ

MotionAGFormer는 해당 데이터 형태로 train, test로 나누었는데,

dict_keys(['joint_2d', 'confidence', 'joint3d_image', 'joints_2.5d_image', '2.5d_factor', 'camera_name', 'action', 'source', 'frame', 'world_3d', 'cam_3d', 'cam_param'])

여기서 joint_2.5d_image = 2.5_factor * joint3d_image와 동일하다. 이와 관련된 이슈는 다시 한 번 여기에서 확인하시면 되겠다.

아래 자세한 코드는 Reference에서 체크!

훈련 결과는 다음 포스팅에서..!