Development Background

2022년 베이징 올림픽을 기념해서 만들었던 skating ai가 다가오는 2026년 밀라노 올림픽을 기념해서 재밌게 만들고자 다시 꺼내보게 되었다. 사실 나는 2014년에 굉장히 불합리한 판정을 보고 내 마음 어딘가에 judge ai 관련해서 만들고 싶은 소망은 10년 이상 내내 있어왔다..ㅋㅋㅠㅠ

• Some debate on Young's 3A on Beijing olympics
• Hello Skating 1차 개발 후기

아시다싶이 당시 2022년에는 transformer기반해서 여러 pose estimation이 많이 나오던 시기였지만, 내 기억상.. 일상과 관련하여 벗어난 행동을 하면 잘 인식하지 못한 한계를 지니고 있었다. 점프와 같은 경우 속도로 인해서 블러리하게 보이는 영상이 많고 애초에 데이터셋 자체가 스포츠 관련 데이터로 훈련하지 않는 경우가 부지기수라..

논문을 자세하게 읽지는 않았지만 pose estimation 관련해서는 여러 개 정도 감만 잡고 있었다.

• Simple pose estimation
• Video pose distillation
• Metrabs
• MotionBERT
• MotionAGFormer

그러다가 우연히 이 논문을 발견하게 되는데.. 보아하니 해당 모델 토대로 실제로 웹사이트를 로컬로 만드신건지..

암튼 최대한 해당 논문을 보고 따라하면서 추가적인 몇가지로 웹사이트를 만들기로 하였다.

• 스케이트 궤적 그릴 것
• 어텐션 및 판정 요소: 도약과 착지에서만 각도 계산
• 앞 뒤 함께 재생할 수 있도록(?)
• 영상은 단안 카메라로 촬영된 영상만 -> 점프 구간 사용자가 클립핑할 수 있도록

Paper Implementation and Theoretical Background

Paper Overview

본 논문의 전체적인 접근 방식은 다음과 같다:

DWpose → MotionAGFormer → Frame Action Cross Attention

단안 카메라로 촬영된 비디오만으로 피겨 스케이팅 동작을 정확히 판별하는 것은 여러 한계가 존재한다. 특히 피겨 스케이팅의 복잡한 회전 동작과 점프의 3차원적 특성을 2D 영상만으로는 완전히 분석하기 어렵다. 기존 방법들은 깊이 정보의 부족으로 인해 정확한 동작 분류에 한계를 보였다.

이러한 문제를 해결하기 위해 3차원 자세 데이터를 활용한 접근법을 채택하였다. 2D 자세 추정 결과를 3D로 변환하고, 시계열 특성을 고려한 딥러닝 모델을 통해 점프 동작을 정확히 분석하고자 하였다.

논문의 contribution은 크게 두 가지로 나눌 수 있다:

1. 피겨스케이팅 점프 데이터셋 생성
2. Pose Estimation과 Temporal Action Segmentation로서 본 데이터셋은 유의미하다.

Figure Skating Jump Dataset

이 프로젝트에서 사용된 데이터셋은 12개 카메라로 동시 촬영된 비디오 데이터와 함께 3D 좌표 데이터(c3d), 메타데이터(json)로 구성되어 있다.

├─c3d
│  ├─Skater_A
│  │  ├─Axel, Comb, Flip, Loop, Lutz, Salchow, Toeloop
├─json
│  ├─Skater_A (동일 구조, 2D 기반)
├─skater_A
│  ├─cam_1 ~ cam_12 (촬영 영상)

점프 종류 분류: 액셀, 플립, 룹, 러츠, 살코, 토룹, 그리고 콤비네이션까지 총 7가지 점프 유형을 포함하고 있다. 각 점프는 서로 다른 도약 방식과 회전 특성을 가지므로, 이들을 정확히 구분하는 것이 이 프로젝트의 핵심 과제였다.

MotionAGFormer Architecture

MotionAGFormer의 구조의 전반적인 구조는 아래와 같다. 인체 동작의 공간적 특성과 시간적 특성을 동시에 모델링할 수 있도록 설계되었다. 전체 구조는 크게 두 개의 병렬 브랜치로 구성되어 있다.

이미지는 AGFormer와 그 흐름을 보여주는데, AGFormer 속 크게 두 가지로 나눌 수 있다.

• Spatial Metaformer: 관절의 위치 정보를 담당하는 spatial metaformer, 관절들 간의 공간적 관계를 모델링하는 역할을 담당한다. 각 관절이 인접한 관절들과 어떤 관계를 가지는지 학습하여, 자연스러운 인체 동작의 제약조건을 모델에 반영할 수 있다.
• Temporal Metaformer: trajectory 정보를 담당하는 temporal metaformer구조로 이루어져 있다. 과거와 현재, 미래의 프레임들 사이의 관계를 학습한다.

이를 이해하기 위해서 Metaformer 구조를 이해해야하는데,

TokenMixer라고 적혀있지만, 본 논문의 코드를 스키밍해봤을 때 저 부분이 Attention이 들어가냐 아님 GCN이 들어가냐의 차이밖에 없어보인다. 저 두 개를 섞는 것도 아니고 논문에서도 parallel module이라고 표현하고 있다.

GCN 계산 과정에서 상당한 행렬 연산이 필요하므로, 이 부분이 전체 훈련 과정에서 주요 병목 지점이 될 수 있음을 확인하였다. 따라서 실제 시스템 구축 시에는 이 부분의 최적화가 중요한 고려사항이다.

Data Preprocessing Process

Data Preprocessing Challenges

커스텀 데이터셋 토대로 전처리하는 방법은 아래 이슈에 잘 남겨져있다.

• Data preprocessing for finetuning using external data

그런데 여기서 알 수 있듯, world -> camera -> image 좌표계로 변환을 해야한다. 그거도 모르고 삽질을 했었다.. 그리고 더군다나 논문에 나온 FSJump3D 데이터셋에서는 2D 관련 정보가 없고, 좌표계 변환에서는 카메라 정보가 필수라.. 결국에는 이 부분은 저자에게 문의했다.

삽질하면서 아래처럼 이렇게 만들었는데 생각보다 잘 되지 않았었다..ㅠㅠ

2d pose는 dwpose로 얻은 데이터, world3d 좌표는 있겠다 싶어서 focal length는 linear regression으로 650 추정한 값을 이용했고(현실은 1650..^^) extrinsic값은 cv2.solvePnP이용해서 추정했다. 그래서 그런지 위와 같은 결과가..나왔다..ㅋㅋㅋ 그래도 일련의 삽질 덕분에 어떻게 데이터가 전처리되는지 파악은 되어서.. 다행?인 거 같기도

Data Format Types

MotionAGFormer에서 지원하는 데이터 format 형태는 Human 3.6M과 mpi형태를 지원한다. 물론 위 이슈를 통해서 커스텀으로도 훈련이 가능하다. 커스텀으로 훈련 가능하게 만들었으나.. 데이터를 받아버린 바람에 반쯤 의미가 없어지긴 했다..ㅋㅋ

MotionAGFormer는 해당 데이터 형태로 train, test로 나누었는데,

dict_keys(['joint_2d', 'confidence', 'joint3d_image', 'joints_2.5d_image', '2.5d_factor', 'camera_name', 'action', 'source', 'frame', 'world_3d', 'cam_3d', 'cam_param'])

여기서 joint_2.5d_image = 2.5_factor * joint3d_image와 동일하다. 이와 관련된 이슈는 다시 한 번 여기에서 확인하시면 되겠다.

3D Pose Estimation Implementation

finetuning을 위해 데이터 삽질을 하던 중, 아래 데이터셋을 이용해서 전처리하고 있었다.

• FSJump3D

문제는 gt2d 데이터가 없어서 혼자서 hrnet pose detector로 하나하나 점 찍고 훈련하던 와중, 안되겠다 싶어서 저자에게 질문을 했다. 알고보니 해당 데이터셋은 아래 데이터셋으로 통합이 되었고. MotionAGFormer와 최근 TCPFormer 데이터 전처리에 맞게끔 코드가 되어있었다.

• AthletePose3D

이전 이슈에서 이해했듯, (lcn-pose)[https://github.com/CHUNYUWANG/lcn-pose/blob/master/tools/gendb.py] 를 따라서 잘 정리가 되어있다. 별도로 코드 수정없이 전처리 후에 MotionAGFormer을 파인튜닝한 결과:

Protocol #1 Error (MPJPE): 68.64220575394518 mm
Acceleration error: 0.8875901212590517 mm/s^2
Protocol #2 Error (P-MPJPE): 10.61481703004164 mm

논문에서 유사하게 결과가 나왔다. ※ 논문은 약 65

아 참고로, 현재 그래픽 카드는 RTX 5060 단일 그래픽카드로만 훈련을 했으나 batch 사이즈가 커버리거나 프레임 크기가 81로 넘어가면 훈련이 불가능해서.. ㅠㅠ 가장 작은 모델로 훈련하였다.

궁금해서 scratch로 오로지 AthletePose3D로만 했을 때 결과도 궁금해서 둘 다 훈련해보았다. TCPFormer은 프레임 수가 81부터만 모델을 제공해서 파인튜닝이 불가능한 상태며, 훈련시간이 MotionAGFormer보다 한 epoch 당 2~3배의 시간이 차이나서.. 이러한 이유로 AthletePose3D로만 훈련해보기로 하였다.

결과로만 봤을 때 별 차이가 없어보이고.. 모델 자체 용량으로 봤을 때 전자가 1/3배 이므로 MotionAGFormer을 사용하기로 했다. 더군다나 RTX 5060 기준, 전자는 약 18시간, 후자는 48시간 훈련 시간이 소요되었다.

논문에 따르면 이러한 결과로 AthletePose3D는 다양하고 robust한 데이터를 제공한다라고 주장한다.

MotionAGFormer Data Preprocessing

아래 데이터셋은 이미 MotionAGFormer에 맞게 데이터가 준비되어있다.

• AthletePose3D Dataset

만약 Custom으로 준비하고 싶다면 아래 정보가 들어가야한다.

dict_keys(['joint_2d', 'confidence', 'joint3d_image', 'joints_2.5d_image', '2.5d_factor', 'camera_name', 'action', 'source', 'frame', 'world_3d', 'cam_3d', 'cam_param'])

여기서 'joint3d_image'는 이미지 좌표계 (world → camera → image)로 변환된 값으로 z값은 depth 값이다. 원근감을 위해 적용된 값이다. 따라서: joint3d_image * 2.5d_factor = joint_2.5d_image와 같다.

• issue
• LCN reference

2d와 confidence는 2d pose estimator을 통해서, 3d는 world frame 기준 3d pose estimator로 얻고, camera의 intrinsic, extrinsic값이 있다면 데이터셋을 만들기까지는 크게 어렵지 않다. 문제는 2.5d factor을 어떻게 얻느냐는건데,

lambda = (box[2] - box[0] + 1) / rectangle_3d_size

여기서 lambda는 world 좌표계에서 image 좌표계로의 변환 비율을 나타낸다. 반대로 2.5d factor는 image 좌표계에서 world 좌표계로의 역변환을 위한 팩터이므로, 다음과 같은 관계가 성립한다:

2.5d_factor = 1/lambda

joint3d_image는 3D 월드 좌표를 카메라 좌표계를 거쳐 이미지 좌표계로 변환한 결과이다. 이때 z값은 실제 깊이 정보를 담고 있으며, 원근감을 정확히 반영하기 위해 다음과 같은 계산이 수행된다:

joint3d_image * 2.5d_factor = joint_2.5d_image

Temporal Action Segmentation

관련 데이터는 해당 이슈에서 얻었다.

• Issue

기존 RTX 5060에서는 훈련시간이 240시간을 넘어가는 관계로 vast.ai 에서 RTX 5090을 대여해서 훈련 시간 11시간을 소요하여 훈련하였다. evaluation은 아래와 같이 나왔다..!

Frame Action Cross Attention Data Preprocessing

• Task Annotation Dataset

데이터 전처리에서는 17개 관절의 정렬된 local pose 정보와 함께 관련 오일러 각도를 추가한 형태를 특성으로 활용한다. 이를 통해 관절의 위치뿐만 아니라 방향 정보도 함께 고려할 수 있어, 보다 정확한 동작 분석이 가능하다.

데이터 형태가 묘하게 18 _ 3 = 54로 flatten된 형태를 찾아볼 수 있었다. 문제는.. 관절을 17개 사용하는 h36m 포맷으로써 어떻게 전처리를 했는지 궁금했다. 이리저리 실험해본 결과 앞 17 _ 3 = 51개는 local joint position인 것을 확인했으나 마지막 3개 값이 무엇인지 감이 안잡혔었다.

처음에는 global 값인 줄 알고 저렇게 데이터를 뿌린 것이었지만 알고 보니 논문에 적혀있는 바와 같이 pose alignment 즉, 같은 방향으로 바라보게끔 전처리를 해놓고 그 뒤에다가 euler angle을 concat한 것 뿐이었다. 아래 기준점을 잡고 전처리를 하였다고 한다.(논문에서는 단순하게 pose alignment로만 표기되어 있어서 관련해서 계속 저자에게 질문했었다.)

다행히 전처리 코드를 얻어서 pose estimation으로 얻은 결과를 건내받은 함수 결과값 토대로 segment를 진행했었다.

데이터셋을 확인해본 결과 아래와 같았는데,

이전 3d로 추출한 데이터가 그닥 썩 좋지 않음을 보여준다.. 이 상태로 TAS를 진행한 것 같다.

최종적으로 얻은 결과물은 음.. 솔직히 많이 실망스러웠다. 럿츠를 룹으로 인식하는 등 대부분의 결과가 None으로 처리되었다..ㅠㅠ

아무래도 TAS에 들어간 데이터를 plot했을 때 상당히 corrupt된 것들이 많이들어간 걸 확인했고, 때문에 결과가 잘 나오지 않은 것으로 사료된다..

Final Results and Evaluation

MotionAGFormer와 Frame Action Cross Attention의 각 순서대로의 evaluation은 아래와 같다.

생각보다 인식에 있어서 실망스런 결과를 보여주었다. Annotation feature 데이터가 많이 손상된 것을 확인해서.. 그것을 감안하고 인식하는 것 같아보인다. 영상은 럿츠이나 룹으로 인식하는 오류를 범하고 있다..

• Demo

Summary and Conclusions

종합적인 결과와 페이퍼 관련한 정리를 하자면, 생각보다 결과가 미흡한 것에 대해서는 데이터 퀄리티가 상당히 낮았다는 것과 가장 중요한 foot feature들을 사용하지 않았다는 것이다.. 이러한 연유가 크지 않을까 예상해보았다.

• Article

일본에서는 이와 관련해서 연구가 상당히 이루어지고 있는 것 같은데, 기존에 체조 쪽에서 쓰이던 AI 채점 기술을 바탕으로 선수들 훈련 분석용 모델을 만들고 있는 중이다.

결과는 비록 실패에 가까운 논문 구현이었지만 충분히 개선가능하다고 본다.

• foot feature 추가: 도약과 착지가 중요한 판정 기준으로써 Annotation에 추가적인 부분들이 필요하다. 이 부분은 이전 프레임과 현재 프레임간의 속도로 계산해서 들어가면 발 자체를 추가하지 않아도 될 것 같아 보인다.
• 추가적인 Annotation 데이터 필요: 아직 착지와 도약에 관한 데이터셋은 현저히 부족하고 주관적인 요소들이 들어간다. 이와 관련해서 많은 사람들로부터 데이터 수집이 필요해보인다.

또한 논문에서는 DWposeEstimator를 사용하였지만.. coco 포맷으로 결과가 나와서 변환해서 h36m 포맷을 estimate을 했었다. 이미 내부에 hrnet이라고 2d pose estimator가 있었는데, 속도면에서 hrnet이 estimate하는데 더 빨랐어서 dwpose는 fallback용으로 넣어두기는 해놓았다. 아, 그리고.. coco 포맷이 두 가지(?)나 있다는 걸 이번 데이터를 뜯어보면서 알게되었다. 나름 얻어가는 부분이 많았던 프로젝트인 것 같다.

References

• MotionAGFormer
• MotionBERT
• MotionBERT issue
• LCN
• Metaformer