3D Pose Estimation

finetuning을 위해 데이터 삽질을 하던 중, 아래 데이터셋을 이용해서 전처리하고 있었다.

• FSJump3D

문제는 gt2d 데이터가 없어서 혼자서 hrnet pose detector로 하나하나 점 찍고 훈련하던 와중, 안되겠다 싶어서 저자에게 질문을 했다. 알고보니 해당 데이터셋은 아래 데이터셋으로 통합이 되었고. MotionAGFormer와 최근 TCPFormer 데이터 전처리에 맞게끔 코드가 되어있었다.

• AthletePose3D

이전 이슈에서 이해했듯, (lcn-pose)[https://github.com/CHUNYUWANG/lcn-pose/blob/master/tools/gendb.py] 를 따라서 잘 정리가 되어있다. 별도로 코드 수정없이 전처리 후에 MotionAGFormer을 파인튜닝한 결과:

Protocol #1 Error (MPJPE): 68.64220575394518 mm
Acceleration error: 0.8875901212590517 mm/s^2
Protocol #2 Error (P-MPJPE): 10.61481703004164 mm

논문에서 유사하게 결과가 나왔다. ※ 논문은 약 65

아 참고로, 현재 그래픽 카드는 RTX 5060 단일 그래픽카드로만 훈련을 했으나 batch 사이즈가 커버리거나 프레임 크기가 81로 넘어가면 훈련이 불가능해서.. ㅠㅠ 가장 작은 모델로 훈련하였다.

궁금해서 scratch로 오로지 AthletePose3D로만 했을 때 결과도 궁금해서 둘 다 훈련해보았다. TCPFormer은 프레임 수가 81부터만 모델을 제공해서 파인튜닝이 불가능한 상태며, 훈련시간이 MotionAGFormer보다 한 epoch 당 2~3배의 시간이 차이나서.. 이러한 이유로 AthletePose3D로만 훈련해보기로 하였다.

결과로만 봤을 때 별 차이가 없어보이고.. 모델 자체 용량으로 봤을 때 전자가 1/3배 이므로 MotionAGFormer을 사용하기로 했다. 더군다나 RTX 5060 기준, 전자는 약 18시간, 후자는 48시간 훈련 시간이 소요되었다.

논문에 따르면 이러한 결과로 AthletePose3D는 다양하고 robust한 데이터를 제공한다라고 주장한다.

다음은 Temporary Action Segmentation 이다..!