Temporal Action Segmentation

관련 데이터는 해당 이슈에서 얻었다.

• Issue

기존 RTX 5060에서는 훈련시간이 240시간을 넘어가는 관계로 vast.ai 에서 RTX 5090을 대여해서 훈련 시간 11시간을 소요하여 훈련하였다. evaluation은 아래와 같이 나왔다..!

Data preprocessing

데이터 형태가 묘하게 18 _ 3 = 54로 flatten된 형태를 찾아볼 수 있었다. 문제는.. 관절을 17개 사용하는 h36m 포맷으로써 어떻게 전처리를 했는지 궁금했다. 이리저리 실험해본 결과 앞 17 _ 3 = 51개는 local joint position인 것을 확인했으나 마지막 3개 값이 무엇인지 감이 안잡혔었다.

처음에는 global 값인 줄 알고 저렇게 데이터를 뿌린 것이었지만 알고 보니 논문에 적혀있는 바와 같이 pose alignment 즉, 같은 방향으로 바라보게끔 전처리를 해놓고 그 뒤에다가 euler angle을 concat한 것 뿐이었다. 아래 기준점을 잡고 전처리를 하였다고 한다.(논문에서는 단순하게 pose alignment로만 표기되어 있어서 관련해서 계속 저자에게 질문했었다.)

다행히 전처리 코드를 얻어서 pose estimation으로 얻은 결과를 건내받은 함수 결과값 토대로 segment를 진행했었다.

최종적으로 얻은 결과물은 음.. 솔직히 많이 실망스러웠다. 럿츠를 룹으로 인식하는 등 대부분의 결과가 None으로 처리되었다..ㅠㅠ

아무래도 TAS에 들어간 데이터를 plot했을 때 상당히 corrupt된 것들이 많이들어간 걸 확인했고, 때문에 결과가 잘 나오지 않은 것으로 사료된다..

Wrapup & Conclusion

종합적인 결과와 페이퍼 관련한 정리 및 사용한 모델들은 다음 포스트에서 정리할 것 같다. 생각보다 결과가 미흡한 것에 대해서는 데이터 퀄리티가 상당히 낮았다는 것과 가장 중요한 foot feature들을 사용하지 않았다는 것이다.. 이러한 연유가 크지 않을까 예상해보았다.

• Article

일본에서는 이와 관련해서 연구가 상당히 이루어지고 있는 것 같은데, 기존에 체조 쪽에서 쓰이던 AI 채점 기술을 바탕으로 선수들 훈련 분석용 모델을 만든다는 모양인 것 같다.