인공지능을 현업에서 다루는 방식은 크게 두 가지로 나눈다.

• Application/Engineering
• Research

전자는 모델을 서빙, 혹은 기존 모델을 현업으로 가져와서 파인튜닝하고 사용성 있게 운용하고 후자는 모델 자체를 개선하는 연구 방향이다. 필자는 보통 전자의 경우에서 일을 하는 편인데, 모델을 수정하다보면 Research로 디벨롭해서 paper publish하는 경우가 클 것으로 본다.

사실 석사 시절 내내 영향력이 큰 해외 저널에 출판한 적이 없기도 하고, 연구실 자체 분위기 때문에, 해도 그만 안해도 그만으로 2년간의 성장은 거의 없었다고 보는 퍼포먼스가 그리 좋지는 않았다.

심지어 좋은 기회가 왔었어도, 해당 분야에 대한 애정이 없었다보니, 흐지부지 되어서 탑티어 저널에 이름을 올리는 것 또한 기회가 날아가고 실패한 경험도 있다.(노답..) 인공지능 모델 자체나 알고리즘을 좋아하기 보다는 특정 도메인에 어떤 것을 적용하는 것을 더 선호했기에 그렇게 안일하게 학교생활을 보내왔던 것이 없잖아 있었다.

이번 포스트는 4년동안 저지른(?) 일들을 다신 반복하지 않기 위해 적어두는 반성 포스트라고 보면 되겠다. (재발방지 포스트..)

What to see & How to see

이전 포스트에서 적었던 바와 같이 무엇을 보고 어떤 것을 봐야 이런 문제 해결이 도움이 될지 근 몇년간 조금씩 고민해왔다. 어디에도 이러한 상황에서 더 나아질지, 이러한 것을 했을 때 어떻게 나아질지에 대해서는 그 누구도 알려주지 않았기 때문에, 막막하게 보내왔던 것은 사실이다.

그래서 인공지능을 시작할 때는 무작정 LLM이나 CLI을 써보고 top-to-bottom으로 익혀보는 것도 좋은 방법이라고는 생각하나, 왜 안될까에서 어떻게하면 개선이될까에 대한 갭 최소화는 bottom-to-top에서 답을 얻을 수 있었다.

왜 내 VAE는 안되었을까

2022년 당시, LLM이 없을 시절, 배정받은 연구주제는 특정 사물에 approach를 한 후 specific한 task를 나누어서 휴머노이드로 하게끔 시뮬레이션 하는 과제였다. 처음에는 motionvae로, 이 과제를 해결하려고 했었다. 당시 생성형 ai로는 vae, gan만 존재한다는 거 외에는 처참한 background였고 무작정 세팅하고 실험만했다. 당시 연구실 자원이 매우.. 열악해서 탓을 하자면 2080으로 어떻게든 쑤셔넣어서(?) 연구를 진행했었다.

결국 1년동안 얻은 결론은 VAE는 되지 않는다였고, 그 이유에는 VAE 자체 구조였다. hyperparameter에 매우 민감하고, posterior collapse로 된 결과물로, 아무리 보상함수로 행동을 유도해도 모델 자체가 그리 좋지 않았다.

결과적으로는 첫 프레임으로 condition을 준 데이터를 토대로 기대한 것과 달리 다양한 결과물을 만들어내지 못하고, 기존 데이터를 답습하는 형태로, 즉, 사전분포를 무시해버리는, 그러니까 데이터로 들어간 모션 데이터들이 정규분포를 이룰 것이라는 분포를 완전히 무시하고 훈련이 된 상태라고 볼 수 있다.

관련 연구로는 아래 확인해볼 수 있다.

• 👩‍💻 | 바닥부터 도전하는 모션 생성: VAE편

결국에는 더 나은 GAN기반 Adversarial imitation learning을 차용한 Adversarial Motion Prior(Peng et.al 2021)을 차용해서 문제를 해결하였다.

모든 것에는 이유가 있다

현재는 어느 정도 바닥부터 공부한 것들이 쌓여서 모델의 문제를 어렴풋이나마 추측할 수 있는 정도까지는 되었다. 무작정 보상함수만으로 훈련하는 방법에는 한계가 있었다는 것을 연구실 그 누구도 도움을 얻을 수 없었던 처참한 배경도 한몫했다. 놀랍게도 현재 연구실은 LLM의 도움으로 내가 생활했던 것과 달리 모르는 것에 대해서는 즉각적인 답을 얻으면서 background가 충분해진 모습들을 최근에 확인할 수 있었다.

결국 정보 부족이 가장 큰 탓이었고, 조금 더 다양한 각도를 찾아볼 생각을 못한 환경 문제를 크게 뽑을 수 있었다. 또한 왜라는 질문에서 시작되어서 확장되어가지 못한, 스스로 훈련 체계를 구축하고 찾아가지 못한 개인 잘못도 있었다

선택에 따른 책임

졸업 후 2년동안 5군데 회사를 전전하면서 실패한 경험을 통해 여러 사실들을 얻을 수 있었다. 썩 좋은 회사들을 다닌 편은 아니었어서 이상적인 회사가 어떤 회사인지는 모르나, 타산지석으로(?) 배운 것으로 몇가지는 선택에 따른 책임은 개인에게 있다는 것이다. 해당 방법을 선택한 것은 결국 성능저하가 일어났던, 발생한 문제에 대해서는 개인이 책임이므로 이를 방지하기 위해 조사에 시간을 투자하는 이유에는 이런 것들이 있겠구나라고 느꼈다.

그래서 잘 운영되는 회사라는 것은 legacy가 남아있고, 꼼꼼한 관리와 합리적인 체계가 있지 않나 예상해본다. (이 부분은 Product management 관련 책과, HR, SW공학 관련해서 책을 읽고 고민해볼 것 같다.)

What's next?

• 논문 체크리스트

당장의 목표는 top-to-bottom, bottom-to-top 동시에 챙기면서 커리어를 쌓을 것 같다. bottom-to-top으로는 앞으로 적을 시리즈로 예상되고, top-to-bottom의 경우는 회사에서 생기는 pain point로 개발 관련해서 돌리거나(...) 혹은 과제로 나오는 것을 토대로 논문을 작성하는 방향으로 생각하고 있다.

나이 앞자리가 바뀐 만큼, 더 이상의 4년동안 겪은 실수를 반복하지 않기를 바라며 포스팅을 마친다.