참여형 동화 서비스 - 주제 변경

1. 프로젝트 주제 변경 사유

저번 포스트를 보면 알 수 있겠지만, 저희 팀은 GPT를 사용하여 동화를 "생성"하려고 했었습니다.
하지만, 방학 중에 GPT를 계속 사용하면서 많은 스트레스를 받았었습니다.

 

먼저 KoGPT2를 사용하여 "문장"을 생성하면 그나마 말이 되는 문장이 나왔습니다. 
하지만 "문단"을 생성하려고 하면, 문법은 물론이고 내용이 너무 이상하게 나왔습니다.

그래서 GPT3를 사용하여 한국어로 문단을 생성하려고 했는데, 한국어 학습이 너무 덜 되어있었는지 KoGPT2보다도 내용이 이상하게 나오는 것 같았습니다.

GPT3가 한국어가 아니라 영어는 많이 학습이 되어있기 때문에, 영어 동화로 주제를 틀어보기로 했습니다.
이때까지만 해도 약간의 희망을 가지고 있었지만, 결과는 그리 희망적이지 않았습니다.

 

저희 팀은 1월 한 달간 많은 시행착오와 절망을 겪고, 결국 주제를 바꾸기로 결정했습니다.

---

2. 변경된 주제

처음에는 아예 다른 주제로 바꿀까 고민하기도 했지만, 결국 동화라는 큰 틀은 유지하기로 했습니다.
대신, 동화를 "생성"하는 것에 초점을 맞추는 것이 아니라, 동화의 "진행"에 집중하기로 했습니다.

 

동화에 분기가 존재한다는 점은 이전과 동일합니다.
이전 주제와의 차별점은 동화가 진행되다 분기를 맞게 되면, 모션/표정/음성 인식을 통해 사용자의 선택을 받게 되는 점입니다.
또한, 애니메이션을 삽입하여 아이들이 더욱더 동화에 집중할 수 있도록 서비스를 제공하고자 했습니다.

---

3. 모션 인식

바뀐 주제에서 저희 조의 핵심 구현 기술이 모션/표정/음성 인식이 되었습니다.
이 중, 제가 맡은 부분은 모션 인식입니다.

모션 인식을 위한 기술들은 여러 가지가 있지만, 저는 아래 3가지를 써보게 되었습니다.

1. Teachable Machine
2. OpenPose (OpenCV) with Python
3. PoseNet with javascript

가뜩이나 시간이 부족한데 위 3가지 기술을 모두 써보게 된 이유는 인식률의 문제도 있지만, 배포할 때의 문제도 있었습니다.

자세한 내용은 다음 글에 적도록 하겠습니다.