컴굥일지

1. 모션 인식 - PoseNet PoseNet은 MobileNet 기반의 pose estimation 네트워크입니다. PoseNet의 장점은 아래와 같습니다. 1. TensorFlow.js에서 실행이 가능하기 때문에, js 기반으로 코딩이 가능합니다. 2. 웹캠/핸드폰 카메라로 실행할 수 있습니다. 3. 브라우저 상에서 실행이 되고, 데이터가 남지 않습니다. OpenPose와 Django로 배포가 실패했기 때문에, 저희 팀은 js 기반으로 코딩이 가능하다는 점이 매우 중요했습니다. 백엔드로 배포하여 프론트와 연결하는 것보다, 프론트에 붙여서 같이 배포하는 것이 훨씬 쉬웠습니다. PoseNet은 SinglePose와 MultiplePose를 검출 할 수 있습니다. SinglePose는 한 사람만 추정하며..

1. OpenPose with Django 저희 팀은 백엔드로 Django를 사용하기로 했습니다. 그래서 AI파트도 Django로 작성하면 나중에 배포할 때 좀 편하지 않을까 싶었습니다. 그러나 생각보다 예시 코드가 많지 않았습니다. 저번 포스트에서 적은 코드는, 새로운 창을 띄워서 거기에 웹캠 영상이 송출되는 방식이었습니다. 하지만 제가 원하는 방식은 아래 사진과 같이 웹페이지에 한 부분에서 동영상이 송출되는 방식입니다. 이와 관련된 코드에 대해 아래에 기술하도록 하겠습니다. 2. Django에서 카메라 켜기 일단 먼저 django에서 카메라를 키는 코드를 알아보겠습니다. #urls.py from django.urls import path from . import views urlpatterns = [..

1. 모션 인식 - OpenPose OpenPose는 신체의 관절을 추론하는 기술입니다. 이후, 관절들을 선으로 이어서 보여줍니다. OpenPose는 얼굴, 손, 몸의 skeleton을 그릴 수 있습니다. 자세 추정이 필요한 저희 팀은 이 기술을 사용하기로 결정했습니다. (with python) 2. OpenPose 설치하기 https://github.com/CMU-Perceptual-Computing-Lab/openpose 위 링크에 들어가서 파일들을 다운로드 받아야 합니다. 파일을 압축해제 후, models 폴더에 들어가서 getModels 파일을 실행해야 합니다. 윈도우 환경에서는 아래에 표시한 파일을 실행하고, 그 외의 경우에는 그 밑의 getModels.sh를 실행하면 됩니다. 파일을 실행하면 ..

1. 모션 인식 - Teachable Machine 모션 인식을 위해 사용해 본 기술들은 아래와 같습니다. 1. Teachable Machine 2. OpenPose (OpenCV) with Python 3. PoseNet with javascript 위의 3가지 중에 가장 쉬운 것은 Teachable Machine이었습니다. 유튜브에서 Teachable Machine을 사용하여 자세 추정을 하는 동영상을 찾았습니다. 이걸 보고 따라 하며 TM 사용법을 알게 되었습니다. 깃허브나 기술 블로그들을 읽는 것도 좋지만, 동영상으로 설명해주는 것이 가장 이해하기 쉬운 것 같아서 아래에 첨부합니다. https://youtu.be/9SwdGFzFb5Y (세상에서 가장 쉬운 인공지능 만들기 2탄 | Teachable..

1. 프로젝트 주제 변경 사유 저번 포스트를 보면 알 수 있겠지만, 저희 팀은 GPT를 사용하여 동화를 "생성"하려고 했었습니다. 하지만, 방학 중에 GPT를 계속 사용하면서 많은 스트레스를 받았었습니다. 먼저 KoGPT2를 사용하여 "문장"을 생성하면 그나마 말이 되는 문장이 나왔습니다. 하지만 "문단"을 생성하려고 하면, 문법은 물론이고 내용이 너무 이상하게 나왔습니다. 그래서 GPT3를 사용하여 한국어로 문단을 생성하려고 했는데, 한국어 학습이 너무 덜 되어있었는지 KoGPT2보다도 내용이 이상하게 나오는 것 같았습니다. GPT3가 한국어가 아니라 영어는 많이 학습이 되어있기 때문에, 영어 동화로 주제를 틀어보기로 했습니다. 이때까지만 해도 약간의 희망을 가지고 있었지만, 결과는 그리 희망적이지 않..

1. 프로젝트 주제 어릴 때, 동화책을 읽다 보면 부모님이 옆에서 "이다음엔 어떻게 되었을까?" 라던가 "여기서 다른 선택을 했으면 어땠을까?"와 같은 질문을 던지곤 합니다. 그러면 어렸던 저는 이제 질문을 듣고 막 상상을 하면서 뒷 이야기를 생각하곤 했습니다. 저희 팀의 프로젝트 주제(참여형 동화 서비스)는 이러한 경험으로부터 나오게 되었습니다. 현재 저희 팀은 5~7세 대상의 동화책을 dataset으로 모으고 있습니다. 이 dataset으로 학습을 시킬 예정입니다. 제가 이번에 맡은 부분은 동화를 생성하는 파트입니다. 기술 조사에서 동화 생성을 맡는 기술로 GPT3와 KoGPT2가 거론되었습니다. 그러나 GPT3가 유료이기 때문에 일단은 KoGPT2를 사용해보기로 했습니다. 2. 진행 내용 프로젝트 ..