[AITech][Final Project][P stage] 20220606 - 최종 프로젝트 16일차

최종 프로젝트 16일차

프로젝트가 막바지로 달려가고 있다.

오늘은 멘토님에게 1차 발표 영상 및 자료를 보내는 날이었다.

현재 모델링 코드 모듈화에 더불어 serving까지 완료되었으며, serving하시는 분들은 열심히 마무리 작업과 최적화에 힘쓰시는 중이다. (감사합니다…)

주말동안 모델링 부분에서는 grid search를 통한 optimal hyperparameter를 찾는 것과, 논문 서칭 및 브레인스토밍을 통해 흥미도에 적용할 metric를 하나 추가로 만드는 작업을 했다. 기존 흥미도 계산에는 laughter의 상대적 길이와 크기를 사용했었는데, 이에 더해 해당 구간에서 사용자가 선택한 인물이 나오는 상대적 길이를 추가적으로 사용하였다. 이는 우리 프로젝트가 ‘인물 기반’이기 때문에, 사용자가 선택한 인물이 영상에 많이 나올수록 사용자에게 높은 흥미를 줄 것이라는 판단 하에 추가하였다.

또한 각 영상마다 사용자가 쉽게 내용을 짐작할 수 있도록 ‘키워드(태그)’를 제공해주기 위한 Speech To Text(STT)도 구현 및 모듈화가 진행되었고, 남은 기간 동안 이를 serving에 올려야 한다.

마무리로 survey를 수행하여 생성된 shorts 영상에 대한 정당성을 확보할 예정이다.

• timeline 추출 후 앞뒤로 몇 초를 잘라 최종 shorts로 만들 것인지
• 흥미도 계산 시 3가지 요소의 비율을 어떻게 맞출 것인지
• 최종 제공된 shorts 영상들이 실제로 사용자가 만족할 만한지

여기까지 하면 프로젝트가 마무리되고, 발표 자료 및 영상을 신경써서 만들면 될 것 같다!

결론

• Speech To Text 연결
• Servey를 통한 정당성 확보
• 발표 자료 및 영상 피드백