[AITech][Final Project][P stage] 20220516 - 최종 프로젝트 1일차

less than 1 minute read

최종 프로젝트 1일차

face detection, recognition, clustering 등을 모두 지원하는 dlib 라이브러리를 사용해보았다.

dlib 설치 할 때 세팅해야 하는 과정(CUDA, CuDnn 등)이 매우 험난하다고 하는데, 팀원분 덕분에 가이드라인을 제공받아서 쉽게 설치할 수 있었다. (감사합니다…)

현재 나의 목표는 영상에 나오는 unique한 인물들을 찾아서 사용자에게 제공해주는 것이다.

현재 구상은 영상의 초반 1~2 분 정도 동안만 face detection을 진행해서 인물들의 얼굴을 crop한 다음, face clustering을 이용해 같은 얼굴들끼리 묶는 것이다.

각각 SOTA 모델들을 이용해 볼 수도 있지만 일단은 dlib 라이브러리를 이용해 어느정도의 결과가 나오는지 확인해보았다.

먼저 아래와 같이 영상 초반부를 일정 프레임 단위로 잘라서 저장한다.

위 이미지들에 face detection을 적용하여 얼굴 이미지들을 모두 crop해서 가져온다. 해당 이미지들은 따로 저장하지는 않고 feature로 face clustering 부에 전달된다.

Face clustering에서는 face detection에서 얻은 face image들을 clustering하여 같은 인물들끼리 묶는다.

성능이 어느정도 나오려나 했는데..!!

위 인물들을 같은 인물로 묶는다.

이건 못 쓸 듯 하다ㅎㅎ

오늘은 dlib을 이용해 face clustering을 시도해보았다. 성능은 좋지 않았지만, 앞으로 어떤 것을 시도해보아야 할 지 감이 조금 잡힌다.