Raspberry Pi를 이용한 얼굴 표정과 감정인식 시스템 개발 JAWS DAYS 2017 발표자료, 한국어 버전, AWSKRUG 강남소모임 발표

1. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Hyunmin Kim
AWSKRUG Gangnam Leader, Megazone
Raspberry Pi를 이용한 얼굴
표정과 감정인식 시스템 개발

2. 자기소개
Hyunmin Kim （김현민）
소속: MEGAZONE
AWS Solutions Architect
AWSKRUG Gangnam Leader
iOS개발자, Node.js로 개발,
현재 AWS Solutions Architect로 메가존에서
일하는중. AWSKRUG에서 많은 활동을 하고 있습니다.
좋아하는 AWS 서비스 : EC2, S3, Route53, Lambda

3. 일본여행을 좋아합니다

4. 회사소개

5. 회사소개
2012 한국최초 AWS파트너로 서비스 개시
한국최초 & 최대 AWS Premier Consulting Partner
400＋이상의 고객에서 서비스 제공
20＋ 글로벌 No.1 솔루션 제공
한국 유일의 AWS 공인 한국어 서포트 센터 운영
한국 최초 AWS Enterprise Support 제공
24 / 7 / 365 서포트 서비스 제공

6. 이 프레젠테이션을 한 이유
AWSKRUG Gangnam 소모임에서 라즈베리파이와
카메라를 이용한 재미있는 세션을 진행해주셨음.
오회근 (harry Oh)
YOGIYO 한국 배달어플리케이션
Backend Developer
Cloud BI Solution, Network Camera,
Standalone DVR, Web based Surveillance System

7. 최대한 간단하게 만들기
오회근님의 라즈베리파이
(보조배터리와 테더링으로 휴대도 가능!!)
개발중인 라즈파이와 카메라 모습

8. 개발 방법
• 사진을 주기적으로 찍어서 S3로 업로드
• 성별, 나이, 스마일 통계를 구한다
• AWS에서 Serverless로 구성
• CLI를 이용
• 카메라는 싼거로
• 시큐리티는 잠시 미뤄두자 ㅠㅠ

9. 아키텍쳐
• AWS 서비스는 S3, Lambda,
StepFunctions, RDS 사용
• 얼굴 분석으로
Amazon Rekognition,
MS Face API
Face Plus Plus 이용
• Plot.ly를 이용하여 차트 생성

10. 개발 환경
• Python 2.7 (virutalenv)
• pip
• emulambda (lambda Simumator)
• AWS CLI
• statelint (StepFunctions JSON validator)
• 라즈베리파이와 인터넷 연결

11. S3 Bucket 생성
• US-WEST-2 OREGON 리전에
jawsdaysfaces bucket 생성
• Lifecycle을 1일로 설정
• 모든 사용자들이 접근 가능하도록
설정
주의! 실제로 서비스 할 경우에는
signed url 등을 이용

12. 라즈베리파이
• 미리 준비해야 할 것들
• WiFi 연결
• USB WebCam 연결
• fswebcam 설치 및 설정값
• AWS CLI 설치 및 설정
• 이미지를 S3에 전송하고 확인

13. IAM 설정
• Lambda 실행 권한을 가진
jawsdaysfaces-role을 추가
• Jawsdaysfaces bucket을 액세스할 수
있는 policy 추가
• 해당 policy를 jawsdaysfaces-role에
추가
• Rekognition, StepFunction policy도 추가
AmazonRekognitionFullAccess
AWSStepFunctionsFullAccess

14. RDS 생성
• RDS를 생성
• Security Group에서 Inbound를
모두 허용
• RDS를 외부에 공개하는건 위험!
Lambda가 RDS에 접근하기
위해서는 같은 VPC에 있어야 한다,
하지만 이럴 경우 Lambda가
외부망에 접근하기 위해서는 NAT
Gateway가 필요함
• 개발용으로만 사용해야함
• 생성이 완료되고 endpoint를
가져옴

15. TABLE 생성

16. Amazon Rekognition
• SDK 지원
• IAM Policy로 설정
• 처음 12개월 동안 매월
5,000개의 이미지를 분석하고
매월 최대 1,000개의 얼굴
메타데이터를 저장 무료
• EU (Ireland)
US East (N. Virginia)
US West (Oregon)

17. MICROSOFT FACE API
• Microsoft face api 페이지
에서 API Key를 생성
• 생성된 API Key는 별도
보관
• 30,000/월 무료

18. FACE Plus Plus
• Face Plus Plus console
페이지에서 API Key를
생성
• 생성된 API Key는 별도
보관
• 무료는
제한된사용량/응답보장
안함

19. Step Functions

20. Step Functions JSON

21. 미리 제공되는 템플릿을 참고

22. Statelint

23. 얼굴 이미지가 아닌 경우 동작

24. 얼굴 이미지일 경우 동작

25. Detect Labels (사진 분석)
• Amazon Rekognition에
detect_labels API로 요청
• Label의 이름이 Human,
People, Person 이면서
Confidence 값이 95 이상일
경우 얼굴 사진으로 판별

26. JAWS-UG LOGO로 테스트

27. 얼굴 사진으로 테스트

28. isFacePhoto
• isFaces의 값에 따라서
분기를 처리해준다
• 얼굴 사진이 아닐 경우,
NoFacesPhoto로,
• 얼굴 사진일 경우 API를
병렬 처리 하도록

29. 얼굴분석 API를 병렬로 처리
Amazon Rekognition, MS Face API, Face Plus Plus의 얼굴
분석 API를 호출해서, 여러 시스템에서 나온 결과값을
받아온다

30. 각 회사의 API마다 결과값에 차이가 있다

31. Face Data Process
• 여러 Face API에서
모은 결과에서 원하는
통계를 내기 위한
데이터로 가공한다

32. Update Database
• 가공한 데이터를
RDS에 넣어준다

33. Database에 결과값이 쌓이는지 확인

34. 원하는 통계 쿼리를 작성
분당 나이와 Smile 평균
나이대별 통계
성별 통계

35. 하지만, 결과가 이렇게 표시된다

36. Plot.ly를 통해서 데이터를 보기 좋게 차트화 시킨다

37. 이런 차트가 만들어집니다

38. 나이대별 통계 차트

39. 성별 차트

40. 성별 차트
누구?

41. 성별 차트
최근 인기 한국 드라마 여주인공

42. 결론
- 강남 소모임이 활성화되고, 서로 모여서 라즈베리파이와 카메라를 이용해서
개발하니 재미있다!!
- Amazon Rekognition, MS Face API, Face Plus Plus와 같은 이미지 분석
API를 통해서 큰 비용을 들이지 않고서도 쉽게 이미지 분석이 가능
- API 마다 데이터의 특성이 다르기 때문에 본인에게 필요한 정보에 맞춰서
바꿔나갈 수 있음
- StepFunctions를 통해서 Lambda의 동작과 로그를 보면서 개발할 수 있었음
- 개선할 사항이 많다 ㅠㅠ (보안, 다중 얼굴 처리)
이 부분은 소모임에서 모여서 아이디어 추가 및 계속 개선해 나갈 예정

43. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
감사합니다！
발표자료：
http://bit.ly/hyunmin-jawsdays2017