MDTF (Maryladn Test Facility)는 출입국이 빈번하게 일어나는 공항/항구 환경에 최적화된 생체 테스트로, DHS S&T MDTF 생체 인식 기술 대회에 대한 내용을 조사한 문서를 공유드립니다. AI 테스팅 및 데이터 확보 방법에 관심이 있는 분은 mkbaek@onycom.com연락 부탁드립니다.

1. 본 문서는 어니컴(주)이 발행하는 문서이며 저작권법에 의해 보호를 받는 저작물입니다.
원문 출처를 표기하는 조건 하에 원문 그대로 공유 가능하며, 수정 및 영리 사용은 금지됩니다.
Copyright © 2021 by ONYCOM Inc. All Rights Reserved.
MDTF
생체 인식 기술 대회
(미국 국토안보부 과학기술국)
(Maryland Test Facility)
DHS S&T
[ Biometric Technology Rally ]

2. Content
1. 개요
2. 테스트 프로세스
3. 실행 계획
4. 측정지표
5. API
6. 이미지 획득 시스템 응용 프로그램 세부 정보
7. 이미지 매칭 시스템 응용 프로그램 세부 정보
8. 진행 일정

3. 1. 생체 인식 기술 대회 개요
B i o m e t r i c T e c h n o l o g y R a l l y

4. 1. 대회 개요
4
❖ 목표
- 특정 사용 사례(예: 높은 처리량, 안면 마스크) 분야 집중
- 새로운 생체 인식 기술과 관련된 위험 파악 및 완화
- 현재 산업 제품에 대한 독립적 평가 도출
- CRADA(공동 연구 개발 협약)를 통한 유망 기술 협력 및 지도
※ CRADA : 공동 연구 및 개발(R&D) 활동을 수행하기 위한
미연방 연구소와 타기관 간의 협약
❖ 연간 대회
- 무인화 사례의 높은 처리량
- 일반인 테스트 지원 참가자로 구성한 시나리오 테스팅
- 수십 개의 상용 장치
- 손가락, 얼굴, 홍채 방식
- 자세한 정보: http://mdtf.org
Efficiency
Too Slow
Excessive Staff
Equitability
Poor Performance for
some groups
Privacy
Breach of PII data
Effectiveness
High failure rates
Satisfaction
Low penetration
Unhappy users
BIOMETRIC
TECHNOLOGY
RISKS

5. 2. 과거 생체 인식 기술 대회 방식
5
❖ 대회 방식
2018 이미지 취득 시스템 평가 2019 이미지 획득 시스템 및 매칭 시스템 평가 2020 안면 마스크 착용시 이미지 획득 및
매칭 시스템 평가
- 대회는 2018년 이래로 생체 인식 및 매칭 시스템의 성능과 성숙도면에서 상당한 진전을 보이고 있음
- 대회 결과로 사람과 생체 인식 시스템 간 어떻게 상호작용하고 그 사용성을 증대 할지에 대한 이해 증진
- 대회 참여 공급업체의 이미지 획득 및 매칭 시스템의 성능 향상

6. 3. 2021년 생체 인식 기술 대회
6
❖ 높은 처리량 시나리오에 대한 활용 사례
- 안면 또는 다양한 모드의 시스템
- 이미지 획득 시스템 / 매칭 시스템
❖ 최근 상용 생체 시스템의 효율성, 효과성,
사용자 만족도 향상 기대
- 알고리즘이 동작하면서 이미지를 캡처하는 이미지 획득 시스템의 능력
- 획득 시스템에서 작동하는 매칭 시스템의 능력
- 안면 마스크 유무에 따른 생체 인식 시스템의 성능
- 신규: 특정 인구 통계 그룹에 따른 생체 인식 시스템의 성능 보고

7. 7
“왜 대회를 참여해야 하는가?”
이미지 획득 시스템 제공자 측면
- 다양한 사람들의 샘플로부터 시스템에
수집된 생체 이미지를 수신
- 시스템 최대 처리량에 따른 성능 측정
- 특정 인구 통계학적 그룹에 대한
성능 측정
- 처리 오류를 식별하고 시스템 개선을
위해 트랜잭션 동영상 검토
매칭 시스템 제공자 측면
- 다양한 상업용 이미지 획득 시스템에서의
성능 측정
- 특정 인구 통계학적 그룹에 대한
성능 측정
- 시스템 성능 튜닝을 돕는 인구 통계 및
생체 데이터를 수신
- 획득 시스템과 파트너 관계를 맺을 수
있는 기회
3. 2021년 생체 인식 기술 대회

8. 4. 2021 생체 인식 기술 대회 시스템 의무사항
8
❖ 대회 참석 대상
- 안면, 안면 /홍채 및 안면 /지문 생체 인식 이미지 획득 시스템 공급 업체
- 안면, 홍채 또는 지문 생체 인식 이미지 매칭 시스템 공급 업체
- 공급업체는 매칭 시스템, 획득 시스템 또는 둘 다를 공급하는 업체
❖ 획득 시스템에 대한 최소 요구 사항
- 무인 모드에서 작동 (즉, 운영자/안내자 없음)
- 6' W x 8' L (폭 약 1.8M * 길이 2.4M) 물리적 공간 내 작동 테스트
- 참여 지원자 1인당, 하나의 얼굴에 대한 생체 이미지를 수집
- 정의된 시간 제한 내 생체 인식 데이터 처리 및 제출
- 안면 마스크 착용자의 이미지 획득
- 선택 사항: 추가적인 안면, 홍채 또는 지문 이미지 수집

9. 9
❖ 매칭 시스템 최소 요구 사항
- MdTF Matching API를 준수하는 소프트웨어 패키지 제공
- 안면 마스크를 착용한 사람의 이미지를 안면 마스크 미 착용한 이미지와 일치 시킴
- 일부 수치적인 제한(RAM/CPU 사용량, 속도 등) 내에서 작동해야 함
4. 2021 생체 인식 기술 대회 시스템 의무사항

10. 2. 테스트 프로세스

11. 1. 이미지 취득 시스템 대회 배치도
11
상단 개략도 사전 구간 사진 예시
벽
지지대
- 장비는 가로 1.8m x 길이 2.4m(6’ x 8’)로
설치되어야 함
- 6개구 콘센트 1개 제공
- 전력 소비량 모니터링
- 최대 5암페어 전력 소비량 적용
- API 통신에 필요한 LAN 제공
- 참가 업체는 HW에 네트워크 연결 시
각자 준비한 스위치를 사용해야 함
* 시스템 설치, VIP 데이 또는 시나리오 테스트
기간 중에는 인터넷 접근 불가
* 시설 내 머무르는 동안 인터넷 연결이 필요한
경우 각자 핫스팟 준비 필요
6’ x 8’
area

12. 2. 이미지 취득 시스템 테스트 절차
12
G구역 입장
다음 지점으로
이동

13. 2. 이미지 취득 시스템 테스트 절차
13
지원 참여자는 열에서
일정 거리를 두고 위치
한 명씩 스캔
이미지 획득 첫 단계,
노란지점에서
마스크를 벗음
참여 지원자 특수 장비
장소로 입장
획득 시스템
구역에서 퇴장
생체 인식 획득 시스템의
이미지 획득
파란 지점에서
마스크 교체
지원 참여자의
시스템 평가
만족도(s)
이미지 획득 시스템
이미지 캡쳐

14. 2. 이미지 취득 시스템 테스트 절차
14
1. 이미지 취득 시스템은 다양한 인구 통계학적 참여 지원자(이하 ‘참여자’)들의 생체 인식 이미지 수집
- 참여자는 생체 인식 장치 및 프로세스에 대한 사전 경험을 하게 됨
- 참여자는 획득 시스템 지침을 준수 해야 함
- 참여자에게 특정 획득 시스템의 사용 방법을 설명하지 않음
2. 참여자는 테스트 안내자(가이드)에 따라 여러 그룹으로 나뉨
- 안내자는 각 그룹을 특별히 균형 잡힌 순서에 따라 스테이션 사이로 이동시킴
- 지원자는 한 번에 하나의 시스템을 이용
- 각 시스템을 두 번 사용: 1) 마스크 미착용 2) 마스크 착용
* 테스트 시에는 시스템 제공업체의 담당자는 현장 참석이 불가함

15. 2. 이미지 취득 시스템 테스트 절차
15
3. 테스트 시간 자동화
- 각 그룹은 대회 스테이션 마다 고정된 시간이 할당됨
- 평균 10초의 트랙잭션 시간을 유지하는 시스템은 전체 그룹 처리가 가능함
- 시스템이 모든 사람을 처리하지 못해 시간이 만료 되었을 때는 그룹은 즉시 다음 구간으로 옮김
4. 시스템은 MdTF 평가를 위해 분리된 네트워크에서 설치
5. MdTF에서 이미지 획득 시스템에 의해 획득된 참여자의 추출 이미지를 사용하여 시스템을 평가함
6. 각 프로브 이미지는 이전 MdTF 테스트에서 최대 500명의 참여자의 추적된 사진 갤러리의
이미지 셋과 매칭

16. 2. 이미지 취득 시스템 테스트 절차
16
7. 참여자의 이미지가 rank-1 값(score)으로 임계값 보다 높으면 일치 결과로 선택됨
- 처리 실패: 시스템은 시나리오를 기반으로 나이별 템플릿 생성을 최적화해야 함
- 사진 갤러리 내 프로브 이미지: 참여자 갤러리 이미지 중 최소 하나 이상이 임계값 보다 높은
값(rank-1)을 받아야함
- 갤러리에 없는 프로브 이미지: 시스템은 임계값 미만 점수에 대해 균등하게 보고해야 함
8. 복합은 홍채와 지문 이미지 일치 결과로 수행
9. 공급업체는 특정 FMR 설정을 달성하기 위해 평가에 사용될 임계값 셋트 제공
- 각 임계값에서 FMR의 정확한 추정치를 제공하는 것이 중요하며 이는 참 인식률을 도출하는데 사용됨

17. 3. 실행 계획
L o g i s t i c s

18. 1. 선발 조건
18
이미지 획득 시스템
- MdTF API 준수
- 고품질 생체 이미지 획득
- 요구된 시간/공간 제약 내에서 작동
- 무인 환경에서 운영
- MdTF 테스트 환경에 손쉽게 통합
- 처리량이 높은 미 국토안보부
사용 사례에 적합할 것
이미지 매칭 시스템
- MdTF API 준수
- 적절한 컨테이너화
- 설정된 수치 제약 조건 내에서 작동
- 높은 참 식별률 달성
- 낮은 처리 실패율 달성
- 최대 10개의 이미지 획득 시스템이 선택됨
- 단일 기관이 여러 개의 신청서를 제출하는 경우,
우선하는 시스템을 표시해야 하지만 의무는 아님
- 모든 인구통계학적 그룹에 유효한 시스템
- 모든 마스크 유/무에 유효한 시스템

19. 2. 선발 과정
19
❖ 이미지 획득/매칭 시스템은 백서와 동영상을 따름
- 응용 프로그램 패키지에 대한 세부 정보는 슬라이드 (https://mdtf.org/Rally2021) 끝부분 참고
❖ 미 국토안보부는 이미지 획득/매칭 시스템을 선택할 수 있는 유일한 재량권을 갖음
- DHS S&T(미국 국토안보부 과학기술국)는 이 과정에서 생체 전문가 패널로부터 조언을 받음
- 공간 제약으로 일부 이미지 획득 시스템 신청자만 선정
- 미국 국토안보부 사용 사례에 있어 생체 인식 분야에 명확히 경쟁력 있고 뛰어난 성능을 보여주는
매칭 시스템을 선택

20. 3. 테스트 장소
20
❖ 2021 생체 인식 기술 대회 메릴랜드 테스트 시설(MdTF)에서 개최
- DC 메트로폴리탄 벨트웨이 인근 외부(FedEx 필드 근처)에 위치
- 대규모 자원봉사자 그룹을 테스팅이 구성 가능한 시나리오로 설계
- 생체 인식 시스템 통합을 위한 소프트웨어 API를 제공
❖ MdTF가 VIP데이 직접 개최
❖ 대회에 참가하는 모든 이미지 획득 시스템을 MdTF에 전달
❖ 모든 이미지 매칭 시스템은 분리된 네트워크상에서 배포

21. 4. 이미지 획득 시스템 의무사항 _ 테스트 전 준비사항
21
❖ 이미지 획득 시스템 제공 업체 의무사항
- 시스템 유지 및 운영을 위한 모든 HW 조달
- 기기/시스템을 MdTF API에 통합(MdTF 스탭은 최소한의 지원만 제공함)
- MdTF API와 적절한 통신에 필요한 모든 HW/SW 테스트
- MdTF 내 자체 장비의 전체 설치 및 고장
❖ 예비 선정과 최종 선정 사이의 절차는 예비 선정이 발표된 후 알림
- 시스템 안전 정보
- 인체 윤리 교육

22. 5. 이미지 매칭 시스템 의무사항
22
❖ 매칭 시스템 API, 애플리케이션 및 수치적인 리소스 요구 사항을 따른 도커 이미지 만들기
❖ 특정 FMR(False Match Rate) 필수 설정 사항 및 관련된 점수 임계값 셋 제공
❖ 도커 이미지를 MdTF에 전달. 도커 이미지는 웹 페이지(https://mdtf.org/)를 통해 업로드 됨
❖ 테스트 및 패키지 스크립트 제공됨 (https://github.mdtf.org)
❖ 시스템 요구 사항
- 구현된 매칭 알고리즘은 상업적으로 이용 가능해야 함
- 도커 이미지의 크기: 1.5GB 미만
- 도커 이미지는 1,000ms 이내에 안정적으로 목록 반환
- 1,000개의 템플릿 목록은 300ms 이내에 1,000개의 비교 개체 목록 반환
- 모든 기능은 외부 네트워크에 대한 액세스 및 라이선스 제약 없이 최소 1년간 작동
- 인터넷 접속 없이 구동
* 알고리즘을 수신하면 MdTF 인프라에 쉽게 통합할 수 있도록 개발되어야 하고
DHS는 만약 알고리즘이 기능을 달성하기 위해 무리가 있을 때는, DHS가 전적으로 결격 재량권을 갖음

23. 6. 이미지 획득 시스템 의무사항 _ 테스트 참여 기간
23
❖ 시스템 제공업체는 지정된 장소에 머물면서 각 참여자가 스테이션을 통과하면
각자의 시스템에서 API로 전송된 데이터를 볼 수 있음
❖ 시스템 제공업체는 테스트 도중 시스템 성능에 대한 모든 문제를 MdTF 스탭에게 알려야 함
- MdTF 직원이 이러한 문제를 기록하고 개입 허용 여부를 판단함
- 시험 시행 첫 이틀간 시스템에 대한 사용성/인적 요인에 대해 최대 2회까지 튜닝할 수 있음
- 시스템 고장 발생 시 시스템 수리 가능
* 모든 변경 및 수리는 반드시 참여자가 테스트 환경을 벗어났을 때 해야함

24. 7. 인적 조건 고려사항
24
❖ 이미지 획득 시스템에는 참여자를 안내하는 표지판 또는 지침이 포함되어야 함
- 무인 모드에서 작동 (작동자/안내자 없음)
❖ MdTF 직원은 시스템 사용에 대한 참여자의 질문에 어떠한 도움도 제공하지 않음
❖ 지시 안내판을 작성할 때 고려해야 할 사항
- 디스플레이 화면 크기
- 지침의 복잡성
- 텍스트 양
- 텍스트의 복잡성
- 시스템과 관련된 안내판 위치

25. 4. 측정지표
M e t r i c s

26. 1. 이미지 획득 측정지표 _ 개요
26
❖ 높은 처리량, 무인화 사용 사례에 적합하도록 설계
❖ 세분화된 결과
- 생체 인식 시스템: 각 시스템/시스템 조합으로 테스트된 측정지표를 각각 산출
- 안면 마스크: 마스크 착용/미착용 한 자원 참여자 각각 측정지표 산출
❖ 핵심 성능 측정값
- 효율성 : 트랜잭션을 완료하는 데 소요되는 시간
- 만족도 : 참여 지원자의 시스템에 대한 긍정 평가 점수
- 효과 : 이미지 획득/매칭하는 생체 인식 시스템의 기능
2021년 신규 측정지표
❖ 인구 통계 – 다양한 인종과 성별 그룹에 속한 참여자를 대상으로 구분하여 측정한 지표

27. 2. 이미지 획득 측정지표 _ 효율성
27
❖ 평균 트랜잭션 시간
- 시간, 참여자 1인당, 시스템 사용 시간
- 입구 빔 브레이크 시간(1)과 출구 빔 브레이크
시간(2)의 차이를 계산
입구
Beam Break (1)
출구
Beam Break(2)
임계값(Threshold): 10 s
목표(Goal): < 4 s

28. 3. 이미지 획득 측정지표 _ 만족도
28
❖ 만족도 비율
- 각 참여자가 시스템 사용 후 평가한 긍정 만족도
- "Happy" 또는 "Very Happy” 점수 비율
임계값(Threshold): > 90%
목표(Goal): > 95%
만족도
이미지 취득 시스템

29. 3. 이미지 획득 측정지표 _ 유효성 – FtAR
29
❖ 이미지 획득 실패 비율(FtAR)
- 적절한 품질의 캡처 이미지가 제출되지 않은
시스템을 사용하는 참여자의 비율을
각 모드 별로 측정
- 적절한 품질의 캡처 이미지는 MdTF 내부
매칭시스템으로 사용하여 생체 인식 시스템
템플릿을 생성함
임계값(Threshold): < 5%
목표(Goal): < 1%
이미지 획득 시스템
이미지 캡쳐
MdTF
Algorithm
FtAR

30. 4. 이미지 획득 측정지표 _ 효과성 – mTIR
30
❖ MdTF 참 식별 비율 (mTIR, True Identification Rate)
- 획득된 이미지를 이용하여 정확하게 식별된
참여자의 비율
- MdTF 내부의 이미지 매칭 시스템을 사용하여
각 모드 별로 계산
- 마지막 이미지 캡처가 참여자로 식별될 경우
참 식별로 계산
임계값(Threshold): > 95%
목표(Goal): > 99%
이미지 취득 시스템
이미지 캡쳐
MdTF
Algorithm
mTIR
올바른 식별 조건
1. 이미지 갤러리 내에서 참여자를 식별
(임계값 초과 1순위)
2. 갤러리에서 참여자를 찾지 못한 값이 임계값
이상이면 배점 없음

31. 5. 이미지 매칭 측정지표 _ 개요
31
❖ 매칭 시스템은 생체 이미지를 템플릿화하고 매칭함
- 다양한 이미지 획득 시스템에서 수집
- 7년 동안 MdTF 시스템을 사용하여 2,000명 이상의 고유한 개인 인식 정보 확보
❖ 측정 항목
- 효과: 이미지 획득 시스템으로부터 프로브 이미지를
이용하여 개인을 식별하는 기능
- 세분화: 다른 그룹에도 높은 효과를 유지할 수 있는 기능
획득 시스템
A
손가락
손가락
매칭시스템 1
얼굴
획득 시스템
B
획득 시스템
A
얼굴 얼굴 홍채
얼굴
매칭시스템 1
홍채
매칭시스템 1
이미지 갤러리

32. 5. 이미지 매칭 측정지표 _ 유효성 - TIR
32
❖ 참 식별률 (TIR, True Identification Rate)
- 각 획득/매칭 시스템을 통합해 획득한 이미지로
정확하게 식별된 참여자의 비율
∙ 다중 일치 임계값:
{1:1,000, 1:10,000, 1:100,000, 1:10,000}의 FMR
- 특정 임계값에서 캡처 이미지를 사용하여 참여자를
올바르게 식별한 경우 참 식별로 산출
- 이미지 획득 실패 포함/불포함에 대해 각각 보고
획득시스템
(A)
이미지 캡쳐
매칭 시스템
(M)
임계값(Threshold): > 95%@ FMR
목표값(Goal): > 99% @ FMR
TIR(M,A)
올바른 식별 조건
1. 이미지 갤러리 내에서 참여자를 식별
(임계값 초과 1순위)
2. 갤러리에서 참여자를 찾지 못한 값이 임계값
이상이면 배점 없음

33. 6. 측정지표 _ 세분화
33
❖ 측정 지표는 각기 다른 요인에 따라 개별로 측정하여 보고한다(세분화)
❖ 모든 대회는 각 생체 인식 시스템 및 통합 시스템에 대한 각각의 측정지표를 보고
❖ 2020년 대회, 마스크 착용/미착용 측정지표를 각각 보고하였음
❖ 2021년 대회, 인종별, 성별별로 각 측정지표 보고
- 이미지 획득 시스템
(MdTF 매칭 시스템)
- 획득 / 매칭 시스템 복합
생체 인식 시스템
- 마스크 착용
- 마스크 미착용
안면 마스크
- 흑인 또는 아프라카계
미국인
- 백인
- 아시아인 (그룹별로)
인종별 (자기 보고)
- 남성
- 여성
성별 (자기 보고)
2021년 NEW

34. 6. 측정지표 _ 세분화
34
❖ 그룹별 시스템 성능 변동 보고
- 예를 들어, 설정된 임계값에서 관찰된
TIR(True Identification Rate) 값의 범위
- 각 TIR 값은 해당 그룹과 관련해 별도 보고
그룹
(A)
매칭 시스템
(M)
그룹
(B)
그룹
(C)
99% TIR(1:1,000,000,M,B)
94% TIR(1:1,000,000,M,C)
97% TIR(1:1,000,000,M,A)

35. 5. A P I

36. 1. 이미지 매칭 시스템 API _ 개요
36
❖ 모든 이미지는 MdTF 대회 API를 통해 제출됨
- RESTful, HTTP
- 참고: http://github.com/TheMdTF/mdtf-public
❖ 대회 시작 전, 이미지 획득 시스템 공급업체 대상 제공 사항
- 상세 API 설명서
- 랠리 전 테스트/디버깅에 공개적으로 사용할 수 있는 API 인스턴스
- Slack을 통한 제한적인 문제 해결 지원
❖ 랠리 중 API는 MdTF LAN에서만 사용 가능
- 이미지 획득 시스템은 클라우드 기반 API를 통해 통합 작업을 수행할 수 있지만,
MdTF 상 API 서버 주소와 해당 스테이션 ID를 구성해야 함

37. 2. 이미지 획득 시스템 의무사항
37
❖ 이미지 획득 시스템이 수행해야 할 사항
- 각 패스 마다 참여자 1명의 안면 생체인식 이미지를 제공 (필수)
- 각 참여자 당 평균 처리시간 최대 8초까지 유지
❖ 이미지 획득 시스템은,
- 각 패스마다 각 참여자 1인당 홍채 이미지 1세트 제공 (선택 사항)
- 각 패스마다 각 참여자 1인당 지문 이미지 1세트 제공 (선택 사항)
❖ 참고 사항
패스에서 여러 이미지 사진 및 세트가 제공된 경우 마지막 이미지만 고려함

38. 3. 이미지 취득 시스템 API _ 얼굴 이미지 캡쳐
38
❖ face-captures POST request endpoint:
- FaceImageData: PNG 이미지(base 64 인코딩)
- StationID: 구성 가능한 텍스트로 이미지 획득 시스템 설치 시 제공됨
❖ POST 단 한 개의 참여자 얼굴 캡쳐 이미지임
❖ 충족해야 하는 필수 요건 시스템 충족 요건
- 지원자 1인당 1개의 얼굴 생체 이미지 제공 (필수)

39. 4. 이미지 취득 시스템 API _ 홍채 이미지 캡쳐
39
❖ iris-captures POST request endpoint:
- LeftIrisImageData: 왼쪽 홍채 PNG 이미지(base64 인코딩)
- RightIrisImageData: 오른쪽 홍채 PNG 이미지(base64 인코딩)
- StationID: 구성 가능한 텍스트로 이미지 획득 시스템 설치 시 제공
❖ 참여자 당 하나의 홍채 캡쳐 이미지만 POST
❖ 충족해야 하는 필수 요건 시스템 충족 요건
- 각 구간에서 참여자 1인당 한 세트의 개인 홍채 이미지 제공 (선택 사항)
- 동일 구간에서 참가자의 왼쪽과 오른쪽 홍채 이미지를 캡처해 함께 게시함

40. 5. 이미지 획득 시스템 API _ 손가락 이미지 캡쳐
40
❖ finger-captures POST request endpoint:
- ImageCaptures: 개인별 손가락 이미지 json objects 배열
- FingerImageData: PNG 이미지 1장(base 64 인코딩)
- FingerType: 다음 중 하나의 개별 지문 이미지 유형:
∙ {RightThumb, RightIndex, RightMiddle, RightRing, RightLittle, LeftThumb, LeftIndex, LeftMiddle,
LeftRight, LeftLittle}
- StationID: 구성 가능해야 하며 랠리 이미지 획득 시스템 설치 시 제공됨
❖ 참여자 당 하나의 지문 캡쳐만 POST
❖ 충족해야 하는 필수 요건 시스템 충족 요건
- 각 구간에서 참여자 1인당 한 세트의 지문 이미지 제공 (선택 사항)
- 동일 참여자가 경로에서 캡처한 손가락 이미지는 ImageCaptures로 함께 게시되어야 함

41. 6. 이미지 획득 시스템 API _ 이미지 제출 시기
41
❖ 모든 이미지는 참여자가 시스템을 사용하는 동안 제출되어야 함
❖ 시간 외 제출된 이미지는 누락되어 측정된 시스템 성능 저하로 나타날 수 있음
- 지원 참가자가 스테이션에 진입한 후
- 지원 참가자가 스테이션에서 벗어나기 전
- 지원 참가자가 당 1회 이미지 캡쳐 (다중 모드의 경우 모드별)

42. 7. 이미지 매칭 시스템 API _ 개요
42
❖ 모든 이미지 매칭 시스템 공급업체는 도커 이미지를 제출 (도커 save로 생성된 .tar 파일)
❖ 시간 외 제출된 이미지는 누락되어 측정된 시스템 성능 저하로 나타날 수 있음
- API 통신용 HTTP 서버 제공(포트 8080)
- MdTF 리소스 제약 조건(CPU/메모리): 8 i7 CPU, 8GB RAM, GPU 없음
- 인터넷 없이 작동함
- MdTF API 실행 사양 자료: https://github.com/TheMdTF/mdtf-public
❖ 충족 요건
- 각 base64 인코딩, PNG 이미지 데이터를 수락하고 템플릿 반환 (필수)
- 템플릿 수락, 일치 수행 및 유사성 점수 반환 (필수)
- 알고리즘에 대한 정보 제공 (필수)

43. 8. 이미지 시스템 API _ 템플릿 생성
43
❖ /v1/create-template POST request endpoint:
- 개별(단일), base64 인코딩, PNG 이미지 허용
- 바이트 배열 형태의 생체 인식 기능 템플릿 반환
- 참고:
∙ 이미지 타입을 제시하는 옵션 없음. 알고리즘은 특정 이미지 타입에 구애되지 않을 것
(즉, 좌우 홍채가 동일하게 처리됨)
∙ 템플릿을 생성하지 못하면 실패로 적절한 상태 코드가 나타나도록 설정하고 오류 응답을 반환해야 함
❖ 충족 요건
- 각 base64 인코딩, PNG 이미지 데이터를 수락 및 템플릿 반환 (필수)

44. 9. 매칭 시스템 API _ 템플릿 매칭
44
❖ /v1/compare-list POST request endpoint:
- 수락:
(1) create_template에서 반환된 단일 템플릿 바이트 배열
(2) 여러 create_template 호출에서 반환된 템플릿 바이트 배열 목록
- 템플릿 (1)의 매칭 점수를 템플릿(2) 목록에 반환
❖ 충족 요건
- 템플릿을 수락하고, 매칭을 수행하고 나서 유사성 점수 반환 (필수)

45. 10. 매칭 시스템 API _ 알고리즘 정보
45
❖ /v1/info POST request endpoint:
❖ 반환할 객체
- AlgorithmName
- AlgorithmVersion
- AlgorithmType
- CompanyName
- TechnicalContactEmail
- RecommendedCPUs
- RecommendedMem
- Test ("MDTF_2021_RALLY")
- Thresholds ({... "1:1e4" : "0.96", "1:1e5" : "0.86", "1:1e6" : "0.753" })
❖ 충족 요건
- 알고리즘에 대한 정보 제공 (필수)

46. 11. 이후 절차
46
❖ 신청서 패키지를 제출하고 나서 시스템의 참가가 수락되면 별도 알림
❖ 생체인식 기술 대회 참가 승낙은 교육 및 다양한 행정 업무를 완료할 때까지 조건부 승인으로 간주
- 참가 기업은 이 정보를 검토하는 조건부 승인 웹세미나에 참석해야 함

47. 6. 이미지 획득 시스템 애플리케이션
패키지에 대한 세부 정보

48. 1. 이미지 획득 시스템 애플리케이션 패키지 _ 개요
48
❖ 제출 사항
Ⅰ. 아래와 같은 사항을 설명하는 문서(5p 이내) 제출
1. 공급업체에 대한 간략한 설명
2. 획득 시스템 개요
3. 획득 시스템의 복잡성과 성숙도에 대한 설명
4. 시스템에서 획득한 이미지에 대한 설명
5. 시스템과 사용자 간 상호 작용에 대한 설명
6. 성과 추정치
7. 눈 안전을 포함한 시스템 안전 정보
Ⅱ. 시스템 기능 시연 동영상

49. 2. 이미지 획득 시스템 애플리케이션 패키지 _ 상세 사항
49
❖ 제출 백서 필수 사항
1. 공급 기업에 대한 간단 개요
(a) 생체 인식 업계에서 공급 레퍼런스에 대한 약력
(b) 국가를 포함한 본사 소재지
(c) 사업 담당자의 연락처 (이름, 이메일, 전화번호, 시민권)
(d) 기술 담당자의 연락처 (이름, 이메일, 전화번호, 시민권)
2. 이미지 획득 시스템 개요
(a) 카메라 와/또는 센서용 장비 등 기타 필요한 기기에 대한 설명
(b) 지정된 설치 공간(가로 1.8 x 길이 2.4m로) 내 모든 장비에 대한 예상 레이아웃
(c) 네트워크, 전기 요건
(d) 사용 사례 및 워크플로우 사례

50. 50
❖ 제출 백서 필수 사항
3. 획득 시스템의 복잡성과 성숙도에 대한 설명
(a) 시스템이 처음 고안되고 개발된 것은 언제인가? 현재도 개발 중인가?
(b) 파악한 획득 이슈(신장, 체중, 장애 제한 등)
(c) 서드파티 기업이 해당 기업 시스템을 큰 규모의 시스템에 통합한 사례가 있나?
있다면 어떠한 노력이 수반되었나?
(d) 과거 또는 현재 운영 배포에 대한 설명
4. 시스템에서 획득한 이미지에 대한 설명
(a) 형식 (jpg, png, wsq 등)
(b) 수량 및 품질
2. 이미지 획득 시스템 애플리케이션 패키지 _ 상세 사항

51. 51
❖ 제출 백서 필수 사항
5. 시스템과의 사용자 상호 작용에 대한 설명
(a) 사용자가 트랜잭션을 완료하기 위해 수행하는 작업
(b) 사용자에게 제공되는 지침/피드백
(c) 예외 프로세스 존재 여부
(d) 알려진 사용 편의성 문제 또는 우려 사항: 모든 사용자가 시스템과의 트랜잭션을 완료할 수 있는 예상 해결 방안
6. 성과 추정치
(a) 예상 획득 실패 비율
(b) FMR 1:100,000과 일치하는 임계값에서 상위 3개 인식 알고리즘을 사용한 true positive(TP) 식별 비율 추정
(c) 예상 처리 시간
(d) 마스크, 인종, 성별에 따른 성능 안정성 추정
2. 이미지 획득 시스템 애플리케이션 패키지 _ 상세 사항

52. 52
❖ 제출 백서 필수 사항
7. 눈 안전을 포함한 시스템 안전 정보
(a) 시스템이 사용자에게 안전한 이유 설명
(b) 시스템에서 특정 파장의 조명 사용 여부
(c) 전류 노출 유무
(d) 노출된 날카로운 모서리나 움직이는 부분에 예상되는 물리적 위험
❖ 시스템 기능 데모 동영상
(a) 시스템 시연 데모 동영상 최대 2분 분량 제출
(b) 동영상은 백서에 포함된 정보를 반영할 것
(c) 동영상 파일이 너무 커서 이메일에 포함할 수 없는 경우, 검수자에게 URL과 액세스 지침을 제공할 것
2. 이미지 획득 시스템 애플리케이션 패키지 _ 상세 사항

53. 7. 이미지 매칭 시스템 애플리케이션
패키지 상세 사항

54. 1. 매칭 시스템 애플리케이션 패키지 _ 개요
54
❖ 제출 백서 필수 사항
Ⅰ. 애플리케이션 패키지를 아래의 모든 내용을 포함한 백서 형식(5p 이내)으로 제출
1. 공급업체에 대한 간략한 설명
2. 매칭 시스템 개요
3. 시스템의 복잡성 및 완성도에 대한 설명
4. 성과 추정치
5. 알고리즘 교육

55. 2. 매칭 시스템 애플리케이션 패키지 _ 상세 사항
55
❖ 제출 백서 필수 사항
1. 공급 기업에 대한 간단 개요
(a) 생체 인식 업계에서 제품 공급 경험에 대한 약력
(b) 국가를 포함한 본사 소재지
(c) 사업 담당자의 연락처 (이름, 이메일, 전화번호, 시민권)
(d) 기술 담당자의 연락처 (이름, 이메일, 전화번호, 시민권)
2. 매칭 시스템 개요
(a) 형식 및 허용되는 생체 검체 유형(예: 뺨 vs 개별 손가락)
(b) 기본 기술(CNN, Gabor wavelet, Haar cascade 등)에 대한 개괄적인 개요
(c) 권장 CPU, RAM, 디스크, 운영 체제 및 런타임 종속성
(d) 시스템 SDK가 지원하는 프로그래밍 언어

56. 2. 매칭 시스템 애플리케이션 패키지 _ 상세 사항
56
❖ 제출 백서 필수 사항
3. 매칭 알고리즘의 복잡성 및 성숙도에 대한 설명
(a) 알고리즘 상태 (처음 구상한 시점, 개발 완료, 개발 중 등)
(b) 파악된 매칭 처리 문제 (이미지 크기, 눈 사이의 픽셀, 가림, 포즈, 시선 각도 제한 등)
4. 성과 추정치
(a) 처리 실패 비율(템플릿 작성 불가)
(b) 다음과 같은 FMR(거짓 일치율)에 대한 TMR(참 일치율) 및 일치 임계값:
i) 1:10,000 FMR. 일치 임계값과 예상 TMR 값?
ii) 1:100,000 FMR. 일치 임계값과 예상 TMR 값?
Iii) 1:100만 FMR. 일치 임계값과 예상 TMR 값?
(C) 다양한 종류의 이미지 획득 시스템에서 자세, 흐릿한 동작 표현,
저 대비 이미지에 대한 알고리즘 안정성 추정
(d) 안면 마스크, 인종 및 성별에 대한 알고리즘 안정성 추정

57. 2. 매칭 시스템 애플리케이션 패키지 _ 상세 사항
57
❖ 제출 백서 필수 사항
5. 알고리즘 교육
(a) 알고리즘 개발 또는 오버타임 알고리즘 측정 방법 설명
(b) 교육에 사용되는 데이터 설명 – 오픈 소스, 개인정보 세트 등

58. 8. 진행 일정

59. 2021년 대회 진행 일정
59
신청서 마감
참가 모집 조건부 승인
발표
조건부 승인 이후
웹세미나
최종 승인
CRADA
2021.05.19 2021.07.15 2021.07.30 2021.08.30 2021.09.18
2021.09.27
2021.09.28
2021.09.27 ~
2021.10.14
클라우드
API 완료
2021.08.05
테스트 주간 VIP Day MdTF 내
시스템 설치
테스트

60. 본 문서는 어니컴(주)이 발행하는 문서이며 저작권법에 의해 보호를 받는 저작물입니다.
원문 출처를 표기하는 조건 하에 원문 그대로 공유 가능하며, 수정 및 영리 사용은 금지됩니다.
Copyright © 2021 by ONYCOM Inc. All Rights Reserved.
감 사 합 니 다
알고리즘 성능 검증 문의 | 백민경 차장 mkbaek@onycom.com
MdTF 문의 | peoplescreenig@hq.dhs.gov
추가 정보 | https://mdtf.org
∙ 2021 생체 인식 기술 대회 정보
∙ 이전 모든 생체 인식 기술 대회 정보
∙ 모든 웨비나, 브리핑 자료
| https://www.dhs.gov/science-and-technology/BI-TC
조사, 작성: 백민경
최종 검수: 손영수
편집, 디자인: 조아름이