1.
XAI

2.
XAI
설명 가능한 AI(XAI, Explainable Artificial Intelligence)
작성된 결과와 출력을 인간인 사용자가 이해하고 이를 신뢰할 수 있도록 해주는 일련의 프로세스와 방법론
인공지능의 불확실성을 해소하고 신뢰성을 높이는 역할

3.
등장배경
● 1970년대 인공지능 시스템인 전문가 시스템이 도출 결과를 전문가들에게 이해시키지 못하
면서,
블랙박스의 한계를 해결하고자 시작
● 2004년 Van Lent에 의해 XAI라는 용어가 처음 전문 용어로 등장
● 현재 유럽, 아마존웹서비스(AWS)와 구글 등 클라우드 플랫폼 회사들도 앞다퉈 설명 가능한
인공지능 개발에 참여
*블랙박스 : 인간과 유사하게 또는 원하는대로 도출할 수 있지만 어떻게, 무엇을 근거로 그러한 결과가 나왔는지 알 수 없는 것

4.
필요성
● 인공지능이 내린 최종 결과의 신뢰성과 결과를 도출하는 과정의 타당성을 확보하는 것이 중요해짐
● 인공지능의 블랙박스 문제 일부 해소
● 의료, 금융, 법률 등의 분야에서 인공지능의 활용성을 높이는 데에 일조할 대안으로 주목

5.
LIME(Local Interpretable Model-Agnostic Explanation)
‘ 중 요 한 부 분 일 수 록 변 형 되 었 을 때 예 측 값 이 크 게 변 한 다 ’ 는 아 이 디 어 에 서 출 발 해 ,
입력을 변형시키면서 예측값을 크게 변화 시키는 값을 찾는 방법
실행 방법
1. 정보를 가지고 있는 영역을 '슈퍼 픽셀' 단위로 나눔
2. 슈퍼 픽셀의 마스킹 여부 조합들을 해석 가능한 모델에 넣고, 어떤 슈퍼 픽셀이 마스킹 되어 반영되지
않을 때 블랙박스 모델의 예측에 얼마나 영향을 미치는 지의 중요도를 확인
*슈퍼 픽셀 : 픽셀들을 지각적으로 의미있는 것들끼리 모아서 그룹화 한 것

6.
LIME(Local Interpretable Model-Agnostic Explanation)
1. 이미지를 적절한 설명 단위로 자름
2. 이를 토대로 각 설명 단위가 마스킹 된 것과 마스킹 되지 않은 경우의 수
만큼 이미지를 만듦
3. 이미지들을 블랙박스 모델에 넣어 각 이미지가 특정 개체로 분류될 때 준
거가 된 확률을 확인
4. 마스킹 경우의 수만큼의 이미지를 입력값으로, 확률을 출력값으로 하는
대체 모델(Surrogate model) 학습
5. 각 경우의 수에 포함된 설명 단위가 얼마나 이바지했는지 해석

7.
장점
● 기반이 되는 머신러닝 모델과 무관하게 적용되어 머신러닝 모델을 바꾸더라도 동일하게 사용
=> 모델과 무관하게 입력과 출력만으로 확인 가능
● 연산자원이 적게 들고 결과가 직관적
● 특정 샘플에 대해 설명이 쉬워 실무에 적합함
단점
● 코드를 실행할 때마다 다른 결과를 보일 수 있음(설명 단위가 때에 따라 달라짐)
● 전체 모델에 대해 설명을 할 수 없음
LIME(Local Interpretable Model-Agnostic Explanation)

8.
LRP(Layer-wise Relevance Propagation)
실행 방법
1. 결과값을 은닉층마다 분해한 후 기여도를 출력값에서 입력값 방향인 역전파 형태로 재
분배하는 '타당성 전파(Relevance Propagation)'의 과정을 거침
2. 히트맵으로 시각화한 기여도를 분석하여 판단에 영향을 미친 부분을 확인
* 역전파 : 결과값에서 오차가 발생하면 해당 오차만큼 앞쪽으로 다시 전파시키면서 가중치를 갱신하는 기술
* 히트맵 : 많은 양의 데이터와 현상을 수치에 따른 색상으로 표현, 데이터 분포와 변수 간의 상관관계를 한 눈에 볼 수 있음

9.
장점
● 비교적 직관적
● 은닉층 간의 연관성을 합리적으로 설명
단점
● 단순 기여도의 해석이기 때문에 추가적인 맥락 해석이 요구되고 번거로움
● 일일이 히트맵으로 기여도를 보고 객체를 인식해야 함
LRP(Layer-wise Relevance Propagation)

10.
규칙 추출(Rule Extraction)
실행 방법
1. IF-THEN과 같은 형태의 규칙을 신경망의 구조로부터 추출하는 기법
2. 알고리즘에 따라 신경망을 이루는 노드들 중 중요한 노드를 고른 후, 특정 기준을 토대로 나눔
3. 기준을 넘으면 TRUE, 그렇지 않으면 FALSE로 나누고 결과에 따라 다음 층의 노드로 이동, 반복
4. 이렇게 추출한 규칙을 통해 신경망을 논리적인 형태로 축약 가능

11.
장점
● 신경망 모델을 단순화했기 때문에 해석하기 편하고 유지보수가 쉬움
단점
● 모델이 복잡해지면 블랙박스와 같이 이해하기 어렵고 무결성을 충족시키기 어려움
● 신경망 모델을 축약하는 과정에서 모델 정보를 누락 할 수 밖에 없음
규칙 추출(Rule Extraction)

12.
적용사례
● G o o g l e W h a t - i f T o o l
데이터셋과 인공지능 머신러닝 모델의 결과를 쉽게 이해하기 쉽도록 도와주는 비주얼 인터페이스
● I B M C l o u d P a k ® f o r D a t a 플 랫 폼
기업이 데이터와 모델의 영향력과 관련성을 평가하여, 인공지능의 설명가능성을 개선할 수 있도록 도와줌
● A I 심 머 신 ( A I s i m M a c h i n e s )
소 비 자 의 특 성 과 소 비 행 태 로 고 객 을 동 적 으 로 그 룹 화 하 고 , 그 룹 의 특 징 을 가 시 화 하 여
마 케 팅 이 나 광 고 에 활 용 가 능 한 통 찰 을 제 공
https://youtu.be/HfBDlFhq6BY (심머신 동적 예측 세그먼트화 소개 영상)
● 모 션 보 드 스 카 이 ( M o t i o n B o a r d f o r S k y A i )
일본 스타트업 스카이디스크에서 제조한 자동차의 부품 제조 결함 발생 시기와 원인을 판정하는 XAI 기반의 서비스

13.
XAI의 한계
● 모델 선택 시 모델의 높은 해석력을 위해 어느 정도의 퍼포먼스를 희생할 것인지에 대한 딜레마
● 어떤 XAI 설명력 기법도 절대적인 지표가 되지 못하기에 설명력의 질을 파악하는 것이 매우 어려움
● 설 명 력 성 능 평 가 에 대 한 연 구 는 다 른 X A I 에 비 해 상 대 적 으 로 덜 활 발 함
=> 설명력을 해석하는데 정량적인 기준대신 사용자의 주관적, 정성적인 기준이 들어가는 경우가 많음
출처 : https://spri.kr/posts/view/23296?code=data_all&study_type=industry_trend