2017년 6월 10일(토) 서울아산병원에서 개최되었던 '의료 딥러닝 워크샵-기초부터 진보까지' 교육워크샵 발표자료를 올려드립니다. 공개 불가능 자료는 일부 삭제되었으니 양해를 부탁드립니다. *울산대학교 김남국교수 강연 자료

1. Medical AI Perspectives;
공포와 과장을 넘어
Namkug Kim, PhD namkugkim@gmail.com
Medical Imaging N Robotics Lab. http://mirl.ulsan.ac.kr
Convergence Medicine/Radiology
Biomedical Engineering Center
Asan Medical Center/Univ. of Ulsan College of Medicine

2. Researches with
Hyundai Heavy Industries Co. Ltd.
LG Electronics
Coreline Soft Inc.
Osstem Implant
CGBio
VUNO
Kakaobrain
Conflict of Interests
Stockholder
Coreline Soft, Inc.
AnyMedi
Co-founder
Somansa Inc.
Cybermed Inc.
Clinical Imaging Solution, Inc
AnyMedi, Inc.
Selected Grants as PI
NRF, South Korea
7T용 4D 자기공명유속영상을이용한 심뇌혈관 질환의 in-
vivo 유동 정량화 SW개발, 2016
4D flow MRI을 이용한 심혈관 질환의 in-vivo유동 연구, 2015-7
자기공명분광영상 및 MRI의 통합 분석 소프트웨어 개발
KEIT, South Korea
의료영상 인공지능 과제, 2016-20
3DP 척추 맞춤형 임플란트, 2016-20
3D 프린터 기반 무치악 및 두개악안면결손환자용 수복
보철물 제작, 재건 시스템 개발, 2015-9
근골격계 복구 수술 로봇 개발, 2012-7
영상중재시술 로봇시스템 개발, 2012-7
Spine및 Neurosurgery 수술보조용 항법 시스템 개발, 2001
의료용 3차원 모델 제작 S/W 기술 개발, 정통부, 2000
의료영상재구성에 의한 가상시술 소프트웨어 개발,
중소기업기술혁신개발,중기청, 2001
KHIDI, South Korea
영상 뇌졸중 예후 예측 및 치료방침 결정 시스템 개발, 2012-
8
관동맥 관류 CT 의 자동 진단 프로그램을 활용한 허혈성
질환의 진단과 치료, 2013-6
RP를 이용한 척추나사못 삽입술 계획 프로그램 개발, 2000
Companies Fundings
SiemensGermany, Hyundai Heavy Industry, OsstemImplant, S&G
Biotech, Corelinesoft, MidasIT, AnyMedi, Hitachi Medical,Japan,

3. MIRL@AMC
Image Based Robotics
Biopsy/Tunneling
Artificial Joint Replacement/
Active Catheter
DBS Robot
Computer Aided Surgery
Human computer interface
Stereovision
Contactless Interface
Image guided
Surgery Planning
3D Printing/Navigation
Brain
Stroke
Parkinson
DBS planner, ECoG, BMI
Lung
COPD
DILD
Asthma
HT
Cardiac
CT Perfusion
4D Flow MRI
4DUS
LCX
Artificial Intelligence
For Medical imaging
Artificial Intelligence
Segmentation/Registration
Computer aided detection
Content based image retrieval
LAD
RCA

4. 4
MBC 다큐 스페셜 ‘미래인간 AI’, 2016.12.05
영상유도 중재 수술로봇 ; 현대중공업 폐영상 분석 SW ; 코어라인 소프트
3D 프린터 응용 ; 서울아산병원
Movie Clips

5. AMC : a leading hospital in Korea
 Total area of 524,000 m2
 No.1 in number of patients and
treatments
 No.1 in performing surgeries on
top 6 cancer patients & 30
major diseases
New BuildingEast BuildingWest Building
Education &
Research Center
Convergence
Innovation Building
Dormitory
Total Beds
2,715
licensed beds
Outpatients Inpatients
13,380
(Daily average)
2,586
(Daily average)
Medical Staffs
7,924
(MDs: 1,720
RNs: 3,627
Others: 2,577)
Surgical Operations
91,000 Annual
(250 / day)

6. A world best hospital in organ transplantation & cancer surgery
Transplantation
in Korea
Liver Heart Kidney Pancreas
34.9% 47.2% 14.6% 64.8%
98
85
88
Liver
98 97
95
Heart
95
86 86
Kidney
95 95
85
Pancreas
AMC (Asan Medical Center)
UNOS (United Network For Organ Sharing)
KONOS (Korea Network For Organ Sharing)
Survival rates
(1 year)

7. Investing heavily in clinical and inter-disciplinary research
Achieve a world-class medical reputation to
aggressively invest in R&D and
clinical trial
Clinical Research
Investigator (MD)
685
Lab Technician
839
Basic Research
Investigator (PhD)
119
Administration
39
(Units : Number of personnel)
Selected research-driven hospital by Korean
government
R&D funding US$ 1.2 billion by
the government (10 hospital, 3 yrs)
Over 1,600 Investigators for Research
AI
Established a new research
center for artificial intelligence in
medical imaging
3D
Printing
Leading 3D printing technology
in medical field
Genome
Genomic studies on rare genetic
diseases, cancer, chronic diseases,
etc.
Medical
Robot
Robotic training center for
training & researching on robotic
surgical skills
⋯
Development of clinical applications by
open network and translating advanced
technologies

8. Five tribes of AI researches
From Pedro Domingos, Professor, University of Washington at MLconf ATL

9. Connectionism
Comparative psychologist
S- R framework of behavioral
psychology
Associations forming between
stimuli and responses.
become strengthened or
weakened by the S-R pairings.
trial and error learning due to
rewards.
connectionism : learning could be
adequately explained without
referring to any unobservable
internal states.
9
Ivan P. Pavlov (1849-1936),
Nobel Prize@1904 on digestion

10. Graceful degradation
the performance of biological neural networks
degrades gradually -- "gracefully"
-> artificial neural networks are more accurate
information processing models than classical ones.
ANN도 정신병? ; epilepsy
10
the property of a network :
performance progressively
becomes worse as the number of
its randomly destroyed units or
connections increases
<-> catastrophic degradation :
the property of a system whose
performance plummets to zero
when even a single component of
the system is destroyed

11. ARTIFICIAL NEURAL NET
11

12. Comparison btw Brain and NN
12

13. Comparison btw Brain and NN
13
1. 10 billion neurons
2. 60 trillion synapses
3. Distributed processing
4. Nonlinear processing
5. Parallel processing
6. Efficiency
(20~25W, 하루섭취량의 20~25%)
1. Faster than neuron (10-9 sec)
cf. neuron: 10-3 sec
3. Central processing
4. Arithmetic operation (linearity)
5. Relatively Sequential processing
6. Efficiency (Titan X : 250W)
cf. 1[kcal] = 1.16[Wh], 1W=1J=1Nm/s,
1cal=4.2J=1.163mWh
Brain Computer

14. Size of neural networks
14From Ian Goodfellow, MIT Press 2016

15. Bio Plausible Neural Network
Mimic human visual recognition system
Neocognitron, proposed by Hubel & Wiesel in 1959
Visual primary cortex by cascading from S-Cell to C-Cell
Each unit connected to a small subset of other units
Based on what it sees, it decides what it wants to say
Units must learn to cooperate to accomplish the task
15From Gallant and van Esses, Simon Thorpe

16. CNN : Major Breakthroughs in Feedforward NN
K. Fukushima Yann Lecun G. Hinton, S. Ruslan
Neocognitron
Neocognitron (1979)
• By Kunihiko Fukushima
• First proposed CNN
Convolutional Neural Networks (1989)
• Yann Lecun et.al
• Back propagation for CNN
• Theoretically learn any function
LeNet-5 architecture
Alex krizhevsky , Hinton
LeNet-5(1998)
• Convolutional networks
Improved by Yann Lecun et.al
• Classify handwritten digits
D. Rumelhart, G. Hinton, R.
Wiliams
1960 1970 1980 1990 2000 2010 2012
Perceptron
XOR
Problem
Golden Age
1957 1969 1986
F. Rosenblatt
M. Minsky, S. Papert
• Adjustable weights
• Weights are not learned
• XOR problem is not linearly
separble
• Solution to nonlinearity
separable problems
• Big computation, local optima
and overfiting
CNN Breakthrough (2012)
• By Alex Krizhevsky et al.
• Winner of ILSVRC2012 by
large marginDark Age (AI winter)
Back propagation (1981)
• Train multiple layers
Multi-layer Perceptron
(1986)
1950
Neocognitron (1959)
• Hubel & Wiesel
• by cascading from S-
Cell to C-Cell

17. From Shallow to Deep Learning
Shallow learning
SVM
Linear & Kernel Regression
Hidden Markov Models (HMM)
Gaussian Mixture Models (GMM)
Single hidden layer MLP
Artificial Neural Net (ANN)
...
Limited modeling capability of concepts
Cannot make use of unlabeled data

18. 특징 추출
18

19. Behavior of CNN
19

20. Paradigm shift
23
Analog Digital
vs
Program Deep Learning
vs
Data GS
Results
Data GS
Program<<
Ref
Little cost for duplication
Little cost for developing program

21. 인공지능 의료적용 분야
인공지능 분야
시각지능
언어지능
판단지능
자동분류
요약/창작
공간지능
임상시험
케이스선정
신약개발프로세스
진료보조
비서서비스
음성인식 의무기록
데이터기반 정밀의료
유전체분석
약혼합사용 및 합병증 예측
진단검사추천
판독보조
정상유무판정
유사증례검색
판독문 생성
병리분야 판독 보조
물류, 수술실, 병실 운영
로봇수술
의료 인공지능
인공지능 의료적용 분야
24

22. 인공지능 의료적용 분야 (임상 중심 분류)
정상 유무 판정
초기진단 빅 데이터와 차세대
인공지능 기법을 통해 정밀판독
이 없이도 초기 감별진단
유사증례검색
DB의 수많은 증례로부터 유사
한 증례를 검색, 시각화하여 진
단에 도움
예비 판독문 생성
인공지능 기반 의료영상 분석기
법과 자연어 처리기술을 융합,
영상전문의의 판독을 보조할 수
있는 수준의 판독문 자동생성
병리분야 판독 보조
병리영상 빅데이터에 인공지능
기법의 적용, 진단, 발병기전 분
석, 예후 예측 등에 활용
임상시험
인공지능 기술을 기반으로 단일
병원 및 병원 클러스터간 물류, 수
술실, 병실의 효율적 운영
물류, 수술실, 병실 운영
로봇수술
인공지능 기술을 통해 의료 로봇
의 수술을 계획, 위험도 예측, 침
습부위 최소화
진료보조
데이터기반 정밀의료
판독보조
신약
약물 개발과정에 인공지능 기법을 적용, 질병 치
료에 더욱 효과적인 약물의 조합과 용도 변경 탐
색, 약물 후보군 및 임상환자 군의 최적화
케이스 선정
인공지능 기반 검색기법을
통해 적합한 질병 및 환자
를 탐색, 임상 시험의 준비
기간을 단축, 객관성 향상
비서서비스
IoT기술, 음성 인식기술 및 인공지능 기술을 융합,
효율적인 예약, 진단 및 진료 프로세스, 업무 정보
업데이트 및 맞춤형 큐레이션
음성인식 의무기록
진단 및 판독 내용의 기록을 자동화,
의료분야 전문용어를 판독 및 구조
화할 수 있는 수준의 음성 인식 및
문서 생성 기술
진단 검사 추천
정밀 진단 및 치료를 위해 인공지능
및 빅데이터를 활용, 정확도를 높이
고 위험도를 낮추기 위한 추가 진단
검사 프로세스를 추천
유전체
맞춤 의료를 위해 유전체, 멀티모달 의료 영
상 및 임상병리 빅데이터를 바탕으로 연관
성을 분석, 모델링하여 예후 예측, 진단 및
치료
약 혼합 사용 및 합병증 예측
치료 및 약물 사용 시 사례기반 위험성 또는 합병
증의 위험을 알려 주어 의사의 최종 결정을 보조
25

23. 1. 영상 인식 및 분할 : CNN
Image tagging,
retrievalObject recognition Scene segmentation

24. Convolutional Neural Networks (CNN)
Neural network with sparse connections
Learning algorithm:
Backpropagation on convolution layers and fully-connected layers

25. Diabetic Retinopathy : JAMA
28
Training data
EyePACS in the US, 3 eye Hospital in India
Validation data
EyePACS
May 2015 ~ Oct 2015/Variable camera sources
Messidor-2
public dataset, Jan 2005 ~ Dec 2010/3 hospitals in France
Grading
Image quality, Diabetic retinopathy existence / severity

26. Chest X-ray CAM
Weakly Supervised Learning + Class Activation Map
- Resnet50 ILSVRC Pre-trained Model

27. Chest X-ray CAM

28. 췌장암 CAD
AMC 영상의학과 김형중 교수 협력연구
U-net을 기반으로 네트워크 구조를 설계, 췌장 분할
췌장암 CT 영상 레이블 및 Gold Standard 구축
Human reader가 복부 CT 영상의 췌장의 경계를 Manual drawing
췌장에서 국소 병변이 있는 췌장과 국소 병변이 없는 췌장을 구분하고,
자동적으로 국소병변
병변이 있는 영역을 특정한 후, one-hot encoding 방식으로 국소 병변이
있는 췌장과 없는 췌장을 구분
췌장 악성 종양과 양성 종양을 구분
31

29. Intuitive Surgical
32

30. 식이조절 환자용 음식 분류 및 칼로리 계산기
식이조절 환자용 음식 분류 및 칼로리 계산기
음식 이미지 분류에 대한 논문 리서치
음식 분류를 위한 다양한 논문 과 문헌을 참조
공인된 음식 이미지 데이터 셋 확보
딥러닝(Deep Learning) 기반으로 음식에 대한 종류를 분류 및 분할
데이터 augmentation
확보한 음식에 이미지에 맞게 fine-tuning
33
Food classification network
음식 데이터 셋

31. 2. 음성/시그널 인식 및 번역
Speech
Recognition
Machine Translation
Speech Recognition + Machine
Translation

32. RNN(NMT, Seq2Seq, Word2Vec)
35

33. Automatic Dictation
36
AMC audio dictation
영상의학과 : 50만건/y
핵의학과 : 20만건/y
병리과 : 100만건/y
초음파, 내시경, 간호일지, 외래, 수술실 : +500만건/y
Nuance Revenue
2016년
$1,502.3 M

34. Prediction of ventricular arrhythmia
37

35. 3. 비디오 인식
Video understanding (Google, 2014)
Scene parsing (NYU/Facebook , 2014) NVIDIA DRIVE PX, 2015

36. 중이염 동영상 인식 및 모니터링
AMC ENT 정종우 교수님 협력연구
수술장 동영상 기술 개발
중이염, 인공와우 수술 동영상자료의 분류
수술영상을 각 단계로 분류 : 1000 례 이상
분류된 영상의 구조물 명시와 술식명시
시간축의 술식 예시
Cortical bone cutting & opening into mastoid
air cells
Sculpt the EAC: anterior boundary (optional)
Exposing the sigmoid sinus: posterior
boundary
Delineate mastoid tegmen: superior boundary
Open the antrum
Define and deepen the sinodural angle &
open the mastoid tip cells
Expose the incus from antrum
Facial nerve identification (mastoid segment)
Open the facial recess (posterior
tympanotomy
39
수술장 영상 기술 개발
영상 내 물체 인식의 경우
동영상 같은 경우에는 CNN과 RNN을 결합
한 CNN-RNN 모델 사용
동영상 데이터 학습을 통한 수술 단
계 분류 알고리즘
- 개발정리된 영상을 이용한 인공지능
학습 알고리즘 개발
- 좌우측과 다양한 형태의 유양동에 따
른 적용
- 알고리즘의 임상 검증 및 평가(수술단
계 및 정량화 정보)

37. Contactless Interface
40Comput Math Methods Med. 2016
립모션 센서

38. Personal Training
41
Gestures
Method
Leap
motionTM
Our
proposed
method
Accuracy
(%)
Accuracy
(%)
Hovering - 99.8%
Click 90% 100%
Grab 94% 98.1%
One peak - 100%
Two peak - 100%
10 volunteers
5 classes gestures
Personal Training Tool

39. Leap Motion IR image
• Deep Learning
42

40. 4. 비디오 + Device(차)

41. 비디오 + Device(로봇) : 잡기 (구글)

42. 비디오 + Device(로봇) : 잡기 (DexNet)

43. Burger Patty Flipping Robot
David Zito, CEO of Miso Robotics

44. Robot Surgeons Are Taking Over the Operating
Room
47

45. This robot can perform soft tissue surgery better
than a human
48

46. da Vinci + Deep Learning
49

47. Autonomic Surgical Robot
50

48. 51

49. 5. General Sensor : Google Lens
52
IoT

50. 간호사 중심 의사 중심
의사, 간호사 시점 (360도) 수술실 전체 (360도) 수술 장면 (캠코더)
수술 장면은
항상 같이 나옴
모든 장면과 상황을
원하는 곳에서!!
수술실 전체
360도 다시점 VR 동영상 @ 수술실/응급실/ICU
53

51. 6. 생성 모델 (얼굴, 거실)
Deep Convolutional Generative Adversarial Networks (DCGAN)
Rotations are linear in latent space
Bedroom generation
Arithmetic on faces

52. GAN
55Kim, Namju’s Slideshare

53. 생성 모델
Zhang et al

54. 생성 모델
Isola et al

55. 7. 영상 해석/자막 생성
Image Caption
Generation
Video Caption
Generation

56. Chest X-ray Mesh Term
59
Learning to read chest x-ray
Automated annotation with attention and visual-
sentence mapping

57. 8. 질의 문답
Image Question
Answering
Speech Recognition + Image Questing
AnsweringVideo Question
Answering
Text Question
Answering

58. Relational Network
VQA (Visual question answering)
61DeepMind

59. 9. 생성 모델 (아트)
Artistic neural style

60. 63Luan, et al, Deep Photo Style Transfer

61. Medical ImageNet
64GTC 2017

62. Medical ImageNet
65

63. Medical ImageNet
66

64. Medical ImageNet - CT
Large size 12bit 의료영상 특화 pretrained
network
ImageNet size의 12bit에 단채널을 사용하는 CT/MRI등의 의료영상 데이
터 빌딩 필요
최적인 Supervised Deep Network 제안 및 weights 공개
67
Whole body CT or MRI
한사람당 3000여장의 이미지
z축으로 장기 등을 Labelling
300명 정도면 Image Net size
Labelling 예시 : Brain, Skull,
Head&Neck, Spine, Upper-Limb,
Lung, Heart, Liver, Pancreas,
Spleen, Kidney, Bladder,
Prostate, Lower-Limb, Hand,
Foot, Knee, Shoulder, Upper-
arm, Lower-arm, etc
J. Cho et al. arXiv 2015

65. 간암/유방암 치료 CDSS
AMC 소화기 내과 김강모 교수 협력연구
AMC 유방내분비외과 안세형/고범석 교수 협력연구
High Quality 간암 치료 임상 빅데이터 구축 및 레이블링
간암의 임상-혈액-영상 결합형 빅데이터 처리 기술 개발
간암 치료 임상 빅데이터와 인공지능 기법을 통한 예후 예측 및 치료 방침
결정 알고리즘 개발 및 시스템 구축
간암의 임상-혈액-영상 결합형 빅데이터 처리 기술 개발 시 임상 경험의
피드백
68

66. 70
CBIR for Medical Images

67. 71
The Previous Research
for Quantification Definition of Similar Lung Images
Extraction of Distribution Features Extraction of Distribution Features
* https://en.wikipedia.org/wiki/Large_margin_nearest_neighbor
* Y.J.Chang, et al,. “A support vector machine classifier reduces interscanner variation in the HRCT classification of regional
disease pattern in diffuse lung disease: Comparison to a Baysian classifier”, Medical Physics 40 (5), 051912 (2013)

68. 제안서 page 6,101
72/6
1

69. 현실
73

70. 74
AP 통신 : 인공지능(로봇)이 기사 작성, 기술 공개
초당 2,000개 기사 작성 가능
기존의 300개 기업 실적 -> 3000개 기업 실적 커버

71. 75
Right now, about 80% of Americans who need a lawyer can't afford one
"With ROSS, lawyers can scale their abilities and start to service this very
large untapped market of Americans in need,"

72. GOLDMAN SACHS
76

73. Radiologist
77

74. Pathologist
78

75. 기계파괴운동 (1811-7)
79

76. 정밀의료(Precision Medicine) Initiative
“And that’s why we’re here today. Because something called precision
medicine … gives us one of the greatest opportunities for new medical
breakthroughs that we have ever seen.”
President Barack Obama
January 30, 2015
정밀의료 치료기기 핵심 : 빅데이터 + 인공지능
빅데이터
▶ 인공지능
▶ 환자 맞춤형 진단/치료/공공
80/27

77. 의료 빅데이터 + 인공지능
의료 빅데이터를 이용하는
정밀의료 실현
사물인터넷 유전자검사
의료영상
환자 모니터링
하루 37만건의 의무기록 (연
간 약 1TB)
연간 약 2백만 영상데이터
(30TB)
3.8×109 염기쌍을 가진 DNA
정보
대형 종합 병원

78. 의료비 절감의 필요성
의료효율성
국내현황
Efficacy (효용성)
Cost (비용)
Equation = Efficacy / Cost
• 정밀치료를 통한 효용성 극대화
• 효율적 의료시스템 구축을 통한 비
용 감소
• 고령화 사회 등으로 GDP대비 의료비 비율 빠르게 증가하고 있으며 상승폭 또한 커지고 있
음
• 국민 소득 및 소비수준을 고려하여 의료비는 변화에 반비례하여 감소되어야 할 필요성 존재

79. Global Trends Drive Momentum in health care industry
Data Explosion 150+ exabytes Amount of healthcare data today1
Over 230K Active clinical trials2
80% Healthcare data that comes from unstructured data sources3
Dynamic
Delivery
Environment
50% Expected alternative payments form the Centers of Medicare and Medicaid by
2018 4
75%+ Percentage of patients expected to use digital health services in the future5
90K Expected shortage of physicians by 2020 6
Value vs Volume 4.7 trillion Estimated global economic impact of chronic disease by 2030 7
3 trillion Estimated US healthcare spending 8
100’s Approx. amount of decisions a person living with Type 1 Diabetes makes a day9
Efficient and
effective R&D
1 in 10 Clinical trials in cancer that are shut down due to lack of participation10
2.6B Average costs to develop a new pharma drug11
<10% Amount of drug currently in development that make it market12
84
1: NCBI: big data analytics in healthcare: promise and potential 2: ClinicalTrials.gov, 3: NIH 4 CMS 5: McKinsey Healthcare's Digital Future July 2014,
6: AAMC Report The complexities from 2014 ro 2025 7: WEF global economic burden non-communication diseases 8: Health affaires. Team analysis
9: OpenAps.org 10: Bio-clinical development success rates 20, Health Economic volume 47, May 2016
1. Life expectancy data, WHO, 2012
2. 2015 Global life sciences outlook: adapting in an era of transformation, Deloitte DTTL, 2014
3. Informa Pic Market Line Extracted Oct 2014

80. Opportunity
85
8 trillion : Industry
Size
2 trillion : waste in industry
Better experience
Imaging :
Unnecessary tests
Lower cost
Oncology:
Variability of Care
Better outcomes
Life sciences:
Failed clinical trials
Government:
Fraud, Waste and Abuse
Value Based Care:
Cost of chronic disease
360 billion : total IT and
healthcare market
opportunity
*IBM Watson

81. Strategy
Proof of principal
Google
Retinopathy, JAMA 2016
– 130k images, 54 ophthalmologists
– Reference standard
– Severity, image quality, L/R, FoV
Ophthalmology, Pathology, Radiology,
Dermatology
Cloud/Vision/Speech API
AI make AI
Amazon, MS
Naver
J Proj. Clova, 오감 AI
Line chat bot since 2014
94

82. BEYOND
97

83. 인공지능 의료적용의 어려움과 대책
98
의료환경의
표준화의
어려움으로
인공지능 훈련을
위한 라벨링 어려움
개인정보보호에
따른 데이터의
비개방성
의료기기 인허가,
신의료기술인정 및
수가 장벽
인공지능 전문가와
의료전문가의 단절
의료빅데이터의
표준화와 연계 연구
필요
인공지능기술개발을
위한 공개 데이터
개발과 이를 이용한
그랜드 챌린지
방식의 기술 진흥
필요
연구기획 초기부터
관련 종합 대책
정책적 지원 방안
마련
인공지능 교육,
연구개발 산업화를
망라하는 생태계
구축 필요
어려움
대책

84. Machine Operable, Human Readable
Visual attention
Category – feature mapping
Sparsity and diversity
99
(-)
(+)
정답 NICEIII
NICEI CAM NICEII CAM NICEIII CAM
예측 NICEIII 이상 영역 marking

85. MD-friendly Interpretation
Breast cancer risk prediction through BI-RADS categorization of
mammography
Analysis and visualization for breast density prediction
Mapping and visualization of patient by predicted breast cancer risk
score
100

86. 법적이슈
의료법 21조 제 3자 열람, 16, 23조 전자의무기록
생명윤리 및 안전에 관한 법률 제2, 15, 16, 18 조
개인정보보호법 제2조 제1항 제6호
의료기기법 : 허가 (2,6조) 및 유효성 (8, 9, 10 조)
국민건강보험법 : 건강보험심사평가원
신의료기술평가에 관한 규칙 보건복지부령 제353호
, 2015, 안전성 유효성
정보통신망 이용촉진 및 정보보호 등에 관한 법: 제2
조 개인정보, 국외 이전
다부처 개인정보 비식별화 가이드라인(2016), 익명화
“전자의무기록의 관리.보존에 필요한 시설과 장비에
관한 기준” (2016-140호) 보건복지부 고시
개발시 사용되는 데이터의 피험자 동의
오작동 책임소재 및 윤리
클라우드 저장 및 활용, 보안
의료법 시행규칙 고시 개정, 2016
https://namkugkim.wordpress.com/2017/03/09/병원의-환자-데이터-활용에-대한-법적인-이슈/

87. Medical Education
MD-PhD Convergence Education
MD education
Resident course
Theory
Hands on workshop
PhD education course
Medical education
102

88. 의료진 교육 워크샵
103
일시 : 2017년 6월 10일 (토) 오전 10시~오후 5시 45분
장소 : 서울아산병원 서관 3층 강당
RSVP : 주은리 picky.erju@gmail.com

89. 의료 AI unmet needs 교육 워크샵
104

90. Platform
High quality data building & Platform
Platform
Data, HW, SW 지원
Hospital -> Data supply
Start-up Supports
Data sharing
Consulting
Platform
Profit sharing
Among Platform, Data supplier, AI app developer
법적 문제가 없게
환자 데이터 GAN
105

91. Convergence Researches
High quality project for changing world
Examples
Multi-attention Supervised Learning for Captioning
Medical Image -> Dx Captioning
Add eye tracking, posture/gesture, mouse movement, audio,
background noise
ICGAN for generating new data set
Artistic style new CT generation
NL + Severe ILD (style) = New Image
Medical image optimized pre-trained network
Brain, Skull, Spine, Lung, Limb, Liver, Kidney, ….
1000 slices per categories
MD re-enforcement learning for chest PA using DQN
106

92. Convergence Researches
Chatbot for medicine
Unmet Needs
외래시 환자가 대면을 못하고 컴퓨터만 본다
예전보다 환자 정보의 과잉 및 다양한 정보 체크 필요
원인
레지던트, fellower 부족
간호사의 미숙련
컴퓨터가 환자의 필요한 정보를 자동으로 알려줄 필요
해결책
진료시 의사의 말을 알아서 EMR, PACS를 검사해줄
assistant service 필요
Ref
Amazon Echo의 Skill 1만개
비젼
의학은 거대한 분류학문
의학의 발달을 대변하는 terminology를 확보
이를 통한 의학 지식 확보
107

93. Open Contest
Not same to Apple, Samsung, Naver
Impact medical imaging open competition
Chest PA
Dx audio -> text
Pathology
Chest CT for lung nodule detection
Food images
108

94. 109
Solvay, 1927
Einstein, “God does not play dice”
Bohr, “Einstein, stop telling God what to do”

95. Old forest
110

96. Take Home
4차 산업혁명
250년 늦은 지각생
위기이자 기회
우리나라의 기회
세계적 의료 수준
대규모 데이터를 쉽게
모을수 있음
의료 인공지능은 수준
이 떨어지지 않음
융합
교육
연구개발
제도 개선
111

97. Collaborators
• MIRL
• Clinical Collaborators@Asan Medical Center, SNU BH
– Radiology : Chest, Cardiac, Abdomen, Neuro/Brain
– Neurology :Dongwha Kang, Chongsik Lee, Jaehong Lee, Sangbeom
Jun, Misun Kwon, Beomjun Kim
– Cardiology ; Jaekwan Song, Jongmin Song, Younghak Kim
– Internal Medicine : Jeongsik Byeon
– Pathology : Hyunhee Go
– Surgery : Bumsuk Go, JongHun Jeong, Songchuk Kim
• Academy
• KAIST EE, CS, Math
• Related Companies
• LG, VUNO, Coreline Soft, MIDAS IT, KakaoBrain