6. 최윤섭 지음
의료인공지능
표지디자인•최승협
컴퓨터
털 헬
치를 만드는 것을 화두로
기업가, 엔젤투자가, 에반
의 대표적인 전문가로, 활
이 분야를 처음 소개한 장
포항공과대학교에서 컴
동 대학원 시스템생명공
취득하였다. 스탠퍼드대
조교수, KT 종합기술원 컨
구원 연구조교수 등을 거
저널에 10여 편의 논문을
국내 최초로 디지털 헬스
윤섭 디지털 헬스케어 연
국내 유일의 헬스케어 스
어 파트너스’의 공동 창업
스타트업을 의료 전문가
관대학교 디지털헬스학과
뷰노, 직토, 3billion, 서지
소울링, 메디히어, 모바일
자문을 맡아 한국에서도
고 있다. 국내 최초의 디
케어 이노베이션』에 활발
을 연재하고 있다. 저서로
와 『그렇게 나는 스스로
•블로그_ http://www
•페이스북_ https://w
•이메일_ yoonsup.c
최윤섭
의료 인공지능은 보수적인 의료 시스템을 재편할 혁신을 일으키고 있다. 의료 인공지능의 빠른 발전과
광범위한 영향은 전문화, 세분화되며 발전해 온 현대 의료 전문가들이 이해하기가 어려우며, 어디서부
터 공부해야 할지도 막연하다. 이런 상황에서 의료 인공지능의 개념과 적용, 그리고 의사와의 관계를 쉽
게 풀어내는 이 책은 좋은 길라잡이가 될 것이다. 특히 미래의 주역이 될 의학도와 젊은 의료인에게 유용
한 소개서이다.
━ 서준범, 서울아산병원 영상의학과 교수, 의료영상인공지능사업단장
인공지능이 의료의 패러다임을 크게 바꿀 것이라는 것에 동의하지 않는 사람은 거의 없다. 하지만 인공
지능이 처리해야 할 의료의 난제는 많으며 그 해결 방안도 천차만별이다. 흔히 생각하는 만병통치약 같
은 의료 인공지능은 존재하지 않는다. 이 책은 다양한 의료 인공지능의 개발, 활용 및 가능성을 균형 있
게 분석하고 있다. 인공지능을 도입하려는 의료인, 생소한 의료 영역에 도전할 인공지능 연구자 모두에
게 일독을 권한다.
━ 정지훈, 경희사이버대 미디어커뮤니케이션학과 선임강의교수, 의사
서울의대 기초의학교육을 책임지고 있는 교수의 입장에서, 산업화 이후 변하지 않은 현재의 의학 교육
으로는 격변하는 인공지능 시대에 의대생을 대비시키지 못한다는 한계를 절실히 느낀다. 저와 함께 의
대 인공지능 교육을 개척하고 있는 최윤섭 소장의 전문적 분석과 미래 지향적 안목이 담긴 책이다. 인공
지능이라는 미래를 대비할 의대생과 교수, 그리고 의대 진학을 고민하는 학생과 학부모에게 추천한다.
━ 최형진, 서울대학교 의과대학 해부학교실 교수, 내과 전문의
최근 의료 인공지능의 도입에 대해서 극단적인 시각과 태도가 공존하고 있다. 이 책은 다양한 사례와 깊
은 통찰을 통해 의료 인공지능의 현황과 미래에 대해 균형적인 시각을 제공하여, 인공지능이 의료에 본
격적으로 도입되기 위한 토론의 장을 마련한다. 의료 인공지능이 일상화된 10년 후 돌아보았을 때, 이 책
이 그런 시대를 이끄는 길라잡이 역할을 하였음을 확인할 수 있기를 기대한다.
━ 정규환, 뷰노 CTO
의료 인공지능은 다른 분야 인공지능보다 더 본질적인 이해가 필요하다. 단순히 인간의 일을 대신하는
수준을 넘어 의학의 패러다임을 데이터 기반으로 변화시키기 때문이다. 따라서 인공지능을 균형있게 이
해하고, 어떻게 의사와 환자에게 도움을 줄 수 있을지 깊은 고민이 필요하다. 세계적으로 일어나고 있는
이러한 노력의 결과물을 집대성한 이 책이 반가운 이유다.
━ 백승욱, 루닛 대표
의료 인공지능의 최신 동향뿐만 아니라, 의의와 한계, 전망, 그리고 다양한 생각거리까지 주는 책이다.
논쟁이 되는 여러 이슈에 대해서도 저자는 자신의 시각을 명확한 근거에 기반하여 설득력 있게 제시하
고 있다. 개인적으로는 이 책을 대학원 수업 교재로 활용하려 한다.
━ 신수용, 성균관대학교 디지털헬스학과 교수
최윤섭지음
의료인공지능
값 20,000원
ISBN 979-11-86269-99-2
최초의 책!
계 안팎에서 제기
고 있다. 현재 의
분 커버했다고 자
것인가, 어느 진료
제하고 효용과 안
누가 지는가, 의학
쉬운 언어로 깊이
들이 의료 인공지
적인 용어를 최대
서 다른 곳에서 접
를 접하게 될 것
너무나 빨리 발전
책에서 제시하는
술을 공부하며, 앞
란다.
의사 면허를 취득
저가 도움되면 좋
를 불러일으킬 것
화를 일으킬 수도
슈에 제대로 대응
분은 의학 교육의
예비 의사들은 샌
지능과 함께하는
레이닝 방식도 이
전에 진료실과 수
겠지만, 여러분들
도생하는 수밖에
미래의료학자 최윤섭 박사가 제시하는
의료 인공지능의 현재와 미래
의료 딥러닝과 IBM 왓슨의 현주소
인공지능은 의사를 대체하는가
값 20,000원
ISBN 979-11-86269-99-2
레이닝 방식도 이
전에 진료실과 수
겠지만, 여러분들
도생하는 수밖에
소울링, 메디히어, 모바일
자문을 맡아 한국에서도
고 있다. 국내 최초의 디
케어 이노베이션』에 활발
을 연재하고 있다. 저서로
와 『그렇게 나는 스스로
•블로그_ http://www
•페이스북_ https://w
•이메일_ yoonsup.c
11. 5%
8%
24%
27%
36%
Life Science & Health
Mobile
Enterprise & Data
Consumer
Commerce
9%
13%
23%
24%
31%
Life Science & Health
Consumer
Enterprise
Data & AI
Others
2014 2015
Investment of GoogleVentures in 2014-2015
14. 헬스케어넓은 의미의 건강 관리에는 해당되지만,
디지털 기술이 적용되지 않고, 전문 의료 영역도 아닌 것
예) 운동, 영양, 수면
디지털 헬스케어
건강 관리 중에 디지털 기술이 사용되는 것
예) 사물인터넷, 인공지능, 3D 프린터, VR/AR
모바일 헬스케어
디지털 헬스케어 중
모바일 기술이 사용되는 것
예) 스마트폰, 사물인터넷, SNS
개인 유전정보분석
예) 암유전체, 질병위험도,
보인자, 약물 민감도
예) 웰니스, 조상 분석
헬스케어 관련 분야 구성도(ver 0.3)
의료
질병 예방, 치료, 처방, 관리
등 전문 의료 영역
원격의료
원격진료
16. What is most important factor in digital medicine?
17. “Data! Data! Data!” he cried.“I can’t
make bricks without clay!”
- Sherlock Holmes,“The Adventure of the Copper Beeches”
18.
19. 새로운 데이터가
새로운 방식으로
새로운 주체에 의해
측정, 저장, 통합, 분석된다.
데이터의 종류
데이터의 질적/양적 측면
웨어러블 기기
스마트폰
유전 정보 분석
인공지능
SNS
사용자/환자
대중
20. Three Steps to Implement Digital Medicine
• Step 1. Measure the Data
• Step 2. Collect the Data
• Step 3. Insight from the Data
21. Digital Healthcare Industry Landscape
Data Measurement Data Integration Data Interpretation Treatment
Smartphone Gadget/Apps
DNA
Artificial Intelligence
2nd Opinion
Wearables / IoT
(ver. 3)
EMR/EHR 3D Printer
Counseling
Data Platform
Accelerator/early-VC
Telemedicine
Device
On Demand (O2O)
VR
Digital Healthcare Institute
Diretor, Yoon Sup Choi, Ph.D.
yoonsup.choi@gmail.com
22. Data Measurement Data Integration Data Interpretation Treatment
Smartphone Gadget/Apps
DNA
Artificial Intelligence
2nd Opinion
Device
On Demand (O2O)
Wearables / IoT
Digital Healthcare Institute
Diretor, Yoon Sup Choi, Ph.D.
yoonsup.choi@gmail.com
EMR/EHR 3D Printer
Counseling
Data Platform
Accelerator/early-VC
VR
Telemedicine
Digital Healthcare Industry Landscape (ver. 3)
36. “왼쪽 귀에 대한 비디오를 보면 고막 뒤에
액체가 보인다. 고막은 특별히 부어 있거
나 모양이 이상하지는 않다. 그러므로 심한
염증이 있어보이지는 않는다.
네가 스쿠버 다이빙 하면서 압력평형에 어
려움을 느꼈다는 것을 감안한다면, 고막의
움직임을 테스트 할 수 있는 의사에게 직접
진찰 받는 것도 좋겠다. ...”
한국에서는 불법
51. • 아이폰의 센서로 측정한 자신의 의료/건강 데이터를 플랫폼에 공유 가능
• 가속도계, 마이크, 자이로스코프, GPS 센서 등을 이용
• 걸음, 운동량, 기억력, 목소리 떨림 등등
• 기존의 의학연구의 문제를 해결: 충분한 의료 데이터의 확보
• 연구 참여자 등록에 물리적, 시간적 장벽을 제거 (1번/3개월 ➞ 1번/1초)
• 대중의 의료 연구 참여 장려: 연구 참여자의 수 증가
• 발표 후 24시간 내에 수만명의 연구 참여자들이 지원
• 사용자 본인의 동의 하에 진행
ResearchKit
57. Autism and Beyond EpiWatchMole Mapper
measuring facial expressions of young
patients having autism
measuring morphological changes
of moles
measuring behavioral data
of epilepsy patients
58. •스탠퍼드의 심혈관 질환 연구 앱, myHeart
• 발표 하루만에 11,000 명의 참가자가 등록
• 스탠퍼드의 해당 연구 책임자 앨런 영,
“기존의 방식으로는 11,000명 참가자는
미국 전역의 50개 병원에서 1년간 모집해야 한다”
59. •파킨슨 병 연구 앱, mPower
• 발표 하루만에 5,589 명의 참가자가 등록
• 기존에 6000만불을 들여 5년 동안 모집한
환자의 수는 단 800명
60. The mPower study, Parkinson
disease mobile data collected using
ResearchKit
Brian M. Bot1
, Christine Suver1
, Elias Chaibub Neto1
, Michael Kellen1
, Arno Klein1
,
Christopher Bare1
, Megan Doerr1
, Abhishek Pratap1
, John Wilbanks1
, E. Ray Dorsey2
,
Stephen H. Friend1
& Andrew D. Trister1
Current measures of health and disease are often insensitive, episodic, and subjective. Further, these
measures generally are not designed to provide meaningful feedback to individuals. The impact of high-
resolution activity data collected from mobile phones is only beginning to be explored. Here we present
data from mPower, a clinical observational study about Parkinson disease conducted purely through an
iPhone app interface. The study interrogated aspects of this movement disorder through surveys and
frequent sensor-based recordings from participants with and without Parkinson disease. Benefitting from
large enrollment and repeated measurements on many individuals, these data may help establish baseline
variability of real-world activity measurement collected via mobile phones, and ultimately may lead to
quantification of the ebbs-and-flows of Parkinson symptoms. App source code for these data collection
modules are available through an open source license for use in studies of other conditions. We hope that
releasing data contributed by engaged research participants will seed a new community of analysts working
collaboratively on understanding mobile health data to advance human health.
Design Type(s) observation design • time series design • repeated measure design
Measurement Type(s) disease severity measurement
Technology Type(s) Patient Self-Report
Factor Type(s)
Sample Characteristic(s) Homo sapiens
OPEN
SUBJECT CATEGORIES
» Research data
» Neurology
» Parkinson’s disease
» Medical research
Received: 07 December 2015
Accepted: 02 February 2016
Published: 3 March 2016
www.nature.com/scientificdata
65. Fig 1. What can consumer wearables do? Heart rate can be measured with an oximeter built into a ring [3], muscle activity with an electromyographi
sensor embedded into clothing [4], stress with an electodermal sensor incorporated into a wristband [5], and physical activity or sleep patterns via an
accelerometer in a watch [6,7]. In addition, a female’s most fertile period can be identified with detailed body temperature tracking [8], while levels of me
attention can be monitored with a small number of non-gelled electroencephalogram (EEG) electrodes [9]. Levels of social interaction (also known to a
PLOS Medicine 2016
66. PwC Health Research Institute Health wearables: Early days2
insurers—offering incentives for
use may gain traction. HRI’s survey
Source: HRI/CIS Wearables consumer survey 2014
21%
of US
consumers
currently
own a
wearable
technology
product
2%
wear it a few
times a month
2%
no longer
use it
7%
wear it a few
times a week
10%
wear it
everyday
Figure 2: Wearables are not mainstream – yet
Just one in five US consumers say they own a wearable device.
Intelligence Series sought to better
understand American consumers’
attitudes toward wearables through
done with the data.
PwC, Health wearables: early days, 2014
67. PwC | The Wearable Life | 3
device (up from 21% in 2014). And 36% own more than one.
We didn’t even ask this question in our previous survey since
it wasn’t relevant at the time. That’s how far we’ve come.
millennials are far more likely to own wearables than older
adults. Adoption of wearables declines with age.
Of note in our survey findings, however: Consumers aged
35 to 49 are more likely to own smart watches.
Across the board for gender, age, and ethnicity, fitness
wearable technology is most popular.
Fitness band
Smart clothing
Smart video/
photo device
(e.g. GoPro)
Smart watch
Smart
glasses*
45%
14%
27%
15%
12%
Base: Respondents who currently own at least one device (pre-quota sample, n=700); Q10A/B/C/D/E. Please tell us your relationship with the following wearable
technology products. *Includes VR/AR glasses
Fitness runs away with it
% respondents who own type of wearable device
PwC,The Wearable Life 2.0, 2016
• 49% own at least one wearable device (up from 21% in2014)
• 36% own more than one device.
74. •Fitbit이 임상연구에 활용되는 것은 크게 두 가지 경우
•Fitbit 자체가 intervention이 되어서 활동량이나 치료 효과를 증진시킬 수 있는지 여부
•연구 참여자의 활동량을 모니터링 하기 위한 수단
•1. Fitbit으로 환자의 활동량을 증가시키기 위한 연구들
•Fitbit이 소아 비만 환자의 활동량을 증가시키는지 여부를 연구
•Fitbit이 위소매절제술을 받은 환자들의 활동량을 증가시키는지 여부
•Fitbit이 젊은 낭성 섬유증 (cystic fibrosis) 환자의 활동량을 증가시키는지 여부
•Fitbit이 암 환자의 신체 활동량을 증가시키기 위한 동기부여가 되는지 여부
•2. Fitbit으로 임상 연구에 참여하는 환자의 활동량을 모니터링
•항암 치료를 받은 환자들의 건강과 예후를 평가하는데 fitbit을 사용
•현금이 자녀/부모의 활동량을 증가시키는지 파악하기 위해 fitbit을 사용
•Brain tumor 환자의 삶의 질 측정을 위해 다른 survey 결과와 함께 fitbit을 사용
•말초동맥 질환(Peripheral Artery Disease) 환자의 활동량을 평가하기 위해
75. •체중 감량이 유방암 재발에 미치는 영향을 연구
•유방암 환자들 중 20%는 재발, 대부분이 전이성 유방암
•과체중은 유방암의 위험을 높인다고 알려져 왔으며,
•비만은 초기 유방암 환자의 예후를 좋지 않게 만드는 것도 알려짐
•하지만, 체중 감량과 유방암 재발 위험도의 상관관계 연구는 아직 없음
•3,200 명의 과체중, 초기 비만 유방암 환자들이 2년간 참여
•결과에 따라 전세계 유방암 환자의 표준 치료에 체중 감량이 포함될 가능성
•Fitbit 이 체중 감량 프로그램에 대한 지원
•Fitbit Charge HR: 운동량, 칼로리 소모, 심박수 측정
•Fitbit Aria Wi-Fi Smart Scale: 스마트 체중계
•FitStar: 개인 맞춤형 동영상 운동 코칭 서비스
2016. 4. 27.
84. (“FREE VERTICAL MOMENTS AND TRANSVERSE FORCES IN HUMAN WALKING AND
THEIR ROLE IN RELATION TO ARM-SWING”,
YU LI*, WEIJIE WANG, ROBIN H. CROMPTON AND MICHAEL M. GUNTHER)
(“SYNTHESIS OF NATURAL ARM SWING MOTION IN HUMAN BIPEDAL WALKING”,
JAEHEUNG PARK)︎
Right Arm
Left Foot
Left Arm
Right Foot
“보행 시 팔의 움직임은 몸의 역학적 균형을 맞추기 위한 자동적인 행동
으로, 반대쪽 발의 움직임을 관찰할 수 있는 지표”
보행 종류에 따른 신체 운동 궤도의 변화
발의 모양 팔의 스윙 궤도
일반 보행
팔자 걸음
구부린 걸음
직토 워크에서 수집하는 데이터
종류 설명 비고
충격량 발에 전해지는 충격량 분석 Impact Score
보행 주기 보행의 주기 분석 Interval Score
보폭 단위 보행 시의 거리 Stride(향후 보행 분석 고도화용)
팔의 3차원 궤도 걸음에 따른 팔의 움직임 궤도 팔의 Accel,Gyro Data 취합
보행 자세 상기 자료를 분석한 보행 자세 분류 총 8가지 종류로 구분
비대칭 지수 신체 부위별(어깨, 허리, 골반) 비대칭 점수 제공 1주일 1회 반대쪽 손 착용을 통한 데이터 취득 필요
걸음걸이 템플릿 보행시 발생하는 특이점들을 추출하여 개인별 템플릿 저장 생체 인증 기능용
with the courtesy of ZIKTO, Inc
87. https://www.empatica.com/science
Monitoring the Autonomic Nervous System
“Sympathetic activation increases when you experience excitement or
stress whether physical, emotional, or cognitive.The skin is the only organ
that is purely innervated by the sympathetic nervous system.”
https://www.empatica.com/science
90. Convulsive seizure detection using a wrist-worn electrodermal
activity and accelerometry biosensor
*yMing-Zher Poh, zTobias Loddenkemper, xClaus Reinsberger, yNicholas C. Swenson,
yShubhi Goyal, yMangwe C. Sabtala, {Joseph R. Madsen, and yRosalind W. Picard
*Harvard-MIT Division of Health Sciences and Technology, Cambridge, Massachusetts, U.S.A.; yMIT Media Lab, Massachusetts
Institute of Technology, Cambridge, Massachusetts, U.S.A.; zDivision of Epilepsy and Clinical Neurophysiology, Department of
Neurology, Children’s Hospital Boston, Harvard Medical School, Boston, Massachusetts, U.S.A.; xDepartment of Neurology, Division
of Epilepsy, Brigham and Women’s Hospital, Harvard Medical School, Boston, Massachusetts, U.S.A.; and {Department of
Neurosurgery, Children’s Hospital Boston, Harvard Medical School, Boston, Massachusetts, U.S.A.
SUMMARY
The special requirements for a seizure detector suitable
for everyday use in terms of cost, comfort, and social
acceptance call for alternatives to electroencephalogra-
phy (EEG)–based methods. Therefore, we developed an
algorithm for automatic detection of generalized tonic–
clonic (GTC) seizures based on sympathetically mediated
electrodermal activity (EDA) and accelerometry mea-
sured using a novel wrist-worn biosensor. The problem of
GTC seizure detection was posed as a supervised learning
task in which the goal was to classify 10-s epochs as a
seizure or nonseizure event based on 19 extracted fea-
tures from EDA and accelerometry recordings using a
Support Vector Machine. Performance was evaluated
using a double cross-validation method. The new seizure
detection algorithm was tested on >4,213 h of recordings
from 80 patients and detected 15 (94%) of 16 of the GTC
seizures from seven patients with 130 false alarms (0.74
per 24 h). This algorithm can potentially provide a convul-
sive seizure alarm system for caregivers and objective
quantification of seizure frequency.
KEY WORDS: Seizure alarm, Electrodermal activity,
Accelerometry, Wearable sensor, Epilepsy.
Although combined electroencephalography (EEG) and
video-monitoring remain the gold standard for seizure
detection in clinical routine, most patients are opposed to
wearing scalp EEG electrodes to obtain seizure warnings
for everyday use (Schulze-Bonhage et al., 2010). Accele-
rometry recordings offer a less-obtrusive method for detect-
ing seizures with motor accompaniments (Nijsen et al.,
2005). Previously, we showed that electrodermal activity
(EDA), which reflects the modulation of sweat gland activ-
ity by the sympathetic nervous system, increases during
convulsive seizures (Poh et al., 2010a). Herein we describe
a novel methodology for generalized tonic–clonic (GTC)
seizure detection using information from both EDA and
accelerometry signals recorded with a wrist-worn sensor.
Methods
This study was approved by the institutional review
boards of Massachusetts Institute of Technology and Chil-
dren’s Hospital Boston. We recruited patients with epilepsy
who were admitted to the long-term video-EEG monitoring
(LTM) unit. All participants (or their caregivers) provided
written informed consent. Custom-built EDA and accele-
rometry biosensors were placed on the wrists (Fig. S1) such
that the electrodes were in contact with the ventral side of
the forearms (Poh et al., 2010b).
The various stages of the GTC seizure detector are
depicted in Fig. 1A. A sliding window was used to extract
10-s epochs from both accelerometry and EDA recordings
for each 2.5-s increment (75% overlap). The data were then
preprocessed to remove nonmotor and nonrhythmic epochs.
A total of 19 features including time, frequency, and nonlin-
ear features were extracted from remaining epochs of the
accelerometry and EDA signals to form feature vectors.
Finally, each feature vector was assigned to a seizure or
nonseizure class using a Support Vector Machine (SVM).
We implemented a non–patient-specific seizure detection
algorithm that excluded all data from a test patient in the
training phase (double leave-one-patient-out cross-valida-
tion). To allow the SVM to learn from previous examples of
seizures from the test patient if that patient had more than a
single GTC seizure recording available, we also imple-
mented double leave-one-seizure-out cross-validation.
Because the detector was not trained solely on data from a
Accepted February 3, 2012; Early View publication March 20, 2012.
Address correspondence to Ming-Zher Poh, Ph.D., MIT Media Lab,
Massachusetts Institute of Technology, Room E14-374B, 75 Amherst St.,
Cambridge, MA 02139, U.S.A. E-mail: zher@mit.edu
Wiley Periodicals, Inc.
ª 2012 International League Against Epilepsy
Epilepsia, 53(5):e93–e97, 2012
doi: 10.1111/j.1528-1167.2012.03444.x
BRIEF COMMUNICATION
e93
•가속도계와 EDA 센서가 내장된 스마트 밴드
•뇌전증 환자 80명을 총 4,213 시간 모니터링
•대발작을 94% detection 성공 (15 out of 16)
•19개의 feature를 10초마다 측정: 기계학습 (SVM)으로 분석
91. •135명의 환자 대상, multi-center trial
•272일, 6530시간 모니터링
•총 40번의 대발작을 100% detection 성공
•2018년 1월 성인 epilepsy 환자 대상의 FDA 인허가 (prescription-only)
•2019년 1월 6~21세 소아청소년 환자 대상의 FDA 인허가 (prescription-only)
94. •Cardiogram은 심박 데이터만으로 심방세동을 detection할 수 있다고 주장
•“Irregularly irregular”
•high absolute variability (a range of 30+ bpm)
•a higher fraction missing measurements
•a lack of periodicity in heart rate variability
•심방세동 특유의 불규칙적인 리듬을 detection 하는 정도로 생각하면 될 듯
•“불규칙적인 리듬을 가지는 (심방세동이 아닌) 다른 부정맥과 구분 가능한가?” (쉽지 않을듯)
•따라서, 심박으로 detection한 환자를 심전도(ECG)로 confirm 하는 것이 필요
Cardiogram for A.Fib
98. 애플워치4: 심전도, 부정맥, 낙상 측정
FDA 의료기기 인허가
•De Novo 의료기기로 인허가 받음 (새로운 종류의 의료기기)
•9월에 발표하였으나, 부정맥 관련 기능은 12월에 활성화
•미국 애플워치에서만 가능하고, 한국은안 됨 (미국에서 구매한 경우, 한국 앱스토어 ID로 가능)
99.
100.
101.
102.
103.
104. • 애플워치4의 부정맥 측정 기능으로,
• 기능이 활성화된 당일에 자신의 심방세동을 측정한 사용자
• 애플워치 결과 보고, 응급실에 갔더니,
• 실제로 심방세동을 진단 받게 되었음
105. • 애플워치4 부정맥 (심방세동) 측정 기능
• ‘진단’이나 기존 환자의 ‘관리’ 목적이 아니라,
• ‘측정’ 목적
• 기존에 진단 받지 않은 환자 중에,
• 심방세동이 있는 사람을 확인하여 병원으로 연결
• 정확성을 정말 철저하게 검증했는가?
• 애플워치에 의해서 측정된 심방세동의 20% 정도가
• 패치 형태의 ECG 모니터에서 측정되지 않음
• 즉, false alarm 이 많을 수 있음
• 불필요한 병원 방문, 검사, 의료 비용 발생 등을 우려하고 있음
107. Early detection of prostate cancer with PSA
testing and a digital rectal exam
1,000 men without screening
How many men died from prostate cancer?
How many men died from any cause?
How many men without prostate cancer
experienced false alarms and unnecessarily had
tissue samples removed (biopsy)?
7 7
210 210
- 160
Remaining men
*E.g. treatments that include removal of the
prostate gland (prostatectomy) or radiation
therapy which can lead to incontinence and
impotence.
Source: Ilic et al. Cochrane Database Syst
Rev 2013(1):CD004876.
Last update: November 2017
www.harding-center.mpg.de/en/fact-boxes
Numbers for men aged 50 years or older who either did or did not participate in prostate cancer screening for approximately 11
years.
How many men with non-progressive prostate
cancer were unnecessarily diagnosed or treated*?
20-
1,000 men with screening
https://www.scripps.edu/science-and-medicine/translational-institute/about/news/oran-ecg-app/index.html?fbclid=IwAR02Z8SG679-svCkyxBhv3S1JUOSFQlI6UCvNu3wvUgyRmc1r2ft963MFmM
110. American Heart Journal, 2019
Figure 1
•Apple Heart Study
•스탠퍼드의 원격 임상 시험 / 애플 스폰서
•PPG를 통해 심장 박동수와 규칙성을 측정
•PPG에서 심방세동이 의심되는 이상이 발견되면
다음 단계로 ambulatory ECG를 ePatch로 측정
•동시 기록한 애플워치의 결과와 비교
•ePatch의 사용 및 결과 분석에는 원격진료를 활용
•40만명의 피실험자 등록은 마쳤고 추적 연구 진행 중
111. •American College of Cardiology’s 68th Annual Scientific Session
•전체 임상 참여자 중에서 irregular pusle notification 받은 사람은 불과 0.5%
•애플워치와 ECG patch를 동시에 사용한 결과 71%의 positive predictive value.
•irregular pusle notification 받은 사람 중 84%가 그 시점에 심방세동을 가짐
•f/u으로 그 다음 일주일 동안 ECG patch를 착용한 사람 중 34%가 심방세동을 발견
•Irregular pusle notification 받은 사람 중에 실제로 병원에 간 사람은 57% (전체 환자군의 0.3%)
115. Digital Phenotype:
Your smartphone knows if you are depressed
J Med Internet Res. 2015 Jul 15;17(7):e175.
The correlation analysis between the features and the PHQ-9 scores revealed that 6 of the 10
features were significantly correlated to the scores:
• strong correlation: circadian movement, normalized entropy, location variance
• correlation: phone usage features, usage duration and usage frequency
117. ers, Jared B Hawkins & John S Brownstein
phenotypes captured to enhance health and wellness will extend to human interactions with
st Richard
pt of the
hat pheno-
biological
sis or tissue
effects that
or outside
m.Dawkins
phenotypes
can modify
difications
onsofone’s
ended phe-
cites damn
hebeaver’s
ncreasingly
there is an
heory—the
aspects of
ehowdiag-
Jan. 2013
0.000
0.002
0.004
Density
0.006
July 2013 Jan. 2014 July 2014
User 1
User 2
User 3
User 4
User 5
User 6
User 7
Date
Figure 1 Timeline of insomnia-related tweets from representative individuals. Density distributions
(probability density functions) are shown for seven individual users over a two-year period. Density on
the y axis highlights periods of relative activity for each user. A representative tweet from each user is
Your twitter knows if you cannot sleep
Timeline of insomnia-related tweets from representative individuals.
Nat. Biotech. 2015
119. Digital Phenotype:
Your Instagram knows if you are depressed
Rao (MVR) (24) .
Results
Both Alldata and Prediagnosis models were decisively superior to a null model
. Alldata predictors were significant with 99% probability.57.5;(KAll = 1 K 49.8) Pre = 1 7
Prediagnosis and Alldata confidence levels were largely identical, with two exceptions:
Prediagnosis Brightness decreased to 90% confidence, and Prediagnosis posting frequency
dropped to 30% confidence, suggesting a null predictive value in the latter case.
Increased hue, along with decreased brightness and saturation, predicted depression. This
means that photos posted by depressed individuals tended to be bluer, darker, and grayer (see
Fig. 2). The more comments Instagram posts received, the more likely they were posted by
depressed participants, but the opposite was true for likes received. In the Alldata model, higher
posting frequency was also associated with depression. Depressed participants were more likely
to post photos with faces, but had a lower average face count per photograph than healthy
participants. Finally, depressed participants were less likely to apply Instagram filters to their
posted photos.
Fig. 2. Magnitude and direction of regression coefficients in Alldata (N=24,713) and Prediagnosis (N=18,513)
models. Xaxis values represent the adjustment in odds of an observation belonging to depressed individuals, per
Reece & Danforth, “Instagram photos reveal predictive markers of depression” (2016)
Fig. 1. Comparison of HSV values. Right photograph has higher Hue (bluer), lower Saturation (grayer), and lower
Brightness (darker) than left photograph. Instagram photos posted by depressed individuals had HSV values
shifted towards those in the right photograph, compared with photos posted by healthy individuals.
Units of observation
In determining the best time span for this analysis, we encountered a difficult question:
When and for how long does depression occur? A diagnosis of depression does not indicate the
persistence of a depressive state for every moment of every day, and to conduct analysis using an
individual’s entire posting history as a single unit of observation is therefore rather specious. At
the other extreme, to take each individual photograph as units of observation runs the risk of
being too granular. DeChoudhury et al. (5) looked at all of a given user’s posts in a single day,
and aggregated those data into perperson, perday units of observation. We adopted this
precedent of “userdays” as a unit of analysis . 5
Statistical framework
We used Bayesian logistic regression with uninformative priors to determine the strength
of individual predictors. Two separate models were trained. The Alldata model used all
collected data to address Hypothesis 1. The Prediagnosis model used all data collected from
higher Hue (bluer)
lower Saturation (grayer)
lower Brightness (darker)
120. Digital Phenotype:
Your Instagram knows if you are depressed
Reece & Danforth, “Instagram photos reveal predictive markers of depression” (2016)
. In particular, depressedχ2 07.84, p .17e 64;( All = 9 = 9 − 1 13.80, p .87e 44)χ2Pre = 8 = 2 − 1
participants were less likely than healthy participants to use any filters at all. When depressed
participants did employ filters, they most disproportionately favored the “Inkwell” filter, which
converts color photographs to blackandwhite images. Conversely, healthy participants most
disproportionately favored the Valencia filter, which lightens the tint of photos. Examples of
filtered photographs are provided in SI Appendix VIII.
Fig. 3. Instagram filter usage among depressed and healthy participants. Bars indicate difference between observed
and expected usage frequencies, based on a Chisquared analysis of independence. Blue bars indicate
disproportionate use of a filter by depressed compared to healthy participants, orange bars indicate the reverse.
121. Digital Phenotype:
Your Instagram knows if you are depressed
Reece & Danforth, “Instagram photos reveal predictive markers of depression” (2016)
VIII. Instagram filter examples
Fig. S8. Examples of Inkwell and Valencia Instagram filters. Inkwell converts
color photos to blackandwhite, Valencia lightens tint. Depressed participants
most favored Inkwell compared to healthy participants, Healthy participants
122. Mindstrong Health
• 스마트폰 사용 패턴을 바탕으로
• 인지능력, 우울증, 조현병, 양극성 장애, PTSD 등을 측정
• 미국 국립정신건강연구소 소장인 Tomas Insel 이 공동 설립
• 아마존의 제프 베조스 투자
123. BRIEF COMMUNICATION OPEN
Digital biomarkers of cognitive function
Paul Dagum1
To identify digital biomarkers associated with cognitive function, we analyzed human–computer interaction from 7 days of
smartphone use in 27 subjects (ages 18–34) who received a gold standard neuropsychological assessment. For several
neuropsychological constructs (working memory, memory, executive function, language, and intelligence), we found a family of
digital biomarkers that predicted test scores with high correlations (p < 10−4
). These preliminary results suggest that passive
measures from smartphone use could be a continuous ecological surrogate for laboratory-based neuropsychological assessment.
npj Digital Medicine (2018)1:10 ; doi:10.1038/s41746-018-0018-4
INTRODUCTION
By comparison to the functional metrics available in other
disciplines, conventional measures of neuropsychiatric disorders
have several challenges. First, they are obtrusive, requiring a
subject to break from their normal routine, dedicating time and
often travel. Second, they are not ecological and require subjects
to perform a task outside of the context of everyday behavior.
Third, they are episodic and provide sparse snapshots of a patient
only at the time of the assessment. Lastly, they are poorly scalable,
taxing limited resources including space and trained staff.
In seeking objective and ecological measures of cognition, we
attempted to develop a method to measure memory and
executive function not in the laboratory but in the moment,
day-to-day. We used human–computer interaction on smart-
phones to identify digital biomarkers that were correlated with
neuropsychological performance.
RESULTS
In 2014, 27 participants (ages 27.1 ± 4.4 years, education
14.1 ± 2.3 years, M:F 8:19) volunteered for neuropsychological
assessment and a test of the smartphone app. Smartphone
human–computer interaction data from the 7 days following
the neuropsychological assessment showed a range of correla-
tions with the cognitive scores. Table 1 shows the correlation
between each neurocognitive test and the cross-validated
predictions of the supervised kernel PCA constructed from
the biomarkers for that test. Figure 1 shows each participant
test score and the digital biomarker prediction for (a) digits
backward, (b) symbol digit modality, (c) animal fluency,
(d) Wechsler Memory Scale-3rd Edition (WMS-III) logical
memory (delayed free recall), (e) brief visuospatial memory test
(delayed free recall), and (f) Wechsler Adult Intelligence Scale-
4th Edition (WAIS-IV) block design. Construct validity of the
predictions was determined using pattern matching that
computed a correlation of 0.87 with p < 10−59
between the
covariance matrix of the predictions and the covariance matrix
of the tests.
Table 1. Fourteen neurocognitive assessments covering five cognitive
domains and dexterity were performed by a neuropsychologist.
Shown are the group mean and standard deviation, range of score,
and the correlation between each test and the cross-validated
prediction constructed from the digital biomarkers for that test
Cognitive predictions
Mean (SD) Range R (predicted),
p-value
Working memory
Digits forward 10.9 (2.7) 7–15 0.71 ± 0.10, 10−4
Digits backward 8.3 (2.7) 4–14 0.75 ± 0.08, 10−5
Executive function
Trail A 23.0 (7.6) 12–39 0.70 ± 0.10, 10−4
Trail B 53.3 (13.1) 37–88 0.82 ± 0.06, 10−6
Symbol digit modality 55.8 (7.7) 43–67 0.70 ± 0.10, 10−4
Language
Animal fluency 22.5 (3.8) 15–30 0.67 ± 0.11, 10−4
FAS phonemic fluency 42 (7.1) 27–52 0.63 ± 0.12, 10−3
Dexterity
Grooved pegboard test
(dominant hand)
62.7 (6.7) 51–75 0.73 ± 0.09, 10−4
Memory
California verbal learning test
(delayed free recall)
14.1 (1.9) 9–16 0.62 ± 0.12, 10−3
WMS-III logical memory
(delayed free recall)
29.4 (6.2) 18–42 0.81 ± 0.07, 10−6
Brief visuospatial memory test
(delayed free recall)
10.2 (1.8) 5–12 0.77 ± 0.08, 10−5
Intelligence scale
WAIS-IV block design 46.1(12.8) 12–61 0.83 ± 0.06, 10−6
WAIS-IV matrix reasoning 22.1(3.3) 12–26 0.80 ± 0.07, 10−6
WAIS-IV vocabulary 40.6(4.0) 31–50 0.67 ± 0.11, 10−4
Received: 5 October 2017 Revised: 3 February 2018 Accepted: 7 February 2018
1
Mindstrong Health, 248 Homer Street, Palo Alto, CA 94301, USA
Correspondence: Paul Dagum (paul@mindstronghealth.com)
www.nature.com/npjdigitalmed
Published in partnership with the Scripps Translational Science Institute
• 총 45가지 스마트폰 사용 패턴: 타이핑, 스크롤, 화면 터치
• 스페이스바 누른 후, 다음 문자 타이핑하는 행동
• 백스페이스를 누른 후, 그 다음 백스페이스
• 주소록에서 사람을 찾는 행동 양식
• 스마트폰 사용 패턴과 인지 능력의 상관 관계
• 20-30대 피험자 27명
• Working Memory, Language, Dexterity etc
124. BRIEF COMMUNICATION OPEN
Digital biomarkers of cognitive function
Paul Dagum1
To identify digital biomarkers associated with cognitive function, we analyzed human–computer interaction from 7 days of
smartphone use in 27 subjects (ages 18–34) who received a gold standard neuropsychological assessment. For several
neuropsychological constructs (working memory, memory, executive function, language, and intelligence), we found a family of
digital biomarkers that predicted test scores with high correlations (p < 10−4
). These preliminary results suggest that passive
measures from smartphone use could be a continuous ecological surrogate for laboratory-based neuropsychological assessment.
npj Digital Medicine (2018)1:10 ; doi:10.1038/s41746-018-0018-4
INTRODUCTION
By comparison to the functional metrics available in other
disciplines, conventional measures of neuropsychiatric disorders
have several challenges. First, they are obtrusive, requiring a
subject to break from their normal routine, dedicating time and
often travel. Second, they are not ecological and require subjects
to perform a task outside of the context of everyday behavior.
Third, they are episodic and provide sparse snapshots of a patient
only at the time of the assessment. Lastly, they are poorly scalable,
taxing limited resources including space and trained staff.
In seeking objective and ecological measures of cognition, we
attempted to develop a method to measure memory and
executive function not in the laboratory but in the moment,
day-to-day. We used human–computer interaction on smart-
phones to identify digital biomarkers that were correlated with
neuropsychological performance.
RESULTS
In 2014, 27 participants (ages 27.1 ± 4.4 years, education
14.1 ± 2.3 years, M:F 8:19) volunteered for neuropsychological
assessment and a test of the smartphone app. Smartphone
human–computer interaction data from the 7 days following
the neuropsychological assessment showed a range of correla-
tions with the cognitive scores. Table 1 shows the correlation
between each neurocognitive test and the cross-validated
predictions of the supervised kernel PCA constructed from
the biomarkers for that test. Figure 1 shows each participant
test score and the digital biomarker prediction for (a) digits
backward, (b) symbol digit modality, (c) animal fluency,
(d) Wechsler Memory Scale-3rd Edition (WMS-III) logical
memory (delayed free recall), (e) brief visuospatial memory test
(delayed free recall), and (f) Wechsler Adult Intelligence Scale-
4th Edition (WAIS-IV) block design. Construct validity of the
predictions was determined using pattern matching that
computed a correlation of 0.87 with p < 10−59
between the
covariance matrix of the predictions and the covariance matrix
of the tests.
Table 1. Fourteen neurocognitive assessments covering five cognitive
domains and dexterity were performed by a neuropsychologist.
Shown are the group mean and standard deviation, range of score,
and the correlation between each test and the cross-validated
prediction constructed from the digital biomarkers for that test
Cognitive predictions
Mean (SD) Range R (predicted),
p-value
Working memory
Digits forward 10.9 (2.7) 7–15 0.71 ± 0.10, 10−4
Digits backward 8.3 (2.7) 4–14 0.75 ± 0.08, 10−5
Executive function
Trail A 23.0 (7.6) 12–39 0.70 ± 0.10, 10−4
Trail B 53.3 (13.1) 37–88 0.82 ± 0.06, 10−6
Symbol digit modality 55.8 (7.7) 43–67 0.70 ± 0.10, 10−4
Language
Animal fluency 22.5 (3.8) 15–30 0.67 ± 0.11, 10−4
FAS phonemic fluency 42 (7.1) 27–52 0.63 ± 0.12, 10−3
Dexterity
Grooved pegboard test
(dominant hand)
62.7 (6.7) 51–75 0.73 ± 0.09, 10−4
Memory
California verbal learning test
(delayed free recall)
14.1 (1.9) 9–16 0.62 ± 0.12, 10−3
WMS-III logical memory
(delayed free recall)
29.4 (6.2) 18–42 0.81 ± 0.07, 10−6
Brief visuospatial memory test
(delayed free recall)
10.2 (1.8) 5–12 0.77 ± 0.08, 10−5
Intelligence scale
WAIS-IV block design 46.1(12.8) 12–61 0.83 ± 0.06, 10−6
WAIS-IV matrix reasoning 22.1(3.3) 12–26 0.80 ± 0.07, 10−6
WAIS-IV vocabulary 40.6(4.0) 31–50 0.67 ± 0.11, 10−4
Received: 5 October 2017 Revised: 3 February 2018 Accepted: 7 February 2018
1
Mindstrong Health, 248 Homer Street, Palo Alto, CA 94301, USA
Correspondence: Paul Dagum (paul@mindstronghealth.com)
www.nature.com/npjdigitalmed
Published in partnership with the Scripps Translational Science Institute
Fig. 1 A blue square represents a participant test Z-score normed to the 27 participant scores and a red circle represents the digital biomarker
prediction Z-score normed to the 27 predictions. Test scores and predictions shown are a digits backward, b symbol digit modality, c animal
fluency, d Wechsler memory Scale-3rd Edition (WMS-III) logical memory (delayed free recall), e brief visuospatial memory test (delayed free
recall), and f Wechsler adult intelligence scale-4th Edition (WAIS-IV) block design
Digital biomarkers of cognitive function
P Dagum
2
1234567890():,;
• 스마트폰 사용 패턴과 인지 능력의 상관 관계
• 파란색: 표준 인지 능력 테스트 결과
• 붉은색: 마인드 스트롱의 스마트폰 사용 패턴
138. •2018년 1월에 출시 당시, 존스홉킨스, UC샌디에고 등 12개의 병원에 연동
•(2019년 2월 현재) 1년 만에 200개 이상의 병원에 연동
•VA와도 연동된다고 밝힘 (with 9 million veterans)
•2008년 구글 헬스는 3년 동안 12개 병원에 연동에 그쳤음
139. Data-driven Medicine에 대한 두 가지 전략
• top-down: 먼저 가설을 세우고, 그에 맞는 종류의 데이터를 모아서 검증해보자.
• bottom-up: 일단 ‘모든’ 데이터를 최대한 많이 모아 놓으면, 뭐라도 큰 게 나오겠지.
140. • top-down: 먼저 가설을 세우고, 그에 맞는 종류의 데이터를 모아서 검증해보자.
• bottom-up: 일단 ‘모든’ 데이터를 최대한 많이 모아 놓으면, 뭐라도 큰 게 나오겠지.
Data-driven Medicine에 대한 두 가지 전략
144. • 버릴리(구글)의 베이스라인 프로젝트
• 건강과 질병을 새롭게 정의하기 위한 프로젝트
• 4년 동안 10,000 명의 개인의 건강 상태를 면밀하게 추적하여 데이터를 축적
• 심박수와 수면패턴 및 유전 정보, 감정 상태, 진료기록, 가족력, 소변/타액/혈액 검사 등
145. iCarbonX
•중국 BGI의 대표였던 준왕이 창업
•'모든 데이터를 측정'하고 이를 정밀 의료에 활용할 계획
•데이터를 측정할 수 있는 역량을 가진 회사에 투자 및 인수
•SomaLogic, HealthTell, PatientsLikMe
•향후 5년 동안 100만명-1000만 명의 데이터 모을 계획
•이 데이터의 분석은 인공지능으로
146. •Precision Medicine Initiative Cohort Program
•2억 1500만 달러 투입
•최소한 100만명의 미국인을 자발적으로 모집해서
•EMR, 가족력, 유전 정보, 혈액 및 소변 검사 결과,
•MRI 등의 영상 의료 데이터, 웨어러블 디바이스를 통한 데이터
147. The Future of Individualized Medicine, 2019 @San Diego
148. The Future of Individualized Medicine, 2019 @San Diego