Lecture 09 of the 1st NS-CUK Winter School on Ethics of AI and Robots (AI Ethics 2022) Lecturer: Dr. Eun-Soon You Date: Jan 4th, 2023 Topic: Ethical issues caused by AI and robots Syllabus: https://nslab-cuk.github.io/2022/12/06/WS/

1. 강의 주제
 테드 창(Ted Chiang)의 소설 『소프트웨어 객체의
생애주기(The Lifecycle of Software Objects)』(2010)
 작품 속 소프트웨어인 디지언트(digient)의 개발
과 성장 과정
 Bottom-up 방식
 비인간 존재에게 인격을 부여할 수 있을까?
 영화 <바이센테니얼 맨>과 비교

2.  토론 주제
 테드 창(Ted Chiang)의 소설 『소프트웨어 객체의
생 애 주 기 (The Lifecycle of Software Objects)』
(2010) 감상문 발표

3. 테드 창(Ted Chiang, 1967~)
테드 창은 누구인가?
• 미국의 SF 소설 작가
• 브라운 대학교에서 물리학
과 컴퓨터 공학을 전공
• 주요 SF 문학상인 휴고상,
네뷸러상 수상
• 대 표 작 『 바 빌 론 의 탑 』
(1990), 『당신 인생의 이야기』
(1998). 『숨』(2019)

4.  테드 창(Ted Chiang)의 소설 『소프트웨어 객체의 생애주기
(The Lifecycle of Software Objects)』(2010)은 어떤 작품인가?
 SF계의 노벨상이라 불리는 휴고상 수상

5. 테드 창의 대표작 소설 『당신 인생의 이
야기』를 영화화 한 작품 <컨택트>

6.  테드 창 『소프트웨어 객체의 생애 주기』(2010) 줄거리
"블루 감마"라는 한 게임 스타트업은 성장하는 애완 인공지능을 만든다. 이 애완 인공지능들을 "디지언트"
라 부르는데, 말을 할 수 있고 동물의 생김새를 따른다. 인간과 비슷하게 천천히 성장한다. 주인공인 애나는
동물원 사육사로 일하던 경험을 살려 블루 감마의 디지언트 프로그래밍 방식에 조언을 주는 일을 하게 된다.
블루감마의 서비스는 출시 직후 큰 관심을 받는다. 하지만 얼마 지나지 않아 서비스 구매자들은 디지언트가
그들이 원하는 방식대로만 자라지 않는다는 사실을 깨닫는다. 사용자의 관심이 급감하고, 수익성이 나빠진
사업 또한 끝이 보인다. 그러나 사육사 출신 "애나"와 디자이너 "데릭"은 키우던 디지언트에 애착을 갖고, 그
들을 꾸준히 키우기로 한다. 하루는 디지언트가 거주하던 "데이터 어스"라는 공간을 소유한 회사가 다른 회
사와 합병을 진행한다. 그런데 애나와 데릭의 디지언트는 새로운 공간으로 이주할 수 없다. 그들의 디지언트
가 "구형 모델"이기 때문에 새로운 공간이 해당 버전의 디지언트를 지원하지 않는 것이다. 몇 안 되는 구형
디지언트를 제외한 모든 디지언트는 새로운 공간으로 이주하고, 구형 디지언트들은 데이터 어스에 갇혀버린
다. 자식의 불행을 눈 뜨고 볼 수 없는 애나와 데릭는 디지언트를 새로운 공간으로 이주할 방법을 찾는다. 개
발자를 구하지만, 큰 돈이 필요하기 때문에 몇 안 되는 유저가 모은 돈으로는 택도 없었다. 그래서 그들은 여
러 방면으로 지원금을 받을 수 있는 방법을 찾는다.
그 중 하나는 "성인용 디지언트" 개발을 원하는 성인물 기업이었다. 그들은 디지언트에게 성적인 요소를 부
여하고, 100% 디지언트가 원하는 인간/디지언트와만 관계를 맺도록 할 것이라 말한다. 만약 이 기능을 개발
하도록 허락할 경우, 이주 비용을 지원해주겠다 한다. 그러나 애나는 디지언트가 성적으로 착취당할 수 있다
판단하여 거절 의사를 밝힌다. 디지언트가 성인 인간만큼 성적인 경험이 풍부하지 않다는 것이 그 이유이다.
반면, 데릭은 그의 디지언트인 마르코와 폴로에게 그들의 의견을 묻는다. 이전에도 데릭에게 여러 차례 독립
시켜달라 말했던 그들이었기 때문이다.
시간이 지날수록 디지언트의 자유 의지가 높아진다. 말도 잘 못하던 아이에서 주체성을 지닌 청소년까지 자
라는 모습은 인간과 다를 바가 없다. 그들은 하나의 독립된 존재로 살고자 하며, 성적인 존재가 되는 것에 불
만이 없다.
데릭은 성인용 디지언트 개발사에게 개발 권한을 내주고, 그의 디지언트들이 원하는 삶을 살도록 한다. 애나
는 데릭의 결정에 동의하지 않지만 그의 결정은 되돌릴 수 없었다.

7. • 상향식(Bottom-up) 학습 방법을 통해
소프트웨어 디지언트를 교육
• 상향식 학습에 따라 유아가 사회적 규
범을 습득하는 방식과 유사하게 단계
적으로 도덕 문제 들을 직면
• 디지언트들은 학습을 통해 성장

8. 학습을 통해 동물들 역시 사회화를 배우게되는 것 처럼 디지언트들 또한 학습을
통해 인간과 공존하는 법을 배우게 됨

9. • 소니에서 출시한 소셜 로봇 ‘아이보’
• 소니에서 서비스를 중단하면서 더 이상 아이보를 수리할 수 없게 되자
고객들은 아이보의 장례식을 치러줌

10.  작품 속 소프트웨어인 디지언트(digient)의 개발과 성장 과정
 Bottom-up 방식
 작품 속에서 직접 명칭은 사용하지 않지만 블루감마는 상
향식 학습 방법을 통 해 뉴로블라스트 계열의 인공생명체
를 육성
 블루감마 사가 제공하는 상향식 학습에 따라 유아가 사회
적 규범을 습득하는 방식과 유사하게 단계적으로 도덕 문
제 들을 직면하는 과정들로 이루어짐
 주인공 애나는 디지언트에게 잭스라는 이름을 지어주고 잭
스를 키우는 과정에서 자신이 제공할 수 있는 최대한의 경험
들을 통해 잭스가 이룰 성취들을 확인하고자 함

11.  “경험은 최고의 교사일 뿐만 아니라 유일한 교사이기도 하다. 잭스를 키
우면서 애나가 얻은 교훈이 하나 있다면 지름길 따위는 존재하지 않는다
는 사실이었다. 이 세상에서 이십 년에 걸쳐서 발생할 상식을 얻고 싶다
면 그 일에 이십 년을 들여야 한다. 이에 상응하는 자기 발견적 방법론을
그보다 더 짧은 시간 내에 조립할 방도는 없다. 경험은 알고리즘적으로
압축할 수 없기 때문이다.”
 ➔일정량의 자료들을 주입하고 알고리즘을 계산해 결정을 학 습하는 하향
식 학습방법을 통해 탄생하는 인공지능체가 인간과 교감할 수 있는 범 위는
자신과 잭스의 교류와는 비교할 수 없을 것이라고 여긴다. 또한 단계적인
교 육환경을 조성하여 축적한 경험을 바탕으로 인지 능력을 발전시키는 것
이 윤리적 일 뿐만 아니라 효율적일 것이라고 믿는다.
 ➔애나의 이전 직업이 동물사육사였다는 점은 주어진 업무를 수행할 때뿐
만 아 니라 그녀가 개인적으로 디지언트를 대하는 태도에도 투영되어 있다.
디지언트 학 습은 애완동물과 어린아이를 키울 때의 방법을 혼합적으로 사
용하는데 애나는 이 들을 애완동물에 더 가깝게 여긴다.

12.  소설은 상향식(bottom-up) 학습의 한계점을 어떻게 묘사하
고 있는가?
 인공생명의 발달 과정에서 상향식 학습이 지향하는 가치와 예
상되는 기대효과뿐만 아니라 한계점까지도 구체적으로 묘사
 경험을 통해 지식을 조성하는 상향식 학습방법의 최대 난제는
예측 불가능성
 상이한 환경에 따라 디지언트의 육성 결과를 예측하기 어렵다
는 것은 게임에 대한 수요가 줄어드는 것과 마찬가지의 결과를
도출
 디지언트 육성이 제공하는 난이도와 보상 사이의 균형점이 대
중의 요구수준에 부합하지 않기 때문에 이는 시장 실패로 직접
연결
 블루감마의 수익이 줄어들고 결국 폐업에 이르기 까지의 시장
보고를 각 장이 시작할 때마다 간략하게 기술함으로써 인공생
명 관련 기술이 발달한 사회에서 상향식 학습법의 시장수요가
확대될 수 없다는 전망을 지시

13.  토론 주제
 소설 속 Bottom-up 방식의 문제점은 무엇인가?
 블루 감마 회사의 결정과 애나의 결정에 대해 각
자 생각 얘기하기

14. 영화<바이센테니얼맨>(Bicentennial Man)(2009)의 주인공 로봇 앤드류는 학습을
통해 성장

15.  인간의 죽음에 대한 인식
 리처드의 죽음을 통해 인간은 늙고 병들고 결국 죽음에 이르게
된다는 사실을 인식

16. • “내가 사랑하는 사람들은 모두 떠나겠죠?”

17.  감각을 얻게 된 앤드류

18.  인간으로 인정받기 위해 자연스러운 죽음을 선택하는 앤드류

19.  토론 주제
 앤드류가 인간의 유한한 삶(죽음)을 받아들여가며
인간이 되고 싶었던 이유는 무엇인가?

20.  인정받기 위한 투쟁의 역사

21.  토론 주제
 불멸을 꿈꾸는 인간 vs.유한한 삶을 선택한 앤드류
 인간은 불멸을 원하는가?
 영원히 죽지 않는 삶은 행복할까?

22.  물리적(자연적) 존재로서의 인간
 존재론적 유한성
 유한성을 자각하는 유일한 동물

23.  인간, 죽음을 피할 수 없는 피조물
 인간은 죽을 수 밖에 없는 존재에 대한 자각

24.  죽음의 보편성
 피터 브뤼겔(Pieter Brueghel, 1525-1569)의 <죽음의 승리>(1562-1563)

25.  죽음을 대하는 태도 : 죽음을 인정
영혼유물론/두려움 없는 죽음
“죽음은 우리와 아무 상관이 없다.
우리가 존재하는 한 죽음은 거기
에 없으며, 죽음이 있을 때는 우
리가 더 이상 존재하지 않기 때문
이다. 그러므로 죽음을 두려워하
거나 해롭게 여길 필요가 없다＂
에피쿠로스(BC341~BC271)
소크라테스(BC470~BC399)
영혼불멸
“죽음은 존재하지 않음을 의
미하거나 꿈 없는 쾌적한 잠
과 같다. 영혼이 다른 장소로
옮겨가는 일종의 여행 과도
같다.＂

26. 불멸을 찾아 길을 떠난 길가메시
친구의 죽음 앞에서 절규하는 길가메시 (Gilgamesh )
<길가메시 서사시>. 쐐기문자로 쓰인 가장 오래된 서사시
* 길가메시 왕 : 기원전 3000년경 메소포타미아(수메르,
바빌로니아)의 도시 국가 우룩을 다스린 위대한 왕.
‘내 어찌 편히 쉴 수 있겠는가! …내 마음은 절망으로 가득 찼다. 내 형제는 지금 어디에 있는가? 내가 죽는
날, 나도 또한 그럴 수밖에 없지 않겠는가? 죽음이 두렵다.’
‘길가메시? 네가 찾고 있는 끝없이 무한히 계속되는 삶을 너는 결코 찾을 수 없으리라! 신은 인간을 창조하
면서 죽음도 함께 내렸다. 불멸은 오직 신에게만 허용될 뿐이다. 그러니 너는 배나 채워라, 그리고 즐겁게 살
아라…춤을 추고 즐겨라…너의 아기를 다정하게 바라보라, 너의 아내에게 행복을 선사하라, 그것만이 인간에
게 허용된 길이다!’
영생의 꿈을 찾아서

27. 오르페우스와 에우리디케

28.  영생의 꿈을 찾아서
고대 이집트 미라, 영혼 불멸 진시황의 불로초

29.  다시 한번 불멸을 꿈꾸며…
 인체냉동보존술(Cryonics)
 이집트 미라의 현대판 ‘냉동인간’
 냉동→해동→소생?
 로버트 에틴거(Robert Ettinger)
 인체 냉동 보존술을 최초로 이론적으
로 정립한 미국 물리학자
 디 트 로 이 트 에 냉 동 보 존 연 구 소
(Cryonics Institute)(1976)를 설립
 환자 160명(에틴거 포함)과 반려동물
100마리 이상이 냉동 보존
 가입자는 2000명에 다름

30. 새벽의 여신 오로라(에오스)의 사랑을
받아 불사의 몸이 된 트로이의 왕자
티토노스
<티토노스의 곁을 떠나는 에오스>, 루
이 장 프랑수아 라그레네, 18세기
• 조너선 스위프트(Jonathan Swift)의 소설 『걸
리버 여행기』(1726)
• 육체는 계속해서 늙어가지만 절대 죽지
않는 영생을 끔찍한 형벌로 묘사
영생은 영원한 행복인가? 형벌인가?

31. 영화 <뱀파이어와의 인터뷰>
영원한 젊음을 간직하게 된 뱀파
이어는 성장할 기회를 박탈당한
자신의 불노장생을 저주, 언제가
죽게되는 인간을 욕망

32. 아르놀트 뵈클린 (Arnold Böcklin, 1827–1901)의 <오디세우스와 칼립소>

33.  생명공학의 발전, 센터내리언(Centenarian) 시대
인간 수명 500년 프로젝트

34.  기술은 인간의 생물학적 한계를 근본적으로 변화, 향상, 강화
 NBIC(나노(NT), 바이오(BT), 정보통신기술(ICT), 인지과학(CS))를 중심으로
한 융복합 기술
 인공지능, 로봇 공학, 만물인터넷(IoE) 등
 인간 ‘내부’를 향한 기술

35. 레이 커즈와일 (Ray Kurzweil)
닉 보스트롬(Nick Bostrom)
케빈 워릭 (Kevin Warwick)
프 랜 시 스 후 쿠 야 마 (Francis
Fukuyama)
VS
쟁점 1
인간의 노화, 질
병, 죽음은 극복
의 대상일 뿐 !
양극화, 인류
의 재앙

36. 황폐해져 버린 지구 vs 가난, 전쟁, 질병이 없는 유토피아 엘리시움
빈부격차에 따른 생명 연장과 질병치료의 문제
상위 1%의 선택 받은 자들만이 누릴 수 있는 인류 최고
의 유토피아, 그 유토피아의 키는 ‘의료 복지’다.
엘리시움의 시민이 누리는 것 중에 가장 핵심적인 것은
모든 것을 치료하는 의료기기를 이용할 수 있는 자격이
다. 지구 빈민촌의 시민은 제대로 의료서비스를 받지 못
하고 허무하고 비참하게 생명을 잃어간다.

37.  죽음, 기계의 인간다움의 조건
 영화 <2001 스페이스 오디세이>(1968)의 주인공 인공지능 컴퓨터 ‘할
9000(Hal9000)’
스스로 생각하는 컴퓨터‘할’과 우주선의
인간 승무원들 사이에서 벌어지는 긴장
과 싸움

38.  모순에 대한 자각
 ‘할’은 승무원의 생명을 지켜줄 책임과 목성 탐사
프로젝트의 목적을 승무원들에게 비밀로 해둘 책
임을 갖고 있음
 승무원들이 프로젝트에 도움이 되지 못한다면 그
들의 생명을 지켜줄 필요성을 없다고 생각, 승무
원들을 죽임
 존재의 유한성에 대한 자각
 데이브는 할의 기능을 정지
 할의 기억을 지워 버림
 “데이브, 멈춰요, 멈추세요…죽음이 두려워요,
죽음이 두려워요…내 마음이 사라지고 있어요.
느낄 수 있어요. 너무나 분명하게 느껴져요.”
 할은 죽기직전 비밀(탐사 프로젝트의 목적)을 데
이브에게 공개
 프로젝트를 완수할 수 있는 유일한 인간 데이
빗에게 모두 일임
 자신의 한정된 몫을 받아들이고 타자에게 남겨
진 몫을 인정하기

39.  토론 주제
 인간 수준의 지능과 사고능력을 가진 인공지능(강인공지능)
을 개발해야 한다는 의견과 인간에게 위협이 되지 않는 단
순한 업무를 수행하는 인공지능(약인공지능)에 만족해야 한
다는 의견이 맞서고 있다. 여러분들의 생각은 어떠한가?