다른 회사는 어떻게 QA, 테스팅을 하고 있을까? (google, facebook, atlassian)

1. 다른 회사는 어떻게 0^/1- 슨5±둠"9을 하고 있을까? (('흩009|슨,꿰=홉0슨늄00|〈'^′〔|358줌곱|1) 우리 회사에서의 0〈와 테스팅은 어뜨 모습이어아 하는지를 고민하면서, 도대체 다른 회사는 어떻게 테스팅욜 하고 있을까에 대한 조사룰 하면 도움일 될 것 같았다- 그래서 6009|슨, 휴크06늄00|〈, 〈±|888둠8:의 사례룰 찾아 간략하 게정리해본다. 1- 숱009|슨 글은 소프트워 룰 떵거 터스티듐 는7 책으| 서문과 1장에 해당하는 내용중 일부를 정리한 내 용이다- 숱009|6의 '|'68줌슨『 구글의 고참 디렉터이며, 테스팅 겨l엘으l 최상급자인 큐8±:0 00므6|크찌는 책으| 서문에서 이렇게 말하고 이다. 구글은 전산학과코딩 기술을 존중한다 테스터가그쿨렵에 동참하려묘 훌륭한 전산지식과절 묘한 코딩 기술을 갖추어야한대 우리나라에서 테스터로 업무룰 시작한 사람들에게 패트릭이 말한 훌륭한 전산 지삭과 절묘한 코딩지삭욜 갖추라는 조언은 숙응은 되지만, 쉽게 그목적을 달성해내기는 쉽지 않다. 대부분으 테스팅의 업무란, 사용자에게 최상의 경 혐을 주기위해, 앞서 경혐을 해주는 대리자의 입장이 많았기 때문인 것 같다. 경혐을 미리 해주는 테스터에게는엄 청난 전산 지식도, 절묘한 코딩 스칼0| 필요한 것은 아니기 때문이다- 릭0| 주는 첫 버째 조언은 "끈//스/드/으 수른 말이 두지 플*므/셀'는 것이다- 래리 끄1|0|지(뇨요『대 뷰크엄아도 "부족함이 든 아웃소싱 리소스 투입을 통해서 대체 경혐자의 투입으 수룰 늘려, 배포 전에 0|슈룰 최 대백 낳아 잡아내려는 시도는 어쩌면 명석하지 않은 솔루션일지도 모르겠다. 구그에서 테스터의 일은 다른 엔지니어들이 하지 않는 더 좋은 테스트를 하는 사람이다~ 테스터의 실제 업무는 생산 것을 예방하는 활동이다- 구글에서는 개말자7 자 전문 테스터 샨으로도 테스팅욜 해낼 수 있다고 한다- 품짙 활동 있

2. ː"5 찌확빴뻔 ` ː좆호땐솜줌 [-′ll1[ ː ` l 「!-드뚝[`흩 괌닷드 줌 벤스 7 1~((7 ;~l1〈1ː 7[(-]틀흔 ː 씨드 철도 、룸 씨훑 싸훑빼룻 °ll`넌' 밖콕스등 줌 우편 ?;' 갭다 ` 빼 췌송젼뻗 50:쥴 지금은 구글이| 있지 않지만, 이 책으| 저자 중 한 명인 제임스 휘태커(」딥m68 꿰늄좆난덥났슨다는 0|랗거| 요급하고 있다- 0〈부서나 테스팅부서가 따로 고는 것이 주는 가장 큰 맹점이자 악효과가 바로 이것이라고 생각된다- 개말자는 개 발을, 테스터는 테스트룰 하는 으로 부리하는 수칸에 많은 무제가 밤생한대 칸닦한 테스트로 수처하고 고쳐짙 수 。l는 닙분이, 여런 단계와 컴포뇨트 미 l스템으l 통합을 거쳐 테스터가설정한 테스트 케이스룰 는 셈 ^^ -l- 생도|고 이로 인하 재차어이 비용과시가의 손실은 너무나도 크다. l- -|느【쫙 쉴 썰 0 인 개발자가품짙을 책임진다는 말, 개발과 테스트룰 분 이장에서는썰늄 860빼빼와도 연관도|어있는 무서운 마이 수 았다~ 하지만 배포가 임박하여 수없이 쏟아지는 버그 고 7 줌닙 룰정신없이 리포팅하는 것이 테스팅을잘 하 끼 와 브 끼므 0 훅 폐 므 대 끼므 쩨 흠 뿌 프 l〉 썰 떼0 팬오 케티 뮈 숑 닌 흠으 「|「 80틈8『슨 튼띤훌촉째슨솥뻬얍썼샨튼꿇 80틈8『슨 튼띤엄촉훼슨솥칸 m 1-슨8[(8튼-「), 1-슨8〔 드:9촉:슨6『(1~드) 구글은 8`/`/드, 8드†, †드로 역할이 구분도|어 있다- 간략히 살펴보면 다음과같다- ° 8`/`/드는 개말곳삐다- †8[」|±-〔0|6『크:± 설계, †|그[), 나매 테스트룰 수행한다. 0 8드†는 †68[크놉:빼 및 범용 테스트 인프라에 중점을 두며밴 끈//스트 기능을 게말듭/는 7//붙*ː/0|다. 각 기능의 품 절어| 초점을 두고 개발자의 테스트룰 돕는다~ 모든 단계에서 테스트룰 가능케 하는 사람들로 100% 코딩을 하는 역햐이며, 기능 코드 작성울 하는 훌륭한 테스터이다- ° †드는 반은 사용자 입장 바은 개발자 입장에서 테스트한다. 엔지니어이며, 사용자인 개말폈봅이다- 개발자가존 기술과 개발자가 알아야하는 사용자 측묘의 관심영역을 조합한 직책이다- 제품전문가, 품질 조언자, -l 춘씁 -l 혀 한제랍에 대해 테스터는 약 18개월 정도 일하며, 원하면 아무 문제 없이 다르 티0로 옮갈 수 있다- 이랗게 독립 중 넉흐후 조치 측면에서 보면 깔생산성혀신팀뻘의 이룸으로 독립도|어 있지만, 전략적으로 테스터는 상품화팀에 넌:궂|(줌꼼다)된다. 아 조차으로 하다되는 방식을 통해 주은 아이디어와 모범 사례들이 퍼져나가게 한다-

3. 구글에서는 흔히 구분하는 코드 테스트 통합 테스드 시스템 테스트로 구분하는 대신 범우|룰 강조하는 방삭으로 테 에 소형 테스트는 코드가제대로 잘동하는지 확인 뭇다- 8`/`/드에 의해 대부분 테스트는 자동화된다깨꿋한 코드, 잘 으|된 인터페이스가팔요하다- 에러간 독랍성을 보장하면서 테스트가가능하다하지만 서브시스템을 m00}〈으로 만 들기가 어려우며, m00l〈/1줌크l〈6가 실제와 다룰 수 있다는 단점은 있다- 「 0보 중형 테스트는 이웃하는 기능(2-3개 정도의 인터렉션이 발생큼}는)이 제대로 기능하는지룰 확인한다~ 대형 테스트에 비해 자주 쉽게 수행7}능하지만, 오l부으l존성으로 닌|결정적일 수 있다- 주로 오|부 시스템의 힐동욜 설명한다 대형 테스트는 3개 이상의 기능의 인터 냐션으로 구성되며, 사용자 시나리오룰 중심으로 화인한대궁극적으로 중요 한 내용의 테스트이지만, 오l부으존성으로 인해 |결정적일 가능성도 가장 높다- 테스트 실패의 원인을 찾기 어렵고 닌 데이터 설정에도 시간이 소요도|어 |실용적일 수 있다- 0|랗거| 테스트 용어룰 구분한 것은 별도의 개넘을 만들기 위함은 아니다- 구글 테스터가테스트하고자 하는 대상과 테스트 범위에 대해 통으| 용어룰 꿍동/수동 테스트룰 호하하여 이 세가지 크기의 테스트 l-l 줌츠닙 에 적용하며, 자동화 。l고 사람의 지식과직관을 팔요로 하지 않는 문제라묘 반드시 곳빤동호괌한다- 코딩 프로세스 삐끼 틈 쏟 줌 조사한 회사 모두 코드 리뷰룰 하고 있으며, 코드 리뷰 시스템에는 기능에 대한 코드 뿐 아니라 해당 코드에 대한 테 스트도 함께 포함된다는 것이다~ 아래 간략히 그린 그림처럼 코드 리뷰시에 변경 코드와 해당 코드에 대한 테스트룰 포함한다.

4. @ 리뷰 내용에 스 : * ′ ′ 대한 작업 그 ′ 빼 3 렉 `1. 、` 훅 3 ` 0 즌뇨 ((:크:9슨 나베 작성ː 기눔코트*데뜨 코트 @몬드리안: 흥꿈돋튤띈 검사 샨떠띵애뻬흥 - (0(1m9 혔논 검사 ~기존!슨${수행 - 근 부 - @ (뇨 리뷰 푸 쟈 힐-줌뇨 l-l-l- 푸 _ _ 꾹휙 뛰뇨렉얘 흥흥-꺅싫-줌 주그내역 작성 융 『」「「 ° ′쪽 `〕 흉멱 쿰렉 훈컹 @ 야 링크 포함 〔/-"" @( 테스트 개선 뮤8밖0 00므6|크:신는 테스트 인증 프로그램이라는 방식을 사용하여 각 조직으| 테스트 스칼과성숙도룰 높여갔다고 한다- 첵 1단계 ː 준비가되 기보상태. l 2단겨| : 정책 세워지고 점진적 커버리지 개선이 이루어 지- ° 3단계:새로작성된+드 빡 4단계 : 레거시 코드으 ° 5단계 : 전체 커버리곳 리긔토링오로 테스트 수힐력 올림- 올려나가고, 모〓 켜하에 대하 테스트룰 작성하며 저저/동저 테스트 툴을 사용하- :끈: 」 -l l0-l :l 나에게 던지는 절문들 이룰정리하면서 나에게 던지는 절문을 정리 :본다. 0ll 을어떻게 기률수 있나? 지금이라도 코딩능력을 7쪄야가는 것일까? ° 6 재 개발조직의 테스트는 어떠한가? 0 예방활동으로 하는 것이 있나? l 현재의 업무 배정이 적절한 것인가? (헌재는 독립된 조직으로 남아테스팅을 해준다는 느낌이 여전히 강하 다~) l 대부분 우리가하는 테스트는 글으| 테스트 。형으로 보면 대형테스트인데, 외부 의존성으로 인하 비결정적

5. 문저|롤 어떻게 해결 할 수 있 걸까? 0 자동화는 옵션이 아니라 팔수이다- 이롤우해 어떤 전략 가져가아할까? 0 버그는 쉽게 등록되어0똥듐†고, 모두가볼수 있게 해야하는테- 우리는 어떠한가? 0 유지관리모드 테스트도 팔요하다- 이는 검출의 목적이 빤니라품잘 모니터링의 관점- 이 부분에 자동화롤 엮 (그 0 면 좋다- 이런 유형의 자동화가각서비스의 핵심 품절을 고려하여 수행되고있는가? 테 폐0 - 퓨806늄00×의 0/쉬에 대한 내용은므나이딥에 {크06뇨〉00|〈욜 재직했던 엔지니이가 답변을 적은 것을 정리했 다- 2-3년 전의 내용이며, 헌재 휴806늄00×의 0^설+황과는 다를수 있지만 충분히 참고할만한것 같다- |〓86솥늄00|(의 0^ 별도로 독립된 0〈 †63m은 없다~ 。†슨8± 6:9둠:슨슨『둠:9 ±68m~0| 있었으나 이 팀은 †68± 둠:줍『딥8±『:0±:『슨롤 구측 하고 유지보수 하는 업무이다~ 앞서 살펴본 회사들과 마찬가지로 개발곳꿍들이 직접 테스트롤 작성하고 실형 믹 유지 보수롤 원들 한다~ 개인 또는 팀0| 하는 테스트보다도그푸딩(신09-똥00신촉매〉을 한다- 출시 전에 일주일 정도는 임직 이 미리 변경을 경힐하고 버그롤 올릴 수 있으며, 수동 테스트 보다 자동화 테스트롤 한다~ 또하 릴끈즈2 |그 l근l 반영하여' 이에 대한 버그도 리포트 받고 있으며' 퍼0 스닙 버드터스 m 디- 및 m 영하고 있다- 실제로, 휴딥06늠00× 재용 샤0 트롤 살펴봐도 (크009|슨과는 달리 †68± 및 0〈 엔지니이가 별도로 나외있지 않은 것 욜보면, 현재도 0〈나 테스팅 엔지니어로 구분된 역할은 휴크06뇨>00×에 없는것 카다. 휴딥0슨뇨>00늄의 테스트는 다음과 같은 유형으로 정리된다- 0 뷰난뷰 코드 테스트 0 브라우져 기반 테스트 0 비기반 테스트 (8듐[6 늄슨늄훤씨야 테스트 0 냐애숀그슘에이 테스트 0 백본 테스트 뷰남뷰 코드 테스트는 뷰남큐닌쩨 테스트 프레임워크롤 사용하여 수행한다- 코드 버|0|스이| 대해서 니쩨테스트는상 시 수행한다- 코드 커버리지 데이터는 수행해야힐 테스트롤 파악하기 위해 사용되며, 테스트결과는 코드리뷰 툴어| 포함된다.코드 리뷰 툴에는 변경 대상인 뷰닌뷰 또는 신크〉880:펩±뿐 아니라이에 대한 테스트 결과도 포함도|어 았다~ 닙 。 스 는썰프레임워크롤 이용한다- 여기서는 개인정보 부분에 중점을 두고 테스트한대예룰 들 이, ~×가어떤항목〉롤작성힐경우,2에서보여져얘흑은안보여져얘한다촛와같은시나리외-이와같은부분은 좋크06뇨>00×에서 매우 중요한 부분(0『듐±둠0크|{80±0『)이기에, 뷰닌큐 코드 테스트에도 포함도l어 었지만 중복으로 테스 트롤 수행한다- 네기반 테스트는 내 흐룸에 의한 테스트로, 뾰젼밝로 자동화되어있다- 조금 더 초l신으l 글 보면 8둠±6 늄슨늄띈싸야 테 틈

6. 스트도 소개되고 있는데 이는 쩨슴눕신빼밟롤 이용하여 자동화롤 만 것과 같게 시 는줌리오튤 구성좁흥고, 비동기적(크8》|']0「0:0니8) 테스트를 만돋드뇨 냐크`/크80「돋[)〔 테스트는 '58 90욜 이용좁흥0쇄 테스트 한다 8±80뇽8랍1얇6에 공유된 것을 보면 현재는 〕88[그60이 아닌 `〕68±롤 사용하는 것 같다 틈 오 숑 썰 얕 므 후 틈 썼 훅 후 틈 와 대 백본 테스트는 서비스에 따라 다양한 테스트 프레임우 크롤 사용한다 80081 테스트 크래스' 나니쩨 및 자체 0++로 놓 트 레임워크롤 사용한다- 이와 빌드시스템에 통함되어 있어 지속적으로 테스트가수힐된다 테그 l'』」_ 멘 프 l 씁 l 디 이러게 (그〈/† 681 드『19토『166「롤 두지 않고 서비스롤 배포 운영힐 수 있는 데에는 무책임하게 사이트에 변경을 반영 것을 매우 부끄립게 여기는 문화가중요한 역할욜 한다고 한다 나쁜 코드에 0l0『l±0》〉: 태그롤 붙여두어 개 발자들이 실수롤 반복하지 않도록 하기도 한대함괴- 로한 견고한 너따프로세스가있다 솥마호-듭슘숯빤얀째 알려진 성느 칼 러 씁 모든 변경이 나대를 거친다 성능 지표롤 얻는 프레임워크롤 통해 성능 이슈롤 말러내고 있다- 이뤄진다 휴크66뇨>00|〈이|서는 테스트 속도롤 놀게 높일수 있욜폈 , 중요효 부분에 대해 테스트하도록 테스트 대상 을어떻게 선정할지, 의사결정에 도움욜 주기위해 테스트결과롤 어떻게 통함함지롤 고민하면서 겨|속적으로 테스팅 프로세스롤 개선해 나간다 테스트 포로세스의 튜닝은 엔지니어으 효율을 극대화하며, 테스트의 수행을 기다리는 시간을 최소화하는 바햐으로 줌 l 나에게 던지는 질문 0 사내 베타 테스트롤 위해, 전체 서비스가통함된 베타 환경0| 있어야등는 건 아닌가? 0 이제 코드리뷰가팔수 문화가되어갈텐데 우리도 변경 코드 뿐아니라테스트도 함께 포함되도록 해야하는 건 아닐끼? 참조 0 :〔〔므://`/`/~므:0「크~00m/{-|0`/`/-궂8-80〕。[`/`/8「6-[68:「]9-(그|0「]8-딘[-흠딘06[)00}〈 0 닙납혔게밖/째빼-다니0「젼~00m/l온규댈-뺨니슨펫넌든1′[-흠든106[)00|〈-:88-:0-′[68†6「5 0 늄빤펩끼/쩨쩨쩨-디니0「딘-00m///†161°[-}〈돋「1(헷-0줌-딘니′[0[†13′[6(겟-′[68:m9-(1098-l〓806[)00}〈-(〕0 3- ^줌|홉$5줌몹|1 갔 맨 } . 줌 。) 〈〔|크88둠크: 블로그의 0〈 시리즈 포스트롤 요약하여 정리한다 ^′〔|388돋8:의 0^ 〈±|듐88듣크:의 테스팅 및 0〈의 목표는 "높은 품절의 소프트웨이들 빠르게 배포하 대 것"이다 인력구성은 다음과같다 0 개발 및 †6듐m 뇨슨슘신 (78〉 0 제품 관리자 (흙)『0(그|[」0〔 빼배단암배 (10) 0 :×(배 디자이너 (6)

7. 0 `|-60: 째섀어떼 0 0〈 엔지니어(6) 0〈는 역할은 테스터가아니며, 실제 수동데스트롤 포함한 모든 테스트는 개말자가수행한다- 〈〔|888촉크:의 대표 제 품인 ~ll 〈에 대한 0〈 프로세스는 아래와 같다 야뻬에어 짬슨튼샨뮈므 ` 0틈^[)8'》'6|0【그6〔 ′ ` 08m。 흥꽈08〔~[〕9"'9|0【그「†1슨[11 {꽈〔6°[〕9)9|0【]:1믄[1{ l 1'단5[[[19 :0[68 ` 1'65{m9 샵0〔85 뮈된뎌마떠므 흠쓴용더뻔된훈났 / 0〈는 각 단계에서 피드백을 주는 데, [)6m0 단게에서는 실제 코드 레벨까지 보면서 l]|팅을 수행하기도 한다 06m0 이후 단계인 '개발자 테스트'는 옵션이다- 내가속한 현실에서는 보통 앞 단계의 피드 | 1 백은 주곳 못한 채, 오 픈전 테스트는 팔수로 하고 있는데 이트 방식은 조금 충격적이다- 테스팅욜 하는 (그〈 엔지니어가 테스트 안해도된 다는 판단을 내려주는 것이다 이는 단순한 판단이 아닌 전문가적인 판단이 필요한 영역이다- 0〈 엔지니어는 테스 팅 의사 결정을 내리는데에 도움욜줄수 있는 역량욜 가지고 있어야하는데, 〈±|크88듣크:에서는 아래와 같이 정리히 고 았다~ 0 코딩 지식 0 테스팅 스킬 0 제품지식 0 버그 히스토리에 대한 지식 이럴게 하는 이유는 최대한 빠른 릴리즈롤 지원하 l 위해 버그로 인한 재작업을 랍 0〈 엔지니어는 시니어 기술 스킬욜 갖고 있는 전문가로, 시니어 개발자에게 조언(훤신〉둠06)롤 함수 있는 수준이어 야 한다 때문에 시삼슘담슐둠쩨에는 주니어 0〈 엔 |니어가 없다- 커 구글과마찬가지로 0〈와 테스팅의 목표느 결하찾기가아니라예방에 초점을 맞추며, 화이트박스 테스트와 테스트 으- 숱 1 의사결정에 중점을 문다- 결함 분서 함때에도 기존의 버그 끄딥롤 뒤지면^ 분석한다 조직의 측던을 보면, 새렬송삶쩨은 저l품이l 따라 서브팀이 있을 뿐, 적무어| 따른 서브팀은 없다 모든 0/쉬는 실제로