신뢰도 높은 실험을 설계하는 가이드를 제공한다. 특히 각각 과정이 더욱 정확하게 측정가능한 온라인을 대상으로 한다. 구글, 링크드인과 마이크로소프트의 빅테크 기업에서 전 세계인을 대상으로 실행해온 수많은 실험의 노하우를 책에 담았다. 전반부는 온라인 실험에 대한 이론적인 내용을 담고 있으며, 후반부는 이를 실제로 적용할 때 발생할 수 있는 다양한 상황을 다루는 법을 알려준다.
웹 페이지나 앱 외에도 온라인상에서 수행하는 다양한 실험에 대한 조언을 담고 있다. 최근 관심을 받고 있는 메타버스는 높은 자유도를 지녔으며 현실과 매우 유사한 디지털화 된 세계다. 디지털화된 세계에서는 모든 것을 측정할 수 있기 때문에 이를 운영하는 플랫폼은 더욱 다양한 온라인 실험을 수행하고 결과를 활용할 수 있다. 이런 점에서 온라인 웹사이트를 기획하는 기획자, PO, 데이터 과학자뿐만 아니라 온라인 서비스를 운영하고자 하는 회사 대표나 투자자도 이 책을 통해 미래를 대비할 수 있을 것이다.
Contents
1부. 모두를 위한 입문 주제
1장. 소개와 동기
2장. 실험의 실행과 분석-엔드-투-엔드 예제
3장. 트위먼의 법칙과 실험의 신뢰도
4장. 실험 플랫폼과 문화
2부 모두를 위해 선택된 주제
5장. 속도의 중요성: 엔드-투-엔드 사례 연구
6장. 조직 운영을 위한 지표
7장. 실험을 위한 지표와 종합 평가 기준
8장. 제도적 기억과 메타 분석
9장. 종합 대조 실험의 윤리
3부 종합 대조 실험에 대한 보완 및 대체 기법들
10장. 보완 기법들
11장. 관측 인과 연구
4부 실험 플랫폼 구축을 위한 고급 주제
12장. 클라이언트 측 실험
13장. 계측
14장. 무작위 단위 선택
15장. 실험 노출 증가시키기: 속도, 품질 및 위험의 트레이드오프
16장. 실험 분석 확장
5부 실험 분석을 위한 고급 주제
17장. 온라인 종합 대조 실험에 사용되는 통계 이론
18장. 분산 추정 및 민감도 개선: 함정 및 해결책
19장. A/A 테스트
20장. 민감도 향상을 위한 트리거링
21장. 샘플 비율 불일치 및 기타 신뢰 관련 가드레일 지표
22장. 실험 간의 누출 및 간섭
23장. 장기 실험효과 측정
Author
론 코하비,다이앤 탕,야 쉬,이기홍,김기영
에어비앤비의 상무 이사이자 기술 펠로우이다. 이 책은 마이크로소프트의 기술 펠로우이자 본사 상무 이사로 있을 때 쓴 것으로, 그 이전에는 아마존의 데이터 마이닝 및 개인화 책임자였다. 스탠포드 대학교에서 컴퓨터 과학 박사 학위를 받았다. 그의 논문은 40,000개 이상의 인용됐으며, 그중 3개가 컴퓨터 과학에서 가장 많이 인용된 상위 1,000개의 논문에 속한다.
에어비앤비의 상무 이사이자 기술 펠로우이다. 이 책은 마이크로소프트의 기술 펠로우이자 본사 상무 이사로 있을 때 쓴 것으로, 그 이전에는 아마존의 데이터 마이닝 및 개인화 책임자였다. 스탠포드 대학교에서 컴퓨터 과학 박사 학위를 받았다. 그의 논문은 40,000개 이상의 인용됐으며, 그중 3개가 컴퓨터 과학에서 가장 많이 인용된 상위 1,000개의 논문에 속한다.