그림으로 배우는 딥러닝

1부. 기본 개념

1장. 머신러닝 개요
전문가 시스템
지도학습
비지도학습
강화학습
딥러닝
요약

2장. 필수 통계
무작위성 설명
확률 변수와 확률 분포
몇 가지 일반적인 분포
__연속 분포
__이산 분포
확률 변수의 집합
__기댓값
__의존성
__독립 항등 분포된 변수
추출과 복원
__복원 추출
__비복원 추출
부트스트랩
공분산과 상관관계
__공분산
__상관관계
통계가 모든 것을 말해주지는 않는다
고차원 공간
요약

3장. 성능 측정
확률의 여러 유형
__다트 던지기
__단순 확률
__조건부 확률
__결합 확률
__주변 확률
정확도 측정
__샘플 분류
__혼동 행렬
__잘못된 예측값 특성화
__옳고 그름의 측정
__정확도
__정밀도
__재현율
__정밀도-재현율 트레이드오프
__오해의 소지가 있는 측정지표
__f1 점수
__용어
__기타 측정지표
혼동 행렬을 올바르게 구성하기
요약

4장. 베이즈 규칙
빈도주의와 베이지안 확률
__빈도주의적 접근
__베이지안 접근법
__빈도주의자 대 베이지안 주의자
빈도주의자의 동전 던지기
베이지안의 동전 던지기
__동기 부여 예제
__동전 확률 그리기
__동전 던지기를 확률로 표현하기
__베이즈 규칙
__베이즈 규칙에 대한 논의
베이즈 규칙과 혼동 행렬
베이즈 규칙 반복
__사후 확률-사전 확률 루프
__베이즈 루프 실습
다중 가설
요약

5장. 곡선과 표면
함수의 본질
미분
__최댓값과 최솟값
__접선
__미분으로 최솟값과 최댓값 찾기
그래디언트
__물, 중력, 그래디언트
__경사도로 최댓값과 최솟값 찾기
__안장점
요약

6장. 정보 이론
놀라움과 맥락
__놀라움 이해
__맥락 풀기
정보 측정
적응형 코드
__모스 말하기
__모스 부호 커스터마이징
엔트로피
교차 엔트로피
__두 개의 적응형 코드
__코드 사용
__실전에서의 교차 엔트로피
쿨백-라이블러 발산
요약

2부. 머신러닝 기초

7장. 분류
이진 분류
2D 다중 클래스 분류
다중 클래스 분류
__하나 대 나머지
__하나 대 하나
클러스터링
차원의 저주
__차원과 밀도
__고차원의 기이함
요약

8장. 훈련과 테스팅
훈련
성능 테스트
__테스트 데이터
__검증 데이터
교차 검증
k-폴드 교차 검증
요약

9장. 과적합과 과소적합
좋은 적합 찾기
__과적합
__과소적합
과적합의 탐지와 해결
__얼리스토핑
__일반화
편향과 분산
__기저 데이터에 일치시키기
__높은 편향, 낮은 분산
__낮은 편향, 높은 분산
__곡선 비교
베이즈 규칙으로 선 적합하기
요약

10장. 데이터 준비
기본 데이터 정제
일관성의 중요성
데이터 유형
원핫 인코딩
정규화와 표준화
__정규화
__표준화
__변환 기억하기
변환 유형
__슬라이스 처리
__샘플별 처리
__피처별 처리
__요소별 처리
역변환
교차 검증의 정보 유출
데이터 세트 축소
__피처 선택
__차원 축소
주성분 분석
__단순 이미지를 위한 PCA
__실제 이미지에 대한 PCA
요약

11장. 분류기
분류기의 유형
k-최근접 이웃
의사결정 트리
__트리 소개
__의사결정 트리 사용
__과적합 트리
__노드 분할
서포트 벡터 머신
__기본 알고리듬
__SVM 커널 트릭
나이브 베이즈
분류기 비교
요약

12장. 앙상블
투표
의사결정 트리의 앙상블
__배깅
__랜덤 포레스트
__엑스트라 트리
부스팅
요약

3부. 딥러닝 기본

13장. 신경망
실제 뉴런
인공 뉴런
__퍼셉트론
__현대 인공 뉴런
뉴런 그리기
피드포워드 네트워크
신경망 그래프
가중치 초기화
딥 네트워크
완전 연결 레이어
텐서
네트워크 붕괴 방지
활성화 함수
__직선 함수
__계단 함수
__구간 선형 함수
__매끄러운 함수
__활성화 함수 갤러리
__활성화 함수 비교
소프트맥스
요약

14장. 역전파
높은 수준에서의 훈련 개요
__오류 처벌하기
__학습을 위한 느린 방법
__경사 하강법
개요
작은 신경망에서의 역전파
__출력 뉴런의 델타 찾기
__가중치 변경을 위해 델타 사용
__다른 뉴런의 델타
더 큰 네트워크에서의 역전파
학습률
__이진 분류기 구축
__학습률 선택
__훨씬 더 작은 학습률
요약

15장. 옵티마이저
2D 곡선 오류
학습률 조정
__일정한 크기로 업데이트
__시간에 따라 학습률을 변화
__감쇠 스케줄
업데이트 전략
__배치 경사 하강법
__확률적 경사 하강법
__미니배치 경사 하강법
경사 하강법 변형
__모멘텀
__네스테로프 모멘텀
__Adagrad
__Adadelta와 RMSprop
__Adam
옵티마이저 선택
일반화
__드롭아웃
__배치 정규화
요약

4부. 기초를 넘어

16장. 컨볼루션 신경망
컨볼루션 소개
__노란색 탐지
__가중치 공유
__더 큰 필터
__필터와 피처
__패딩
다차원 컨볼루션
다중 필터
컨볼루션 레이어
__1D 컨볼루션
__1×1 컨볼루션
출력 크기 변경
__풀링
__스트라이드
__전치 컨볼루션
필터의 계층 구조
__가정 단순화
__안면 마스크 찾기
__눈, 코, 입 찾기
__필터 적용
요약

17장. 실제 컨볼루션 신경망
손 글씨 분류
VGG16
필터 시각화 1부
필터 시각화 2부
적대 사례
요약

18장. 오토인코더
인코딩 소개
__비손실 인코딩과 손실 인코딩
표현 혼합하기
가장 단순한 오토인코더
더 좋은 오토인코더
오토인코더 탐험
__잠재 변수 자세히 살펴보기
__파라미터 공간
__잠재 변수 혼합
__새로운 입력에 대한 예측
컨볼루셔널 오토인코더
__잠재 변수 혼합
__새로운 입력에 대해 예측
노이즈 제거
변분 오토인코더
__잠재 변수의 분포
__변분 인코더 구조
VAE 탐험
__MNIST 샘플로 작업
__두 잠재 변수로 작업
__새로운 입력 전달
요약

19장. 순환 신경망
언어 다루기
__일반적인 자연어 처리 작업
__텍스트를 숫자로 변환
__미세 조정과 다운스트림 네트워크
완전 연결 예측
__네트워크 테스트
__네트워크가 실패한 이유
순환 신경망
__스테이트 소개
__다이어그램 롤업
__실전에서의 순환 셀
__순환 신경망 훈련
__장단기 기억과 게이트 순환 신경망
순환 신경망 사용
__흑점 데이터로 작업
__텍스트 생성
__다양한 아키텍처
Seq2Seq
요약

20장. 어텐션과 트랜스포머
임베딩
__단어 임베딩
__ELMo
어텐션
__동기를 부여하는 비유
__셀프 어텐션
__Q/KV 어텐션
__멀티헤드 어텐션
__레이어 아이콘
트랜스포머
__스킵 커넥션
__놈-애드
__포지셔널 인코딩
__트랜스포머 결합
__실전에서의 트랜스포머
BERT와 GPT-2
__BERT
__GPT-2
__생성기 논의
__데이터 포이즈닝
요약

21장. 강화학습
기본 아이디어
새로운 게임 배우기
강화학습의 구조
__1단계: 에이전트가 행동을 선택
__2단계: 환경이 응답
__3단계: 에이전트가 자체 업데이트
__큰 그림으로 돌아가기
__보상 이해
플리퍼
L-러닝
__기초
__L-러닝 알고리듬
__알고리듬 테스트
__예측 불가능성 처리
Q-러닝
__Q-값과 업데이트
__Q-러닝 정책
__하나로 결합
__골치 아픈 문제
__Q-러닝 실습
SARSA
__알고리듬
__SARSA 실습
__Q-러닝과 SARSA 비교
큰 그림
요약

22장. 생성적 적대 신경망
지폐 위조
__경험에서 학습
__신경망으로 위조
__학습 과정
__왜 적대일까?
GAN 구현
__판별기
__생성기
__GAN 훈련
GAN 실습
__판별기와 생성기 구축
__네트워크 훈련
__네트워크 테스트
DCGAN
도전 과제
__큰 샘플 사용
__모드 붕괴
__생성한 데이터로 훈련
요약

23장. 창의적인 애플리케이션
딥 드리밍
__필터 자극
__딥 드리밍 실행
뉴럴 스타일 전이
__스타일 표현
__콘텐츠 표현
__스타일과 콘텐츠를 함께
__스타일 전이 실행
이 책을 더 만들어보기
요약