생성형 AI의 구조

옮긴이 머리말 ix
한국의 독자들에게 x
머리말 xi

CHAPTER 1 생성형 AI 1

생성형 AI란 무엇인가 1
지시와 조건에 따르는 생성 2
이전에는 생성하기 어려웠던 데이터를 생성 가능 3
규칙 기반에서 머신러닝으로 5
생성 작업은 특히 어려운 머신러닝 문제 7
데이터 생성은 광활한 바다에서 섬을 찾는 것과 같은 작업 9
광활하고 기묘한 고차원 공간 11
생성에는 올바른 출력이 하나만이 아님 13
다양체 가설: 저차원에 들어 있는 데이터 15
대칭성: 변환에 대한 불변성이 존재하는 데이터 18
구성성: 여러 부분의 조합으로 만들어지는 데이터 20
[COLUMN] 데이터가 가지는 특성은 사람이 제공하는 것인가, 아니면 스스로 학습하는 것인가? 21
요약 22

CHAPTER 2 생성형 AI의 역사 23

기억의 메커니즘 23
이징 모델에서 홉필드 네트워크로 24
에너지 기반 모델 28
자연스럽게 연상 기억을 실현하는 에너지 기반 모델 29
에너지와 확률의 상관관계: 볼츠만 분포 31
랑주뱅 몬테카를로 방법의 원리 32
에너지 기반 모델의 치명적인 문제 33
[COLUMN] 현실 세계는 거대한 시뮬레이터 34
공간 전체의 정보를 지배하는 분배함수 35
숨겨진 정보로부터 생성되는 데이터 37
생성을 위해서는 인식이 필요 38
변분 오토인코더(VAE) 40
잠재변수 모델의 문제 42
[COLUMN] 생성적 적대 신경망(GAN) 43
[COLUMN] 자기 회귀 모델 43
[COLUMN] 2024년 노벨상 44
요약 45

CHAPTER 3 플로를 사용하는 생성 47

플로란 47
연속방정식: 물질은 갑자기 사라지거나 워프하지 않음 49
플로를 사용하여 만드는 복잡한 확률분포 51
분배함수를 구할 필요가 없는 플로 기반 모델 53
정규화 플로와 연속 정규화 플로 55
플로를 따라 구한 가능도가 최대화되도록 학습 55
플로에 따라 데이터를 생성 57
복잡한 생성 문제를 간단한 부분 생성 문제로 분해하는 플로 58
플로 모델링 60
플로 결과 계산 62
정규화 플로의 과제 64
요약 65

CHAPTER 4 확산 모델과 플로 매칭 67

확산 모델의 발견 67
일반적인 확산 현상 68
[COLUMN] 브라운 운동 69
확산 모델이란 70
확산 과정이 만들어내는 플로 = 스코어 72
스코어와 에너지의 관계 73
시간과 함께 바뀌어가는 스코어 74
디노이징 스코어 매칭 76
시뮬레이션 프리 학습은 일부만을 대상으로 학습 가능 78
확산 모델에 의한 학습과 생성 요약 79
확산 모델에 의해 만들어지는 플로의 특징 79
확산 모델과 잠재변수 모델의 관계 80
데이터 생성의 계통 발생 트리를 자동으로 학습 81
확산 모델은 에너지 기반 모델 82
확산 모델은 플로를 사용하는 생성 모델 82
플로 매칭: 플로를 모아서 만드는 복잡한 플로 83
최적 운송 83
최적 운송을 사용하는 생성 85
최적 운송을 직접 구하는 것은 계산량이 너무 큼 85
플로 매칭의 학습 86
플로 매칭의 발전 88
조건부 생성은 조건부 플로로 실현 88
잠재 확산 모델: 원래 데이터를 잠재공간으로 변환하여 품질 개선 90
요약 91

CHAPTER 5 플로를 사용한 기술의 향후 전망 93

일반화의 수수께끼 해명 93
대칭성을 고려한 생성 95
어텐션 메커니즘과 플로 96
플로에 의한 수치 최적화 96
언어와 같은 이산 데이터 생성 97
뇌의 계산 메커니즘과의 접점 99
플로에 의한 생성의 미래 99

APPENDIX A 머신러닝 키워드 101

확률과 생성 모델 101
최대 가능도법 102
머신러닝 103
머신러닝의 메커니즘 104
매개변수 조정 = 학습 105
신경망 106
유한한 학습 데이터로부터 무한한 데이터에 적용할 수 있는 규칙을 얻는 일반화 106

APPENDIX B 참고 문헌 109

2장 110
3장 112
4장 112
5장 114

찾아보기 117