정치를 통해 세상을 바꿀 수 있다고 믿는 많은 사람과 달리 AI 연구를 통해 세상을 의미 있게 바꿀 수 있다고 믿는 사람들이 있습니다. GPT 같은 거대언어모델들은 단지 확률로 작동하는 앵무새일 뿐이라는 지적도 있습니다. 일관성이 있는 듯한 환상을 일으켜 나름 유용한 답변을 내긴 하지만 실제로 아무것도 이해하지 못하고 있는 존재이기도 합니다. 알트만은 맨해튼 프로젝트의 리더인 로버트 오펜하이머(Robert Oppenheimer) 말을 인용하여 “기술은 가능하기 때문에 발생합니다.”
빅 테크 기업 사이에 AI 전쟁이 시작하였고, 과연 이 전쟁의 승자는 누가 될 것인가라는 물음표를 던질 수 있습니다. 2023년은 AI 전쟁의 원년이라는 표현을 사용합니다. 마이크로소프트는 빙을 내세워 검색 분야에서 구글을 누르고 이제 2등은 없다.라는 목표로 승부수를 띄웠습니다. 구글은 검색 엔진 시장 1등을 사수하고자 합니다. ChatGPT와 구글의 태생적 경영철학은 배반적 모습을 가지므로, 가장 큰 위험에 직면할 수 있는 기업입니다. ChatGPT가 가져올 검색 엔진의 미래로 구글은 가장 큰 위기에 직면해 있음을 인지하고 있습니다. 마이크로소프트가 ChatGPT로 도전장을 내밀고 예전의 영광을 가지고자 합니다.
산업과 시장의 지각변동을 일으킬 파괴적 혁신의 리셋 모먼트에 ChatGPT가 존재하고 있습니다. 교육 분야에서 초개인 맞춤형 교육의 대중화가 발생합니다. 광고와 마케팅 분야에 이제 AI는 업계의 필수 도구로 자리잡고 있습니다. 콘텐츠 분야에서 완전히 바뀐 창작의 방식을 보여줍니다. 미디어 분야에서 사용자 제작 콘텐츠에서 AI 제작 콘텐츠로 변혁이 발생할 것입니다. 디자인 분야에서 몇 초 만에 완성되는 콘셉트 디자인 개념과, IT 분야에서 인사이트를 가진 개발자가 생존합니다.
Contents
Preface 16
I. OverView 20
1. GPT-3: ChatGPT 20
1.1. Watson: ChatGPT 20
1.2. 구글검색: ChatGPT 22
1.3. GPT-3 애플리케이션 22
1.4. ChatGPT: 울프람|알파 23
1.5. GPT-3 리뷰 24
1.6. GPT-3 비판 26
1.7. ChatGPT의 발전 27
1.8. ChatGPT: 긍정적인 평가 31
1.9. ChatGPT: 부정적인 평가 33
2. OpenAI 개발자: Altman & Brockman 39
2.1. OpneAI 성공 39
2.2. OpenAI와 Sam Altman 40
2.3. Musk, Altman, & Brockman 41
2.4. Sutskever, Schulman, & Zaremba 44
3. 생성형 AI 위협과 기후변화 48
3.1. 오픈소스 낙관론 48
3.2. 생성형 AI: 클라우드 컴퓨팅 운영 49
3.3. ChatGPT: AI 특이점 51
3.4. ChatGPT: 파악 프로세스 단축 52
3.6. ChatGPT: 개발 시간 단축 53
3.7. ChatGPT: 양자 컴퓨팅 54
3.8. ChatGPT: 블록체인 가상화폐 55
II. 심층강화학습 57
1. OverView 57
1.1. 심층 강화학습 소개 57
1.2. 심층 강화학습 핵심 개념 58
1.3. 강화학습의 기본 구조 60
1.5. 딥 강화학습의 컨볼루션 개념 61
2. 딥러닝과 강화학습 64
2.1. 퍼지 논리학(Fuzzy logic) 64
2.2 지도, 비지도 및 강화학습 65
2.3. 딥러닝(DL)과 머신러닝(ML) 67
2.4. 강화학습 상태공간 67
2.5. 강화학습 차원성의 저주 68
3. 심층 강화학습 70
3.1. 심층 신경망(Deep Neural Network, DNN) 70
3.2. 손실함수, 비용함수, 목적함수 71
3.3. 지능형 기계 생성 72
3.4. 딥러닝 CNN: cifar10 72
3.5. 심층강화학습: 에이전트와 환경 73
4. 심층 강화학습 알고리즘 77
4.1. Markov Decision Process 77
4.2. Q-러닝 78
4.3. 심층 Q 네트워크(DQN) 79
4.4. SARSA 81
4.5. POMDP 81
4.6. P-value vs Q-value (FDR) 83
4.7. Q-Value Approximation 83
4.8. DNN Q-Value Approximation 85
5. 강화학습 주기 87
5.1. 딥신경망 강화학습 구조 89
5.2. 경험 튜플 92
5.3. TD 학습(Temporal Difference learning) 94
5.4. 모델기반 방법과 모델프리 방법 95
5.5. 에피소드 98
III. ChatGPT 100
1. ChatGPT 소개 100
1.1. 생성 AI 언어 모델 100
1.2. Generative, Pretrained, Transformer 103
1.3. ChatGPT: 한국어와 영어 답변 차이 104
1.4. ChatGPT: 한국어 데이터 세트 106
1.5. ChatGPT: 한국 역사 데이터 세트 108
2. ChatGPT 확장성 110
2.1. ChatGPT: Personal Assistant 110
2.2. ChatGPT: Fraud Detection 111
2.3. ChatGPT: 엔터티 인식(NER) 112
2.4. ChatGPT: image captioning 113
2.5. ChatGPT와 시문학 115
3. ChatGPT 코딩 118
3.1. 코딩 능력 118
3.2. 노코드 도구(No-code Tool) 119
3.3. 아두이노(Arduino) 121
3.4. ChatGPT 코딩 테스트 123
3.5. 할루시네이션 124
3.6. 프롬프트 엔지니어(AI Prompt Engineer) 126
IV. ChatGPT 구조 128
1. 학습알고리즘 128
1.1. GPT의 RLHF 원리 128
1.2. ChatGPT vs GPT-3 130
1.3. RLHF 132
1.4. GPT 모델 최적화 134
1.5. GPT PTM 137
1.6. ChatGPT PTM Fine-tuning 138
1.7. Demo 데이터셋 수집 140
1.8. ChatGPT Reward Model 141
1.9. RLHF의 한계 146
2. 기타 150
2.1. 프롬프트(Prompt) 150
2.2. 보상 차이 151
2.3. Instruction Follow 152
2.4. ChatGPT의 가치 153
2.5. 환각 AI과 솔루션 155
2.6. ChatGPT: 친구 또는 적 156
V. ChatGPT와 AGI 과제 159
1. ChatGPT와 AGI 과제 159
1.1. AGI 159
1.2. ChatGPT 기술 162
1.3. ChatGPT: AI 언어 최상위 모델 166
2. 중요과제 167
2.1. 가치 정렬 문제 167
2.2. 규제 및 거버넌스 169
2.3. 데이터 편향 문제 171
2.4. 보안 및 개인정보 보호 175
2.5. 적대적 공격 문제 178
2.6. 제어 문제(Control) 179
2.7. 지적 재산 182
2.8 설명 가능성과 투명성 문제 185
3. 또 다른 문제 187
3.1. 안전 문제(Safety) 187
3.2. 에너지 효율성 188
3.3. 인간 증강 문제 189
3.4. 기술 특이점 문제 191
3.5. 견고성 문제 193
3.6. 다양성과 포괄성 196
3.7. 불평등 문제 197
3.8. 사회적 기술 199
3.9. 상호 운용성 및 호환성 200
4. 인간-기계 상호 작용 203
4.1. 인간과 같은 지능 203
4.2. 인간-기계 상호 작용 204
4.3. 자율성 205
4.4. 적응성 문제 207
4.5. 전이 학습 209
4.6. 지속적인 학습(Continual Learning) 211
4.7. 창의성과 독창성 214
4.8. 책임(Accountability)과 책무(responsibility) 217
4.9. 확장성 및 호환성 문제 218
5. 이미지 생성기 220
5.1. DALL-E 이미지 생성기 220
5.2. Stable Diffusion: 불신 222
5.3. ChatGPT 컨텍스트 227
VI. ChatGPT 적용 230
1. ChatGPT 사례 230
1.1. 게임체인저 230
1.2. 영향분야 231
1.3. Emotion Analysis 233
1.4. Virtual Assistants 234
2. 인공지능 활용 237
2.1. 법원 판결 활용 237
2.2. ChatGPT vs Google Bard 238
2.3. Meta, Make-A-Video 247
3. Enterprise ChatGPT 250
3.1. Enterprise 솔루션 250
3.2. 텍스트 분석 250
3.3. 분류 251
3.4. 프로그래밍 지원 253
3.5. 업체 정보 검색 255
3.6. 마케팅 콘텐츠 생성 255
3.7. 영업 자동화 256
3.8. 카피라이팅 257
3.9. 품질관리 유지 258
VII. ChatGPT 한계와 전망 260
1. ChatGPT 전망 260
1.1. 스스로 수정하는 GPT 4 260
1.2. DERA 261
1.3. Reflexion 262
1.4. OpenAGI 264
1.5. Deep GAN 알고리즘 265
2. AGI vs ASI 272
2.1. AGI(Artificial General Intelligence) 272
2.2. Cyc 프로젝트 273
2.3. 디지털 ID의 미래 275
2.4. 5년 후 사이버 환경과 국가의 역할 275
2.5. GPT와 노동 시장 교란 278
2.6. 기계와 생활하고 일하기 281
2.7. AI가 위험한지 여부는 여전히 남아 있다! 282
2.8. ASI(Artificial Super Intelligence) 282
3. 새로 탄생할 직종 285
3.1. 새로운 직업군 285
3.2. 개인정보보안관 285
3.3. AI Text Classifier 287
4. 빅테크 기업의 대응 현황 289
4.1. 빅테크 기업의 ChatGPT 대응 현황 289
4.2. 구글의 변화 292
4.3. 빅테크 AI 시장 전망 294
Author
진하수
부산대학교 경제학 박사. 블록체인 알고리즘, 신경망 전문가 지원 시스템, 빅데이타와 코딩언어(R, Python) 등의 융합학문 연구와 강의를 하고 있다. 교육경제 컨설턴트, 영어전문가, 음악 치유사. AI 교육 전문가로 교육과 경제와 미래학 관련 학술지에 논문 게재하고 있다.
게임이론을 적용한 블록체인 알고리즘 구현을 연구하였다. 지금은 계량경제, 빅데이타와 코딩언어(R, Python)를 융합한 연구를 하고 있다. 교육경제컨설턴트로, 영어학원과 취미로 음악실을 운영하고 있고, 교육경제관련 유명 학술지에 여러편의 논문을 게재하였다. 사교육이 일반고등학생의 성적향상과 대학진학에 유의미한 영향을 주었는가? 등을 다방면으로 모델링하고 있다.
부산대학교 경제학 박사. 블록체인 알고리즘, 신경망 전문가 지원 시스템, 빅데이타와 코딩언어(R, Python) 등의 융합학문 연구와 강의를 하고 있다. 교육경제 컨설턴트, 영어전문가, 음악 치유사. AI 교육 전문가로 교육과 경제와 미래학 관련 학술지에 논문 게재하고 있다.
게임이론을 적용한 블록체인 알고리즘 구현을 연구하였다. 지금은 계량경제, 빅데이타와 코딩언어(R, Python)를 융합한 연구를 하고 있다. 교육경제컨설턴트로, 영어학원과 취미로 음악실을 운영하고 있고, 교육경제관련 유명 학술지에 여러편의 논문을 게재하였다. 사교육이 일반고등학생의 성적향상과 대학진학에 유의미한 영향을 주었는가? 등을 다방면으로 모델링하고 있다.