언어학이 만나는 인공 신경망 언어모델
$23.76
SKU
9788978018135
[Free shipping over $100]
Standard Shipping estimated by Fri 01/3 - Thu 01/9 (주문일로부 10-14 영업일)
Express Shipping estimated by Tue 12/31 - Thu 01/2 (주문일로부 7-9 영업일)
* 안내되는 배송 완료 예상일은 유통사/배송사의 상황에 따라 예고 없이 변동될 수 있습니다.
| Publication Date | 2024/10/18 |
| Pages/Weight/Size | 188*257*20mm |
| ISBN | 9788978018135 |
| Categories | 인문 > 기호학/언어학 |
Description
현재 우리가 접하는 인공지능 시스템의 핵심 요소가 되는 인공 신경망 모델(NLM), 특히 대형 언어 모델(LLM)과 ChatGPT는 자연어 처리와 생성에서 혁신적인 성과를 이뤘다. 이러한 모델들은 인간과의 대화에서 매우 자연스러운 응답을 하며 다양한 주제에 대해 유용한 정보를 제공한다. 그러나 이들 모델은 여전히 언어학 및 인지 과학적 도전 과제에 직면해 있다. 그중 하나는 문맥 이해와 일관성 유지의 어려움이다. 또 하나는 복잡한 추론이나 논리적 사고가 필요한 질문에 대해 정확히 답변하지 못하는 추론 능력의 한계이다.
이 책은 이런 도전 과제를 극복하기 위해서는 언어학의 역공학(reverse
engineering)이 필요함을 제안하고 있다. 언어학의 역공학은 인간의 언어 능력을 기계적으로 분석하고 재구성하여 인공지능 언어 모델이 인간처럼 언어를 이해하고 생성할 수 있도록 돕는 과정이다. 언어학의 역공학은 문법, 의미, 다양한 언어 구조의 차이를 인공지능 언어 모델에 반영하여 자연스럽고 일관된 대화를 가능하게 하는 것이다. 이러한 접근은A I 기술의 발전을 촉진하고, 다양한 분야에서의 실질적인 문제 해결에 기여하며, AI와 인간 간의 조화로운 공존을 가능하게 한다.
이 책은 이런 도전 과제를 극복하기 위해서는 언어학의 역공학(reverse
engineering)이 필요함을 제안하고 있다. 언어학의 역공학은 인간의 언어 능력을 기계적으로 분석하고 재구성하여 인공지능 언어 모델이 인간처럼 언어를 이해하고 생성할 수 있도록 돕는 과정이다. 언어학의 역공학은 문법, 의미, 다양한 언어 구조의 차이를 인공지능 언어 모델에 반영하여 자연스럽고 일관된 대화를 가능하게 하는 것이다. 이러한 접근은A I 기술의 발전을 촉진하고, 다양한 분야에서의 실질적인 문제 해결에 기여하며, AI와 인간 간의 조화로운 공존을 가능하게 한다.
Contents
서 문 _ 4
1부 신경망 언어 모델의 현재의 위상
1장 언어(학)과 언어 인지과학을 재현하는 신경망 언어 19
1. 서론 _ 21
2. 언어 구조와 패턴 학습 _ 24
2.1 문법과 통사 구문 구조 _ 24 2.2 의미론적 관계와 의미 학습 _ 32
3. 맥락 이해와 예측 _ 43
3.1 문맥 기반 이해 _ 43 3.2 문맥 이해 _ 44
3.3 문장 예측과 완성 _ 45 3.4 실용적 응용 _ 46
4. 최근 대형 언어 모델 LLM의 평가 _ 47
4.1 들어가는 말 _ 47
4.2 형식적 언어 능력에 대한 LLM의 평가 _ 47
4.3 기능적 언어 능력과 그 한계 _ 49
4.4 향후 신경망 언어 모델 개발을 위한 프레임워크 _ 50
5. 신경망 언어 모델의 언어 학습과 추론의 특징 _ 54
5.1 데이터 기반 학습(data-driven learning) _ 54
5.2 비지도 학습 _ 55
5.3 추론 능력 _ 56
5.4 텍스트 이해와 추론 _ 57
6. 언어 생성과 창의성 _ 59
6.1 텍스트 생성 _ 59
6.2 신경망 언어 모델의 창의성 _ 59
6.3 창의적 응용 _ 61
7. 언어 인지과학의 모형화 _ 64
7.1 언어 인지 모델링 _ 64 7.2 인간의 언어 처리 모델의 시뮬레이션 _ 66
7.3 심리언어학적 현상 재현 _ 68
8. 한계와 도전 과제 _ 70
8.1 기계와 인간의 차이 _ 70 8.2 보완 연구 _ 71
8.3 윤리적 문제와 편향성 _ 72
9. 결론 _ 73
부록 신경망 언어 모델의 구조 _ 75
■ 신경망 언어 모델 구조의 주요 요소 _ 75
■ 신경망 언어 모델에서 모델 아키텍처와 알고리즘의 기능적 차이 _ 76
■ 신경망 언어 모델의 모델 아키텍처 및 알고리즘과 인간 신경망의 대응 요소 _ 79
■ 추가: 하이퍼파라미터 튜닝 _ 80
■ 하이퍼파라미터 튜닝과 사람의 인지 기능의 대비 _ 82
2장 신경망 언어 모델과 인간의 언어 처리 비교 85
1. 서론 _ 87
2. 인간의 언어 처리 과정 _ 89
2.1 언어 인지 과정 _ 89 2.2 뇌의 언어 처리 메커니즘 _ 91
3. 신경망 언어 모델의 언어 처리 메커니즘 _ 97
3.1 신경망 언어 모델 아키텍처 _ 97
3.2 모델 학습 과정 _ 99
3.3 신경망 언어 모델 성능 평가 _ 100
4. 인간 언어 처리와 신경망 모델의 비교 _ 103
4.1 언어 습득과 학습 _ 103 4.2 문맥 이해와 예측 _ 104
4.3 추론과 문제 해결 _ 105 4.4 생물학적 차이 _ 105
5. 신경망 언어 모델의 한계와 개선 방안_110
5.1 신경망 언어 모델의 한계 _ 110 5.2 개선 방안 _ 111
6. 신경망 언어 모델에 구현되는 언어학, 심리언어학, 인지과학 _ 113
6.1 언어학의 구현 _ 113 6.2 심리언어학의 구현 _ 115
6.3 언어 인지 신경과학의 구현 _ 119
7. 미래 연구 방향 _ 121
7.1 융합 연구의 중요성 _ 121 7.2 실용적 응용 가능성 _ 122
8. 결론 _ 124
3장 언어와 인지 vs. 초대형 신경망 언어 모델 127
1. 서론 _ 129
2. 초대형 신경망 언어 모델 소개 _ 131
2.1 언어 모델과 그 발전의 개요 _ 131
2.2 최근의 주요 초대형 신경망 언어 모델 소개: ChatGPT, Bard, Sydney _ 133
2.3 초대형 신경망 언어 모델의 발전의 약속과 위험 _ 134
3. 인간의 언어와 인지 _ 137
3.1 인간 언어의 본질: 문법과 구문 _ 137
3.2 언어 습득(language acquisition)의 인지 과정 _ 138
3.3 보편 문법의 역할과 인간 인지 _ 139
4. 인간 인지와 신경망 언어 모델의 근본적인 차이 _ 142
4.1 인간 지능: 설명 vs. 기술과 예측 _ 142
4.2 신경망 언어 모델의 문법 및 의미 이해의 한계 _ 148
4.3 신경망 언어 모델의 언어 처리(발화 및 이해) _ 150
4.4 언어 처리에서 차이를 강조하는 사례 연구 _ 153
4.5 인간 인지와 신경망 언어 모델의 학습 방식 비교 _ 154
4.6 인지적 한계와 윤리적 함의 _ 156
5. 신경망 언어 모델의 윤리적 및 사회적 함의 _ 157
5.1 AI 개발 및 배포의 윤리적 문제 _ 157
5.2 신경망 언어 모델 편향성의 사회적 영향 _ 158
5.3 사례 연구: ChatGPT와 논란이 된 출력 _ 159
5.4 AI 개발자의 책임과 윤리적 고려 사항 _ 160
5.5 윤리적 AI 개발을 위한 정책 및 규제 _ 161
6. 신경망 언어 모델의 미래 발전 방향 _ 162
7. 결론 _ 163
2부 신경망 언어 모델을 개선하기
4장 인간 뇌의 인지 과정에 대한 역공학적 접근 169
1. 서론 _ 171
2. 인간 뇌의 역공학 _ 172
2.1 도입 _ 172 2.2 역공학과 인간 뇌의 이해 _ 173
2.3 인공지능의 기초와 발전 _ 176 2.4 인공 신경망(ANN)과 합성곱 신경망(CNN) _ 180
2.5 역공학의 결과와 미래 전망 _ 183 2.6 종합 _ 186
3. 역공학을 통한 인간 인지의 주요 요소로서의 상식 이해에 접근하기 _ 187
3.1 도입 _ 187
3.2 기존 기계 학습의 도전 과제 _ 188
3.3 인지 과학에 영감을 받은 AI 접근 방식 _ 190
3.4 Rule et al.(2020)에서의 성과 _ 194
3.5 종합 _ 196
4. 역공학을 통해 신경계를 재현하는 목표와 필요성 _ 197
4.1 도입 _ 197
4.2 신경과학의 주요 목표 _ 199
4.3 신경계 시뮬레이션의 중요성 _ 200
4.4 현재의 역공학 노력과 그 한계 _ 202
4.5 데이터 통합과 머신러닝 _ 204
4.6 종합 _ 205
5. 결론 _ 207
5장 언어 처리/습득하는 뇌의 역공학 209
1. 서론 _ 211
2. 역공학적 접근을 통한 언어 처리 및 예측 메커니즘 연구 _ 212
2.1 도입 _ 212 2.2 연구 방법 및 데이터셋 _ 213
2.3 주요 발견 _ 216 2.4 모델 성능 분석 _ 217
2.5 연구 방법론 _ 218 2.6 성능 평가 및 통계적 검정 _ 218
2.7 종합 _ 219
3. 언어 습득/발달의 역공학 _ 220
3.1 도입 _ 220 3.2 역공학 접근법 _ 221
3.3 장기 녹음의 중요성 _ 223 3.4 입력 제어 및 결과 측정 _ 228
3.5 종합 _ 233
4. 생태적으로 타당한 학습 자료로의 신경망 언어 모델 훈련 _ 235
4.1 도입 _ 235 4.2 역공학의 정의와 중요성 _ 235
4.3 연구 방법 _ 237 4.4 실험 및 평가 _ 239
4.5 결과 및 논의 _ 241 4.6 종합 _ 243
5. 결론 _ 244
6장 인간의 언어, 언어학에 대한 역공학적 접근 247
1. 서론 _ 249
2. 인간 언어의 상징적 역공학(symbolic reverse engineering) _ 250
2.1 서론 _ 250 2.2 LLM의 한계 _ 252
2.3 상징적 역공학 제안 _ 254 2.4 실용적 응용 _ 258
2.5 종합 _ 262
3. 인간의 사고 언어에 대한 역공학적 접근 _ 263
3.1 도입 _ 263 3.2 문제 정의 _ 264
3.3 데이터 기반 접근 _ 265 3.4 언어 모델 평가 _ 268
4. 인간 언어의 통사 구조에 대한 역공학적 접근 _ 270
4.1 도입 _ 270 4.2 새로운 통사 모델링 접근: synapper _ 271
4.3 기존 기법과의 차별성 _ 273 4.4 사례 연구: 영어와 한국어 _ 274
4.5 통사 구조의 역공학적 측면 _ 275 4.6 다국어 번역 시스템에서의 활용 _ 276
4.7 종합 _ 277
5. 인간의 의미 사용에 대한 역공학적 접근 _ 278
5.1 도입 _ 278 5.2 의미 인지 시스템의 필수 기능 _ 279
5.3 제어된 의미 인지의 모델링 _ 282 5.4 종합 _ 284
5. 결론 _ 285
1부 신경망 언어 모델의 현재의 위상
1장 언어(학)과 언어 인지과학을 재현하는 신경망 언어 19
1. 서론 _ 21
2. 언어 구조와 패턴 학습 _ 24
2.1 문법과 통사 구문 구조 _ 24 2.2 의미론적 관계와 의미 학습 _ 32
3. 맥락 이해와 예측 _ 43
3.1 문맥 기반 이해 _ 43 3.2 문맥 이해 _ 44
3.3 문장 예측과 완성 _ 45 3.4 실용적 응용 _ 46
4. 최근 대형 언어 모델 LLM의 평가 _ 47
4.1 들어가는 말 _ 47
4.2 형식적 언어 능력에 대한 LLM의 평가 _ 47
4.3 기능적 언어 능력과 그 한계 _ 49
4.4 향후 신경망 언어 모델 개발을 위한 프레임워크 _ 50
5. 신경망 언어 모델의 언어 학습과 추론의 특징 _ 54
5.1 데이터 기반 학습(data-driven learning) _ 54
5.2 비지도 학습 _ 55
5.3 추론 능력 _ 56
5.4 텍스트 이해와 추론 _ 57
6. 언어 생성과 창의성 _ 59
6.1 텍스트 생성 _ 59
6.2 신경망 언어 모델의 창의성 _ 59
6.3 창의적 응용 _ 61
7. 언어 인지과학의 모형화 _ 64
7.1 언어 인지 모델링 _ 64 7.2 인간의 언어 처리 모델의 시뮬레이션 _ 66
7.3 심리언어학적 현상 재현 _ 68
8. 한계와 도전 과제 _ 70
8.1 기계와 인간의 차이 _ 70 8.2 보완 연구 _ 71
8.3 윤리적 문제와 편향성 _ 72
9. 결론 _ 73
부록 신경망 언어 모델의 구조 _ 75
■ 신경망 언어 모델 구조의 주요 요소 _ 75
■ 신경망 언어 모델에서 모델 아키텍처와 알고리즘의 기능적 차이 _ 76
■ 신경망 언어 모델의 모델 아키텍처 및 알고리즘과 인간 신경망의 대응 요소 _ 79
■ 추가: 하이퍼파라미터 튜닝 _ 80
■ 하이퍼파라미터 튜닝과 사람의 인지 기능의 대비 _ 82
2장 신경망 언어 모델과 인간의 언어 처리 비교 85
1. 서론 _ 87
2. 인간의 언어 처리 과정 _ 89
2.1 언어 인지 과정 _ 89 2.2 뇌의 언어 처리 메커니즘 _ 91
3. 신경망 언어 모델의 언어 처리 메커니즘 _ 97
3.1 신경망 언어 모델 아키텍처 _ 97
3.2 모델 학습 과정 _ 99
3.3 신경망 언어 모델 성능 평가 _ 100
4. 인간 언어 처리와 신경망 모델의 비교 _ 103
4.1 언어 습득과 학습 _ 103 4.2 문맥 이해와 예측 _ 104
4.3 추론과 문제 해결 _ 105 4.4 생물학적 차이 _ 105
5. 신경망 언어 모델의 한계와 개선 방안_110
5.1 신경망 언어 모델의 한계 _ 110 5.2 개선 방안 _ 111
6. 신경망 언어 모델에 구현되는 언어학, 심리언어학, 인지과학 _ 113
6.1 언어학의 구현 _ 113 6.2 심리언어학의 구현 _ 115
6.3 언어 인지 신경과학의 구현 _ 119
7. 미래 연구 방향 _ 121
7.1 융합 연구의 중요성 _ 121 7.2 실용적 응용 가능성 _ 122
8. 결론 _ 124
3장 언어와 인지 vs. 초대형 신경망 언어 모델 127
1. 서론 _ 129
2. 초대형 신경망 언어 모델 소개 _ 131
2.1 언어 모델과 그 발전의 개요 _ 131
2.2 최근의 주요 초대형 신경망 언어 모델 소개: ChatGPT, Bard, Sydney _ 133
2.3 초대형 신경망 언어 모델의 발전의 약속과 위험 _ 134
3. 인간의 언어와 인지 _ 137
3.1 인간 언어의 본질: 문법과 구문 _ 137
3.2 언어 습득(language acquisition)의 인지 과정 _ 138
3.3 보편 문법의 역할과 인간 인지 _ 139
4. 인간 인지와 신경망 언어 모델의 근본적인 차이 _ 142
4.1 인간 지능: 설명 vs. 기술과 예측 _ 142
4.2 신경망 언어 모델의 문법 및 의미 이해의 한계 _ 148
4.3 신경망 언어 모델의 언어 처리(발화 및 이해) _ 150
4.4 언어 처리에서 차이를 강조하는 사례 연구 _ 153
4.5 인간 인지와 신경망 언어 모델의 학습 방식 비교 _ 154
4.6 인지적 한계와 윤리적 함의 _ 156
5. 신경망 언어 모델의 윤리적 및 사회적 함의 _ 157
5.1 AI 개발 및 배포의 윤리적 문제 _ 157
5.2 신경망 언어 모델 편향성의 사회적 영향 _ 158
5.3 사례 연구: ChatGPT와 논란이 된 출력 _ 159
5.4 AI 개발자의 책임과 윤리적 고려 사항 _ 160
5.5 윤리적 AI 개발을 위한 정책 및 규제 _ 161
6. 신경망 언어 모델의 미래 발전 방향 _ 162
7. 결론 _ 163
2부 신경망 언어 모델을 개선하기
4장 인간 뇌의 인지 과정에 대한 역공학적 접근 169
1. 서론 _ 171
2. 인간 뇌의 역공학 _ 172
2.1 도입 _ 172 2.2 역공학과 인간 뇌의 이해 _ 173
2.3 인공지능의 기초와 발전 _ 176 2.4 인공 신경망(ANN)과 합성곱 신경망(CNN) _ 180
2.5 역공학의 결과와 미래 전망 _ 183 2.6 종합 _ 186
3. 역공학을 통한 인간 인지의 주요 요소로서의 상식 이해에 접근하기 _ 187
3.1 도입 _ 187
3.2 기존 기계 학습의 도전 과제 _ 188
3.3 인지 과학에 영감을 받은 AI 접근 방식 _ 190
3.4 Rule et al.(2020)에서의 성과 _ 194
3.5 종합 _ 196
4. 역공학을 통해 신경계를 재현하는 목표와 필요성 _ 197
4.1 도입 _ 197
4.2 신경과학의 주요 목표 _ 199
4.3 신경계 시뮬레이션의 중요성 _ 200
4.4 현재의 역공학 노력과 그 한계 _ 202
4.5 데이터 통합과 머신러닝 _ 204
4.6 종합 _ 205
5. 결론 _ 207
5장 언어 처리/습득하는 뇌의 역공학 209
1. 서론 _ 211
2. 역공학적 접근을 통한 언어 처리 및 예측 메커니즘 연구 _ 212
2.1 도입 _ 212 2.2 연구 방법 및 데이터셋 _ 213
2.3 주요 발견 _ 216 2.4 모델 성능 분석 _ 217
2.5 연구 방법론 _ 218 2.6 성능 평가 및 통계적 검정 _ 218
2.7 종합 _ 219
3. 언어 습득/발달의 역공학 _ 220
3.1 도입 _ 220 3.2 역공학 접근법 _ 221
3.3 장기 녹음의 중요성 _ 223 3.4 입력 제어 및 결과 측정 _ 228
3.5 종합 _ 233
4. 생태적으로 타당한 학습 자료로의 신경망 언어 모델 훈련 _ 235
4.1 도입 _ 235 4.2 역공학의 정의와 중요성 _ 235
4.3 연구 방법 _ 237 4.4 실험 및 평가 _ 239
4.5 결과 및 논의 _ 241 4.6 종합 _ 243
5. 결론 _ 244
6장 인간의 언어, 언어학에 대한 역공학적 접근 247
1. 서론 _ 249
2. 인간 언어의 상징적 역공학(symbolic reverse engineering) _ 250
2.1 서론 _ 250 2.2 LLM의 한계 _ 252
2.3 상징적 역공학 제안 _ 254 2.4 실용적 응용 _ 258
2.5 종합 _ 262
3. 인간의 사고 언어에 대한 역공학적 접근 _ 263
3.1 도입 _ 263 3.2 문제 정의 _ 264
3.3 데이터 기반 접근 _ 265 3.4 언어 모델 평가 _ 268
4. 인간 언어의 통사 구조에 대한 역공학적 접근 _ 270
4.1 도입 _ 270 4.2 새로운 통사 모델링 접근: synapper _ 271
4.3 기존 기법과의 차별성 _ 273 4.4 사례 연구: 영어와 한국어 _ 274
4.5 통사 구조의 역공학적 측면 _ 275 4.6 다국어 번역 시스템에서의 활용 _ 276
4.7 종합 _ 277
5. 인간의 의미 사용에 대한 역공학적 접근 _ 278
5.1 도입 _ 278 5.2 의미 인지 시스템의 필수 기능 _ 279
5.3 제어된 의미 인지의 모델링 _ 282 5.4 종합 _ 284
5. 결론 _ 285