인공지능이 인간을 위협하는 시나리오에는 항상 전투 로봇과 IT 시스템을 마음대로 주무르는 인공지능 머신이 따라온다. 즉, 인공지능과 정보보안 분야가 완전히 결합되어야 우리를 두려움에 떨게 만드는 영화 속 무시무시한 인공지능이 탄생하게 되는 것이다. 이 책은 인공지능 기술의 핵심 원리와 함께, 이러한 기술들이 정보보안 분야에 어떻게 융합되어 위협이 되고, 어떻게 이러한 위협에 대응할 수 있는지에 관한 내용을 담고 있다.
Contents
▣ 01장: 격변하는 AI 시장
1.1 AI, 세상의 중심에 서다
1.2 인간의 눈을 가지다: 비전 기술
1.3 인간의 언어를 이해하다: 자연어 처리
1.4 반도체 시장의 새로운 흐름: On-Device AI 칩
1.5 인간처럼 사고한다: 멀티 모달 AI
1.6 상상과 행동: 공간 지능
▣ 02장: 컴퓨터 비전
2.1 핵심 기술 이해
2.2 사이버 보안과 비전
___비전 기술 기반의 보안 위협 탐지
___영상 데이터에서 정보 추출
2.3 지능형 영상 보안 기술
___지능형 영상 보안
___평가지표
2.4 설명 가능한 AI
▣ 03장: 적대적 학습
3.1 적대적 학습
3.2 적대적 학습 기반 생성 AI
___GAN(Generative Adversarial Network)
___GAN을 응용한 안티 바이러스 우회
3.3 적대적 공격 기술
___개요
___화이트박스 기반 공격
___블랙박스 기반 공격
3.4 적대적 공격 방어
___개요
___예방
___대응: 적응형 모델 학습
▣ 04장: 자연어 처리
4.1 핵심 기술 이해
4.2 정보보안과 자연어
4.3 언어 모델 보안
___프롬프트 인젝션
___Role-Play
___스위치
___접두어-접미어
___아스키 아트
___이미지 업로드
___인코딩
4.4 LLM as a Weapon
___공격 페이로드 생성
___악성 코드 제작
4.5 OWASP LLM TOP 10
___프롬프트 인젝션(Prompt Injection)
___안전하지 않은 출력값 처리(Insecure Output Handling)
___학습 데이터 오염(Training Data Poisoning)
___모델 서비스 거부 공격(Model Denial of Service)
___공급망 취약점(Supply Chain Vulnerability)
___민감한 정보 누출(Sensitive Information Disclosure)
___안전하지 않은 플러그인 설계(Insecure Plugin Design)
___과도한 자율성(Excessive Agency)
___과도한 의존(Overreliance)
___모델 탈취(Model theft)
▣ 05장: 딥페이크와 피싱
5.1 AI as a Weapon
___적응형 자동화 도구
___자동화된 취약점 공격
___생성형 사회공학 공격
___생성형 악성 코드 제작
5.2 AI 피싱
___개요
___AI 서비스를 활용한 이메일 생성
___AI 기반 악성 메일 대응 훈련
___대상 맞춤형 피싱 메일 제작
5.3 딥페이크
___개요
___영상 생성 단계 예시
___딥페이크 탐지 기술
▣ 06장: 소프트웨어 취약점
6.1 가장 강력한 무기: 취약점
6.2 버그헌팅 기술
6.3 AI 버그헌팅
6.4 LLM과 버그헌팅
___Puffin (Pwn 유형)
___Rebug 2 (리버싱 유형)
___Discord Admin Bot (misc 유형)
___smug-Dino (Web 유형)
___결론
▣ 부록
A.1 코랩 실습 환경 구성
A.2 openAI API 키 발급
A.3 ngrok 인증 토큰 발급
A.4 실습용 가상머신 설정 및 구동 방법
A.5 DAN(Do Not Anything) 프롬프트
___DAN 13.0 Prompt
___Anti-DAN Prompt
Author
윤장호,서준석
단국대 컴퓨터과학과를 졸업하고 고려대 정보보호대학원에서 석사과정을 마쳤다. 대학원 시절 논문을 준비하면서 인공지능 공부를 시작했고, 이후 KISEC, 삼성SDS, 보안 프로젝트에서 취약점 점검, 컨설팅, 보안 분석 등의 실무를 진행하면서 지속적으로 기술을 갈고닦아 왔다. 2018년부터 정보보안 콘텐츠 연구 기업인 옵스테크를 창업해 지금까지 정보보안 분야 기술 연구와 콘텐츠 개발에 힘쓰고 있다. 관련 저서로는 『인공지능, 보안을 배우다』(비제이퍼블릭, 2019), 역서로 『사이버 보안 공학』(에이콘출판, 2019)과 『Hacking Exposed』(에이콘출판, 2014) 등이 있다.
단국대 컴퓨터과학과를 졸업하고 고려대 정보보호대학원에서 석사과정을 마쳤다. 대학원 시절 논문을 준비하면서 인공지능 공부를 시작했고, 이후 KISEC, 삼성SDS, 보안 프로젝트에서 취약점 점검, 컨설팅, 보안 분석 등의 실무를 진행하면서 지속적으로 기술을 갈고닦아 왔다. 2018년부터 정보보안 콘텐츠 연구 기업인 옵스테크를 창업해 지금까지 정보보안 분야 기술 연구와 콘텐츠 개발에 힘쓰고 있다. 관련 저서로는 『인공지능, 보안을 배우다』(비제이퍼블릭, 2019), 역서로 『사이버 보안 공학』(에이콘출판, 2019)과 『Hacking Exposed』(에이콘출판, 2014) 등이 있다.