3D 딥러닝 with python

PART 1 3D 데이터 처리 기본사항

제1장 3D 데이터 처리 소개
기술 요구 사항
개발 환경 설정
3D 데이터 표현
3D 데이터 파일 형식 - Ply 파일
3D 데이터 파일 형식 - OBJ 파일
3D 좌표계 이해
카메라 모델 이해
카메라 모델 및 좌표계에 대한 코딩
요약

제2장 3D 컴퓨터 비전 및 지오메트리 소개
기술 요구 사항
렌더링, 래스터화 및 셰이딩의 기본 개념 탐색
3D 렌더링을 위한 코딩 연습
PyTorch3D 이기종 배치 및 PyTorch 옵티마이저 사용
변환 및 회전 이해
요약

PART 2 PyTorch3D를 사용한 3D 딥러닝

제3장 변형 가능한 메시 모델을 원시 포인트 클라우드에 피팅
기술 요구 사항
포인트 클라우드에 메시 피팅 - 문제
변형 가능한 메시 피팅 문제를 최적화 문제로 공식화
정규화를 위한 손실 함수
PyTorch3D로 메시 피팅 구현
요약

제4장 미분 가능한 렌더링을 사용한 객체 포즈 감지 및 추적 학습
기술 요구 사항
미분 가능한 렌더링이 필요한 이유
렌더링을 미분 가능하게 만드는 방법
객체 포즈 추정 문제
코딩 방법
요약

제5장 미분 가능한 볼류메트릭 렌더링 이해
기술 요구 사항
볼류메트릭 렌더링 개요
레이 샘플링 이해
볼륨 샘플링 사용
레이 마처 탐색
미분 가능한 볼류메트릭 렌더링
요약

제6장 신경 방사 필드(NeRF) 탐색
기술 요구 사항
NeRF 이해
NeRF 모델 학습
NeRF 모델 아키텍처 이해
방사 필드를 사용한 볼륨 렌더링 이해
요약

PART3 PyTorch3D를 사용한 최첨단 3D 딥러닝

제7장 제어 가능한 신경 특징 필드 탐색
기술 요구 사항
GAN 기반 이미지 합성 이해
구성적 3D 인식 이미지 합성 소개
특징 필드 생성
특징 필드를 이미지에 매핑
제어 가능한 장면 생성 탐색
GIRAFFE 모델 학습
요약

제8장 3D로 인체 모델링
기술 요구 사항
3D 모델링 문제 공식화
선형 블렌드 스킨 기법 이해
SMPL 모델 이해
SMPL 모델 사용
SMPLify를 사용하여 3D 인간 포즈 및 모양 추정
요약

제9장 SynSin으로 엔드 투 엔드 뷰 합성 수행
기술 요구 사항
뷰 합성 개요
SynSin 네트워크 아키텍처
실습 모델 학습 및 테스트
요약

제10장 메시 R-CNN
기술 요구 사항
메시 및 복셀 개요
메시 R-CNN 아키텍처
PyTorch를 사용한 메시 R-CNN 데모
요약