CS231n Convolutional Neural Networks for Visual Recognition
스탠포드 CS231n 강의 CS231n: Convolutional Neural Networks for Visual Recognition에 대한 강의노트의 한글 번역 프로젝트입니다.
질문/논의거리/이슈 등은 AI Korea 이메일로 연락주시거나, GitHub 레포지토리에 pull request, 또는 이슈를 열어주세요.
Glossary
강의 동영상
Winter 2016 과제
Assignment #1: 이미지 분류, kNN, SVM, Softmax, 뉴럴 네트워크
Assignment #2: Fully-Connected 네트워크, 배치 정규화(Batch Normalization), Dropout, 컨볼루션 신경망
Assignment #3: 회귀신경망(Recurrent Neural Networks), 이미지 캡셔닝(Captioning), 이미지 그라디언트, DeepDream
Module 0: 준비
Python / Numpy Tutorial Complete!
IPython Notebook Tutorial Complete!
Terminal.com Tutorial Complete!
AWS Tutorial Complete!
Module 1: 신경망 구조
이미지 분류: 데이터 기반 방법론, k-Nearest Neighbor, train/val/test 구분 Complete!
L1/L2 거리, hyperparameter 탐색, 교차검증(cross-validation)
선형 분류: Support Vector Machine, Softmax
parameteric 접근법, bias 트릭, hinge loss, cross-entropy loss, L2 regularization, 웹 데모
최적화: 확률 그라디언트 하강(Stochastic Gradient Descent) Complete!
'지형'으로서의 최적화 목적 함수 (optimization landscapes), 국소 탐색(local search), 학습 속도(learning rate), 해석적(analytic)/수치적(numerical) 그라디언트
Backpropagation, 직관
연쇄 법칙 (chain rule) 해석, real-valued circuits, 그라디언트 흐름의 패턴
신경망 파트 1: 네트워크 구조 정하기
생물학적 뉴런 모델, 활성 함수(activation functions), 신경망 구조, 표현력(representational power)
신경망 파트 2: 데이터 준비 및 Loss
전처리, weight 초기값 설정, 배치 정규화(batch normalization), regularization (L2/dropout), 손실함수
신경망 파트 3: 학습 및 평가
그라디언트 체크, 버그 점검, 학습 과정 모니터링, momentum (+nesterov), 2차(2nd-order) 방법, Adagrad/RMSprop, hyperparameter 최적화, 모델 ensemble
Module 2: Convolutional Neural Networks
컨볼루션 신경망: 구조, Convolution / Pooling 레이어들 Complete!
레이어(층), 공간적 배치, 레이어 패턴, 레이어 사이즈, AlexNet/ZFNet/VGGNet 사례 분석, 계산량에 관한 고려 사항들
컨볼루션 신경망 분석 및 시각화
tSNE embeddings, deconvnets, 데이터에 대한 그라디언트, ConvNet 속이기, 사람과의 비교
Transfer Learning and Fine-tuning Convolutional Neural Networks
Acknowledgement