Visualizing and Understanding Convolutional Networks(2013) 0. Abstract AlexNet 이후 `Large Convolutional Network` 모델들이 ImageNet bechmark에서 인상적인 classification 성능을 보임 그러나 왜 성능이 좋은지, 어떻게 성능을 개선시켰는지에 대해선 명확하게 이해하지 못함 본 논문에선 Large Convolutional Network의 중간에 있는 feature layers의 기능과 classifier의 작동 과정을 확인하는 새로운 시각화 기법을 제안 해당 visualization 기술이 diagnostic role을 수행하여 AlexNet보다 ImageNet benchmark에서 더 우수한 성능을 ..
ImageNet Classification with Deep Convolutional Neural Networks 0. Abstract ImageNet LSVRC-2010에서 1.2m개의 고해상도 이미지에 대해 1000개의 클래스로 분류하기 위해 large, deep convolutional neural network를 학습 test data에서 이전 SOTA 모델보다 좋은 top-1과 top-5 error rates에서 37.5%와 17.0%를 기록 `AlexNet`에는 약 6,000만개의 파라미터와 65만 개의 neurons가 5개의 convolutional layers로 구성 이에 더해 max-pooling layers와 1000-way softmax로 구성된 3개의 fully-connected l..
`이미지 분류(classification)`는 특정 대상이 영상 내에 존재하는지 여부를 판단하는 것이다. 이미지 분류에서 주로 사용되는 합성곱 신경망의 유형은 다양하다. LeNet-5 `LeNet-5`는 합성곱 신경망이라는 개념을 최초로 개발한 구조로, 현재 CNN의 초석이 되었다. LeNet-5는 `합성곱(convolutional)`과 `다운 샘플링(sub-sampling)`(혹은 풀링)을 반복적으로 거치면서 마지막에 완전연결층에서 분류를 수행한다. LeNet-5의 신경망 구조는 다음과 같다. (32 x 32 x 1) 크기의 이미지에 합성곱층과 최대 풀링층이 쌍으로 두 번 적용된 후 완전연결층을 거쳐 이미지가 분류되는 신경망이다. 이러한 신경망 구조를 파이토치를 통해 구현하면 다음과 같다. 입력 이미지..
LeNet-5 얀 르쿤은 1998년 우편물에 필기체로 쓰인 우편변호를 인식하는 최초의 컨벌루션 신경망인 `LeNet-5`를 선보였다. 모델 구조 LeNet-5는 컨벌루션 계층과 풀링 계층을 2번 반복한 뒤 완전 연결 3계층으로 연결되는 구조이다. 컨벌루션 계층과 풀링 계층은 생체 신경망의 시각 영역을, 완전 연결 계층은 연관 영역을 모델링했다. 입력 데이터는 (32 x 32 x 1) 이미지 컨벌루션 계층은 (5 x 5) 필터(stride=1) 활성 함수는 시그모이드 혹은 하이퍼볼릭 탄젠트 풀링 계층은 (2 x 2) 필터(stride=2)로 평균 풀링을 통해 액티베이션 맵의 크기를 절반으로 감소 완전 연결 계층은 액티베이션 맵과 같은 크기의 (5 x 5 x 16) 컨벌루션 필터 120개로 크기가 120인 ..
Paper ImageNet Classification with Deep Convolutional Neural Networks(NIPS 2012) 본 논문의 코드 구현은 깃허브에서 확인 가능합니다. 0. Abstract ImageNet LSVRC-2010 대회에서 120만 개의 고해상도 이미지를 1000개의 다른 이미지로 분류하기 위해 크고 깊은 convolutional neural network를 훈련시켰다. 테스트 데이터에서 이전의 SOTA 모델보다 나은 37.5%, 17.0%의 top-1 error rate와 top-5 error rate를 달성했다. 6천만 개의 파라미터들과 650,000개의 뉴런으로 구성된 neural network는 5개의 convolutional layers로 구성되며, 그 중..
