텐서플로로 배우는 딥러닝 2

텐서플로로 배우는 딥러닝 2

 

컨블루션 신경망 CNN 

• 이미지 분야의 최적화된 인공신경망 구조
• 컨블루션층, 풀링층으로 구성.
• 컨블루션층 : 컨블루션 연산, 합성곱
• 어떤 커널을 사용하냐에 따라 다양한 특징을 추출할 수 있음(활성화 맵을 만든다.)
• Edge Detection Kernel, Sharpen Kernel, Box Blur Kernel
• 풀링(Sub Sampling) : 최대값 풀링, 평균값 풀링, 최소값 풀링
• 이미지 차원을 축소시켜 연산량을 감소시킨다
• 이미지의 강한 특징만을 추출하는 특징 선별 효과가 있음
• 완전 연결층

 

순환 신경망(RNN)

• 자연어 처리 문제에 사용되는 인공 신경망 구조
• 시계열 데이터를 다루기에 최적화
• 은닉층(순환구조)를 가지고 있어서 ANN과 다름
• 이전 상태에 따른 정보를 Memory 형태로 저장
• 경사도 사라짐 문제 : 장기 기억력을 가지지 못한다
• LSTM(Long-Short Term Memory Networks) : 장/단기 기억 네트워크. 경사도 문제를 해결하기 위해 제안됨
• Input Gate, Forget Gate, Output Gate
• 인풋 게이트는 현재 시간에 따른 인풋 데이터의 영향력을 반영할지 말지 (열린 상태, 닫힌 상태)로 결정하고, 포켓 게이트의 출력값은 이전 시간에 있던 인풋 데이터의 영향력을 반영할지 말지 결정

 

• GRU : 리셋 게이트와 업데이트 게이트를 가지고 있음
• 소프트맥스 회귀
• 크로스 엔트로피 손실함수
  
  

임베딩 

• 자연언어 처리 문제를 다룰 때 많이 쓰임
• Sparse한 One-hot Encoding -> Dense한 표현 방법으로 변환
• 차원을 축소해서 연산량이 감소
• 비슷한 의미를 비슷한 값으로 표현

 

Char-RNN

• 희곡 시나리오/ C언어 문법 구조

 

디자인 철학

• 대표적인 CNN 모델들 : AlexNet, VGGNet, GoogLenet, ResNet
• 정확도 높은 CNN구조, 다양한 환경으로 구성된 테스트 DataSet 필요
• ILSVRC 대회가 있다. (From 2010)
• AlexNet : 딥러닝 붐을 일으킨 모델
• VGGNet : 상대적 작은 컨블루션 필터를 사용, 간결한 구조
• GoogLenet : 인셉션 모듈, 파라미터 수는 감소, 1X1 컨블루션 필터를 추가하여 차원을 축소
• ResNet : CNN의 깊이를 152 layer로 만듦, Residual Block
• tf.train.CHeckpointManager API 사용

 

컴퓨터 비전 응용분야와 딥러닝 학습법

• Image Classification
• Face Dectection, Face Alignment
• Steering Angle Prediction
• Super Resolution
• Object Detection
• Image Captioning
• Semantic Image Segmentation
• Brain Tumor Segmentation

 

딥러닝 학습의 요구능력

• 수학적 지식: 선형대수, 확률과 통계, 최적화 이론
• 기초 딥러닝 모델링에 대한 이해 : ANN, 오토인코더, CNN, RNN
• 도메인 문제 응용능력
• 프로그래밍 : 파이썬과 딥러닝 라이브러리 
• 데이터 라벨링 필요 : 공개 DataSet 정제, 직접 Labelling, 외주 업체를 이용한 Labelling

 

딥러닝 학습법

Level1 - 기초단계, 모델 학습

Level2 - 머신러닝 알고리즘 구현 방법을 학습

Level3 - Toy Project 응용하기

Level4- 최신 논문을 읽고 직접 구현하기

Level5 - 다양한 알고리즘, 구조를 실무 혹은 프로젝트에 적용 및 응용

 

참고 

• 텐서플로로 배우는 딥러닝 / 저자 : 솔라리스
  https://book.naver.com/bookdb/book_detail.nhn?bid=14134211
• http://solarisailab.com/