머신러닝의 네가지 분류

지도 학습(supervised learning)

샘플 데이터가 주어지면 알고 있는 타겟(annotation)에 입력 데이터를 매핑하는 방법을 학습

• OCR
• 음성인식
• Image Classification
• 언어번역

등등 거의 모든 애플리케이션이 이 범주에 속함

대부분 분류와 회귀로 구성되지만 다음과 같은 특이한 변종도 많다.

• 시퀀스 생성(squence generation) : 사진이 주어지면 이를 설명하는 캡션을 생성. 시퀀스 생성은 일련의 분류 문제로 재구성할 수 있음.
• 구문 트리(syntax tree) 예측 : 문장이 주어지면 분해된 구문 트리를 예측.
• 물체 감지(object detection) : 사진이 주어지면 사진 안의 특정 물체 주위에 경계 상자(bounding box)를 그림.
  상자의 내용을 분류하는 문제로 표현되거나, 경계 상자의 좌표를 벡터 회귀로 예측하는 회귀와 분류가 결합된 문제로 표현할 수 있음.
• 이미지 분할(image segmentation) : 사진이 주어졌을 때 픽셀 단위로 특정 물체에 마스킹(masking)을 함.

비지도 학습(unsupervised learning)

어떤 타겟도 사용하지 않고 입력 데이터에 대한 흥미로운 변환을 찾는다.
데이터 시각화, 데이터 압축, 데이터의 노이즈 제거, 데이터에 있는 상관관계를 더 잘 이해하기위해 사용.
데이터 분석에서 주로 사용하며 지도 학습 문제를 풀기 전에 필수적으로 거치는 단계.
**차원 축소(dimensionality reduction)**와 **군집(clustering)**이 비지도 학습에서 잘 알려진 범주

자기 지도 학습(self-supervised learning)

지도 학습의 특별한 경우이지만 별도의 범주로 할 만큼 충분히 다름.
지도 학습이지만 사람이 만든 레이블을 사용하지 않음.
즉 학습 과정에 사람이 개입하지 않는 지도 학습이라고 생각할 수 있음.
레이블은 필요하지만 보통 경험적인 알고리즘(heuristic algorithm)을 사용해서 입력 데이터로부터 생성

• 오토인코더(autoencoder)
• 지난 프레임이 주어졌을 때 비디오의 다음 프레임을 예측
• 이전 단어가 주어졌을 때 다음 단어를 예측하는 것

강화 학습(reinforcement learning)

강화 학습에서 에이전트(agent)는 환경에 대한 정보를 받아 보상을 최대화하는 행동을 선택하도록 학습된다.

• 아타리
• 알파고
• 자율 주행 자동차
• 자원 관리
• 교육

분류와 회귀에서 사용하는 용어

• 샘플 또는 입력 : 모델에 주입될 하나의 데이터 포인트.
• 예측 또는 출력 : 모델로부터 나오는 값.
• 타깃 : 정답, 외부 데이터 소스에 근거하여 모델이 완벽하게 예측해야하는 값.
• 예측 오차 또는 손실 값 : 모델의 예측과 타겟 사이의 거리를 측정한 값.
• 클래스 : 분류 문제에서 선택할 수 있는 가능한 레이블의 집합.
  예를 들어 고양이와 강아지 사진을 분류할 때 클래스는 ‘고양이’, ‘강아지’ 2개이다.
• 레이블 : 분류 문제에서 클래스 할당의 구체적인 사례.
  예를 들어 사진1에 ‘강아지’클래스가 들어 있다고 표시한다면 ‘강아지’는 사진1의 레이블이 된다.
• 참 값(ground-truth) 또는 꼬리표(annotation) : 데이터 셋에 대한 모든 타겟, 일반적으로 사람에 의해 수집.
• 이진 분류 : 각 입력 샘플이 2개의 배타적인 범주로 구분되는 분류 작업.
• 다중 분류 : 각 입력 샘플이 2개 이상의 범주로 구분되는 분류 작업.
  예를 들어 손글씨 숫자 분류를 말한다.
• 다중 레이블 분류 : 각 입력 샘플이 여러 개의 레이블에 할당될 수 있는 분류 작업.
  예를 들어 하나의 이미지에 고양이와 강아지가 모두 들어 있을 때는 ‘고양이’ 레이블과 ‘강아지’ 레이블을 모두 할당해야 함.
• 스칼라 회귀 : 타겟이 연속적인 스칼라 값인 작업. 주택 가격 예측이 좋은 예이다.
• 벡터 회귀 : 타겟이 연속적인 값의 집합인 작업. 예를 들어 연속적인 값으로 이루어진 벡터(이미지에 있는 경계 상자의 좌표 등)
  여러 개의 값에 대한 회귀를 한다면 벡터 회귀이다.
• 미니 배치 또는 배치 : 모델에 의해 동시에 처리되는 소량의 샘플 묶음(일반적으로 8개에서 128개 사이).
  샘플 개수는 GPU의 메모리 할당이 용이하도록 2의 거듭제곱으로 하는 경우가 많다.
  훈련할 때 미니 배치마다 한 번씩 모델의 가중치에 적용할 경사 하강법 업데이트 값을 계산한다.