분류 전체보기

AbstractGradient Descent(경사하강법)은 널리 사용됨하지만 직관적인 설명이 부족해 블랙박스로 활용됨이 글은 다양한 Gradient Descent기법과 최적화 기법들을 소개함병렬·분산 학습 환경에서의 알고리즘 및 추가 학습 전략을 다룸상황에 맞는 옵티마이저를 선택할 수 있도록 도움1. Introduction신경망 최적화에 가장 많이 사용되고, 대부분의 딥러닝 라이브러리에서 제공하지만 블랙박스로 사용됨GD(경사하강법) 최적화를 위한 알고리즘을 소개하고 활용에 도움을 주는 것을 목표로 함Sector별 소개2장: 다양한 경사하강법 변형 기법 소개3장: 학습과정에서 발생하는 난제 요약4장: 가장 일반적인 최적화 알고리즘들 소개 및 학습과정에서 발생하는 난제 해결 방법5장: 병렬 및 분산 환경에서..

데이터의 양충분하지 않은 양의 훈련 데이터로 모델을 학습할 경우, 일반적으로 성능이 떨어진다.Example그 예시로 아주 복잡한 음성 인식 태스크의 경우를 보면 아래와 같다. Microsoft 연구자 Michele Banko와 Eric Brill은 2001년 한 논문에서 충분한 데이터가 주어지면 아주 간단한 모델을 포함한 머신러닝 알고리즘이 복잡한 자연어 중의성 해소 문제를 거의 비슷하게 잘 처리한다는 사실을 보여주었다.시간과 돈이 소요되는 알고리즘 개발과 말뭉치(copus) 개발 사이의 trade-off, 알고리즘 대비 데이터의 중요성을 시사한다.  데이터의 대표성 어떠한 태스크를 수행하기 위해 머신러닝 모델을 학습 할 때에는 그 태스크에 대한 데이터를 대표할 수 있는 데이터로 학습해야 한다.대표성이 ..

AI모델은 시간이 지남에 따라 해당 Task의 환경이 변하는 경우, 모델 성능이 저하되는 경향이 있다.이를 Data Drift라고 부른다.따라서 Data Drift를 해결하기 위해서는 정기적인 or 추가적인 학습이 필요할 때가 있다!이를 해결하기 위한 방법 중 입력 데이터 stream 방식에 따라 구분되는 배치 학습, 온라인 학습과 같은 방법들이 있다.Batch Learning(배치 학습)학습할 때마다 가용한 데이터를 모두 사용하는 학습 방식 특징전통적인 학습 방식일반적으로 시간과 자원을 많이 소모저장된 데이터로 학습하기 때문에 오프라인 방식, 오프라인 학습(Off-line Learning)이라고 불리기도 함새로운 데이터를 학습하려면, 매 번 전체 데이터를 처음부터 다시 학습 해야 함비교적 시간⇡, 비용..

지도 학습 (Supervised learning)훈련 데이터에 Label을 포함하여 학습시키는 방식-> 정답을 같이 제공하여 모델이 학습 Example분류(Classification)회귀(Regression)비지도 학습 (Unsupervised learning)훈련 데이터에 Label을 포함하지 않고 학습하는 방식-> 알고리즘이 스스로 패턴 탐지 및 학습 Example군집화(Clustering)차원 축소(Dimensionality Reduction)이상치 탐지(Outlier Detection)준지도 학습 (Semi-supervised learning)학습 데이터에 label이 일부분만 있는 데이터로 학습하는 방식 ExampleGoogle photo: 가족 사진을 모두 올리고 사람마다 label을 하나만 ..