Data Science

데이터의 양충분하지 않은 양의 훈련 데이터로 모델을 학습할 경우, 일반적으로 성능이 떨어진다.Example그 예시로 아주 복잡한 음성 인식 태스크의 경우를 보면 아래와 같다. Microsoft 연구자 Michele Banko와 Eric Brill은 2001년 한 논문에서 충분한 데이터가 주어지면 아주 간단한 모델을 포함한 머신러닝 알고리즘이 복잡한 자연어 중의성 해소 문제를 거의 비슷하게 잘 처리한다는 사실을 보여주었다.시간과 돈이 소요되는 알고리즘 개발과 말뭉치(copus) 개발 사이의 trade-off, 알고리즘 대비 데이터의 중요성을 시사한다.  데이터의 대표성 어떠한 태스크를 수행하기 위해 머신러닝 모델을 학습 할 때에는 그 태스크에 대한 데이터를 대표할 수 있는 데이터로 학습해야 한다.대표성이 ..

지도 학습 (Supervised learning)훈련 데이터에 Label을 포함하여 학습시키는 방식-> 정답을 같이 제공하여 모델이 학습 Example분류(Classification)회귀(Regression)비지도 학습 (Unsupervised learning)훈련 데이터에 Label을 포함하지 않고 학습하는 방식-> 알고리즘이 스스로 패턴 탐지 및 학습 Example군집화(Clustering)차원 축소(Dimensionality Reduction)이상치 탐지(Outlier Detection)준지도 학습 (Semi-supervised learning)학습 데이터에 label이 일부분만 있는 데이터로 학습하는 방식 ExampleGoogle photo: 가족 사진을 모두 올리고 사람마다 label을 하나만 ..

Abstact 기존의 주요 시퀀스 변환 모델들은 복잡한 RNN(순환 신경망)이나 CNN(합성곱 신경망)을 기반으로 하며, 인코더와 디코더를 포함.기존의 가장 성능이 좋은 시퀀스 변환 모델들 또한 인코더와 디코더를 Attention 메커니즘을 통해 연결하는 구조.이 저자들은 RNN, CNN을 완전히 배제하고 Attention을 기반으로 한 Transformer모델을 제안.Transformer 모델은 더 좋은 품질, 더 좋은 병렬성, 더 짧은 학습시간을 자랑하며 SOTA (State Of The Art)모델에 등극. (WMT 2014 Englishto-German translation, WMT 2014 English-to-French translation)1. Introduction 기존 RNN계열 모델들의..

ILSVRC (Image Large Scale Visual Recognization Challenge)  2012년도부터 DNN(Deep Nueral Network)를 사용하면서 성능이 비약적으로 증가됨 -> Deep Learning의 Boom 시작이후 Layer 수가 증가하면서 VGG, GoogleNet, ResNet이 등장하면서 발전 AlexNet 이미지 분야에서 Deep Learning의 Boom을 일어낸 알고리즘 약 84%의 성능  AlexNet의 특징 최초로 CNN Layer를 deep하게 구성(5개)이미지 분야에서 최초로 ReLU Activation function을 사용 VGG - 19  VGG -, 뒤에 붙은 숫자가 layer의 개수를 뜻함약 93%의 성능  Conv Layer를 19개로 ..