[핸즈온 머신러닝] 훈련 데이터의 중요성: 데이터 전처리, 특성 공학
·
Data Science/핸즈온 머신러닝
데이터의 양충분하지 않은 양의 훈련 데이터로 모델을 학습할 경우, 일반적으로 성능이 떨어진다.Example그 예시로 아주 복잡한 음성 인식 태스크의 경우를 보면 아래와 같다. Microsoft 연구자 Michele Banko와 Eric Brill은 2001년 한 논문에서 충분한 데이터가 주어지면 아주 간단한 모델을 포함한 머신러닝 알고리즘이 복잡한 자연어 중의성 해소 문제를 거의 비슷하게 잘 처리한다는 사실을 보여주었다.시간과 돈이 소요되는 알고리즘 개발과 말뭉치(copus) 개발 사이의 trade-off, 알고리즘 대비 데이터의 중요성을 시사한다. 데이터의 대표성 어떠한 태스크를 수행하기 위해 머신러닝 모델을 학습 할 때에는 그 태스크에 대한 데이터를 대표할 수 있는 데이터로 학습해야 한다.대표성이 ..
