Data Science

NLP 태스크의 전처리 과정에서, 토큰화(tokenization), 정제(cleaning), 정규화(normalization)와 같은 작업이 수행된다. 토큰화란? (Tokenization) 토큰화는 주어진 코퍼스(corpus)에서 토큰(token)이라 불리는 단위로 나누는 작업이다.토큰의 단위는 상황에 따라 다르지만, 보통 의미있는 단위를 토큰으로 정의한다.ex) 단어, 형태소 한국어 토큰화 영어는 New York같은 합성어나 There's와 같은 줄임말에 대한 예외처리만 한다면, 띄어쓰기를 기준으로 토큰화를 수행해도 의미를 가지고 있는 단위로 볼 수 있는 단어 토큰화가 잘 작동한다.-> 영어는 대부분 단어 단위로 띄어쓰기가 이루어지기 때문이다. 하지만 한국어에서는 띄어쓰기를 기준으로 토큰화를 하면 제대..

목적 함수 (Objective Function) 가장 큰 범위의 개념, 모델이 최적화하고자 하는 함수머신러닝 모델의 목표는 목적함수를 최소화 or 최대화 하는 것일반적으로 손실 함수(Loss Function)이나 비용 함수(Cost Function)을 포함Example)선형 회귀에서 잔차 제곱합(SSE: Sum of Squared Errors)을 최소화 하는 것분류 문제에서 로그 손실(Log Loss)을 최소화 하는 것 비용 함수 (Cost Function) 전체 데이터셋에 대해 모델의 성능을 평가하는 함수모델이 전체 데이터셋에 대해 얼마나 잘 수행하는지를 측정일반적으로 여러 손실 함수(Loss Function)의 평균 또는 합모델 학습 과정에서 최소화 하려는 대상Example)평균 제곱 오차 (MSE:..

배치 학습 (Batch learning) 한 번에 모든 훈련 데이터를 학습시키는 방법새로운 데이터를 추가해 재학습 시키려면, 시간과 자원을 많이 소모일반적으로 오프라인 환경에서 수행되므로, 오프라인 학습(Offline leanring)이라고 부름  점진적 학습 (Incremental learning) 일반적으로 학습이 끝난 모델에 대해, 미니배치(Mini-batch) 라 부르는 작은 묶음 단위의 데이터를 주입하여 학습매 학습 단계가 빠르고 비용이 적게 들어, 시스템은 데이터가 도착하는대로 즉시 학습 가능연속적으로 데이터를 받고 빠른 변화에 스스로 적응해야 하는 시스템에 적합. ex)주가 예측자원이 한정된 환경에 적합이미 학습된 데이터는 필요하지 않아, 저장공간 절약 가능일반적으로 온라인 환경에 수행되므로..

K-Neighbors Regressor을 이용해 학습시킨 모델에 문제가 발생했다!데이터셋 perch_length = np.array([8.4, 13.7, 15.0, 16.2, 17.4, 18.0, 18.7, 19.0, 19.6, 20.0, 21.0, 21.0, 21.0, 21.3, 22.0, 22.0, 22.0, 22.0, 22.0, 22.5, 22.5, 22.7, 23.0, 23.5, 24.0, 24.0, 24.6, 25.0, 25.6, 26.5, 27.3, 27.5, 27.5, 27.5, 28.0, 28.7, 30.0, 32.8, 34.5, 35.0, 36.5, 36.0, 37.0, 37.0, 39.0, 39.0, 39.0, 40.0, 40.0, 40.0, ..