[딥러닝 논문 리뷰]Attention Is All You Need 논문 리뷰 (Transformer)
·
Data Science/딥러닝 논문 리뷰
Abstact 기존의 주요 시퀀스 변환 모델들은 복잡한 RNN(순환 신경망)이나 CNN(합성곱 신경망)을 기반으로 하며, 인코더와 디코더를 포함.기존의 가장 성능이 좋은 시퀀스 변환 모델들 또한 인코더와 디코더를 Attention 메커니즘을 통해 연결하는 구조.이 저자들은 RNN, CNN을 완전히 배제하고 Attention을 기반으로 한 Transformer모델을 제안.Transformer 모델은 더 좋은 품질, 더 좋은 병렬성, 더 짧은 학습시간을 자랑하며 SOTA (State Of The Art)모델에 등극. (WMT 2014 Englishto-German translation, WMT 2014 English-to-French translation)1. Introduction 기존 RNN계열 모델들의..
ILSVRC (Image Large Scale Visual Recognization Challenge)
·
Data Science/ML & DL
ILSVRC (Image Large Scale Visual Recognization Challenge)  2012년도부터 DNN(Deep Nueral Network)를 사용하면서 성능이 비약적으로 증가됨 -> Deep Learning의 Boom 시작이후 Layer 수가 증가하면서 VGG, GoogleNet, ResNet이 등장하면서 발전 AlexNet 이미지 분야에서 Deep Learning의 Boom을 일어낸 알고리즘 약 84%의 성능  AlexNet의 특징 최초로 CNN Layer를 deep하게 구성(5개)이미지 분야에서 최초로 ReLU Activation function을 사용 VGG - 19  VGG -, 뒤에 붙은 숫자가 layer의 개수를 뜻함약 93%의 성능  Conv Layer를 19개로 ..
이미지를 위한 인공지능, CNN
·
Data Science/ML & DL
Pixel이란? 컴퓨터가 색의 강도를 인식하는 방법 (picture + element) Picture: 사진, 그림Element: 요소, 항목  컴퓨터는 색을 어떻게 표현하는가? (대체적으로 R, G, B)  만약 웹 색상이 ##93DAFF이라면 93: Red를 표현하는 2개의 16진수DA: Gree을를 표현하는 2개의 16진수FF: Blue를 표현하는 2개의 16진수 구체적으로 컴퓨터는 색을 어떻게 표현하는가? 다양한 Chanel로 이미지의 색상을 표현  왜 컴퓨터가 색을 인식하기 위해 Pixel을 사용하는가? 이미지를 전자적으로 표현하는 방식이며 단위  화소 = 픽셀(Pixel)해상도: 한 화면이 몇 개의 Pixel로 나뉘어져 있는지를 의미8K 해상도: 가로에 약 8000개의 Pixel이 있는 해상도..
인공지능을 위한 평가방법 Mextics(Accuracy, Confusion Matrix, ROC, AUC
·
Data Science/ML & DL
Metrics 지표(Metrics)는 성능, 진행 상황, 또는 효율성을 정량적으로 측정하기 위해 사용되는 값이나 수치비즈니스, 과학, 엔지니어링, 교육 등 다양한 분야에서 사용되며, 개인이나 조직의 목표 달성 정도를 평가하고, 전략을 계획하는데 중요한 역할 Example1  선형회귀(Linear Regression)으로 만들어진 두 인공지능 예측모델이 있다.학습 데이터의 정답($y$)과 인공지능의 모델의 예측값($h$ or $\widehat{y}$)이 아래와 같을 때, 어떤 인공지능이 더 뛰어난가? Example2  선형회귀(Liner Regression)으로 만들어진 두 인공지능 분류모델이 있다학습데이터의 정답(y)과 인공지능 모델의 예측값(h or y’)이 아래와 같을 때, 어떤 인공지능이 더 뛰어난..
HaSeon9
'분류 전체보기' 카테고리의 글 목록 (2 Page)