working_helen

1. Language Model 2. n-gram Language Models 3. NNLM 4. RNN 1. Language Model (LM) - 가능한 모든 word sequence에 대하여 확률을 계산하는 모델 - 이전 단어들이 주어졌을 때 특정 단어가 그 다음으로 올 확률을 계산하는 모델 - 이전 단어들로부터 다음 단어를 예측하는 모델 - 2가지 접근방식 통계적 언어 모델(Statistical Language Model, SLM) : n-gram 인공 신경망 언어 모델(Neural Network Based Language Model) : RNN w : 각각의 단어 W : n개의 단어가 등장하는 word sequence = text n-1개의 word sequence 뒤에 n번째 단어의 확률 te..

1. Word Embedding2. Word2Vec 3. Word2Vecd의 학습 4. Skip-gram5. CBOW 1. Word Embedding 1) one-hot encoding- encoding : 입력 데이터를 컴퓨터가 처리할 수 있는 특정한 형식으로 변환해주는 과정 - NLP 초기엔 특정 단어의 등장 여부를 1과 0으로 표현하는 one-hot encoding 방식을 사용해  각각의 words를 단어 벡터로 수치화단어의 의미가 전혀 반영되지 않으므로 단어 벡터 간 유사성, 단어 벡터 간 수치 계산 등을 고려하지 못함 sparse vector를 생성하기 때문에 단어 수가 많아지면 과도하게 많은 파라미터를 사용하는 고차원 벡터가 됨   2) Embedding - embedding : 데이터의 의미..

현재까지 발전해온 다양한 CNN 구조의 모델에 대해 공부해본다. 1. ImageNet Classification Challenge 2. LeNet 3. AlexNet 4. VGG (Visual Geometry Group) 5. ResNet (Residual Network) 1. ImageNet Classification Challenge - CNN 기반 이미지 분류 모델의 성능을 평가하기 위해 매년 열린 대회 - 1.2 million 크기의 이미지와 1000개의 class(categroy)를 가지는 거대 데이터셋 ImageNet Dataset을 분류 2. LeNet 4 layers = 3 convolution layers + 1 fully-connected layers input : 32 x 32 흑백 ..

CNN의 구성 요소 Convolution Layer Pooling Layers Fully-Connected Layer Activation Function Normalization CNN의 구성 요소 중 'Convolution Layer'와 'Pooling layer'에 대해 공부해본다. 1. Convolutional Neural Networks 2. Convolution layer 구조 3. convolution layer 계산 4. Pooling layer 1. Convolutional Neural Networks (CNN) 1) CNN의 등장 배경 - Fully-Connected Layer만으로 구성된 Neural Networks는 1차원 벡터 형태의 input만 받을 수 있다. - 위 그림과 같이 ..

CNN의 구성 요소 Convolution Layer Pooling Layers Fully-Connected Layer Activation Function Normalization CNN의 구성 요소 중 'Fully-Connected Layer'에 대해 공부해본다. 1. Neural Network 2. Neural Network Optimization 3. BackPropagate 1. Neural Network : 인간의 신경망 구조를, 노드 간 연결을 통해 모방한 인공 네트워크 구조 - 인간의 뇌는 연결된 뉴런들로 구성 + 뉴런에서 뉴런으로 전기적 신호 전달 + 이때 전기적 신호의 크기가 충분히 크지 않으면 해당 신호는 전달되지 않음 - 인공신경망은 연결된 노드들로 구성 + 노드에서 노드로, layer..

인공지능 CV 분야의 SVD를 이용한 image compression 과정에 대해 학습한다. 1. SVD 2. Low-Rank approximation 3. Image Compression (이미지 압축) 4. 실습 코드 1. SVD (Singular Value Decomposition, 특이값분해) : 모든 실수 행렬에 사용할 수 있는 행렬 분해 (matrix factorization) 1) A = UΣV' U mxm orthogonal matrix AA'의 고유벡터를 각 열로 하는 행렬 V nxn orthogoanl matrix A'A의 고유벡터를 각 열로 하는 행렬 Σ mxn diagonal matirx A의 고유값을 대각성분으로 하는 행렬 np.sqrt(A'A 혹은 A'A의 고유값) 값을 대각성분..