목록2024/08 (12)
working_helen
이전 포스트에서 다룬 RNN, LSTM 개념을 기반으로 NMT (Neural Machine Translation)의 개념과 Seq2Seq 모델에 대해 학습해본다. Seq2Seq 모델에 관한 논문 "Sequence to Sequence Learning with Neural Networks"를 리뷰한다. 1. NMT2. Seq2Seq3. 논문 리뷰 1. NMT 1) SMT (Statistical Machine Translation, 통계 기반 기계번역) - 대규모 데이터를 사용해 확률적으로 번역하는 방법 - 단어와 구문의 번역 데이터를 확보해 일종의 번역 사전을 생성하고 입력 문장을 단어와 구로 분할하여 가장 연관성이 높은 번역 결과를 선택- 희귀 단어와 구문에 대한 데이터의 부재, 대규모 메모리 요구 ..
NMT (Neural Machine Translation)에 관해 학습하기 위해 NMT에서 seqeunce data 처리를 위해 사용되는 RNN과 LSTM을 먼저 학습해본다. 1. RNN2. LSTM 1. RNN1) RNN의 등장배경 ① 순차적 데이터 처리의 어려움 - sequential problem : 현실 데이터는 순서를 가지는 sequential data인 경우가 많음 - 자연어 처리, 음성인식, 기계번역, 시계열 예측 등 - sequential data는 이전의 state가 다음 state에 영향을 미치는 구조이기 때문에 이전 상태의 정보를 보존하여 현재의 입력과 함께 처리할 수 있어야 함 - DNN은 각각의 입력을 독립적으로 처리하기 때문에 이전 state의 정보를 제대로 반영하지 못함 ② ..