목록2024/08/19 (1)
working_helen
[NLP 학습] 3주차 : LoRA / 논문 리뷰 : LoRA: Low-Rank Adaptation of Large Language Models
이전 포스트에서 다룬 언어모델에 대한 이해를 바탕으로 LoRA에 대해 학습해본다. LoRA와 관련된 논문 "LoRA: Low-Rank Adaptation of Large Language Models"를 리뷰한다. 1. LoRA 2. 논문 리뷰 1. LoRA- Microsoft Research에서 2021년 발표한 "LoRA: Low-Rank Adaptation of Large Language Models" 논문에서 제안된 모델 - LLM을 더 효율적으로 tuning하기 위한 기술로 주목을 받음 1) LoRA 등장 배경 - NLP에선 대규모 언어모델을 각각의 task에 맞게 fine-tuning하는 것이 일반적이었음 - pre-training 과정에서 어느정도 최적화된 파라미터를 각 task에..
deep daiv./NLP 스터디
2024. 8. 19. 17:26