목록2024/08/26 (1)
working_helen
[NLP 학습] 4주차 : PEFT, Quantization
이전 포스트에서 다룬 LLM을 실제 환경에서 더 효율적으로 사용하기 위해서 어떤 연구가 진행되어 왔는지 알아본다. 1. LLM의 한계 2. Parameter Efficient Fine Tuning(PEFT)3. Quantization 양자화 1. LLM의 Scaling law - OpenAI에서 2020년 발표한 "Scaling Laws for Language Models"은 LLM의 성능 향상에 대한 근거 제시 - LM 학습 시 연산량, 데이터셋 규모, 파라미터를 늘리면 test loss가 계속해서 감소함을 실험적으로 보임 모델 사이즈 증가에 따라 모델의 성능이 선형적으로 향상 - 모델 사이즈가 커질수록 성능이 좋아진다는 사실로 인해 대규모 파라미터와 훈련 데이터를 사용하는 LLM이 발전해옴..
deep daiv./NLP 스터디
2024. 8. 26. 14:21