rsLoRA & Pissa: 다양한 LoRA의 확장 메소드

(기록용 리뷰는 개인적인 기록을 위해서 남기는 글로 설명에 오류가 포함될 수 있습니다. 오류가 있다면 댓글로 언제든지 알려주세요) 허깅페이스의 PEFT에 올라와있는 모델들을 하나씩 살펴보면서 해당 논문들의 내용을 기록해두기 위해서 글을 작성하게 되었다. 먼저 살펴볼 논문은 “A Rank Stabilization Scaling Factor for Fine-Tuning with LoRA ” (rsLoRA)이다. 우선 rsLoRA는 기존의 LoRA에서 되게 더 읽기