오늘 살펴볼 논문은 Nvidia에서 발표한 “LLM Pruning and Distillation in Practice: The Minitron Approach”이다. 해당 논문은 Nvidia에서 Minitron의 Pruning과 Distillation을 적용한 과정과 실질적인 결과들을 기록한 논문이다. 해당 논문에서는 LLama 3.1 모델과 Mistral NeMO 모델을 압축시킨 결과들을 정리하였다. LLM은 LLama 3,1에서 8B, 70B, 405B를 출시한 것과 같이 사용하려는 목적과 스케일에 더 읽기
LLM
RAG의 파인튜닝 관련 논문 리뷰: RAFT, DuetRAG, ATM
오늘 리뷰해볼 논문은 RAG를 위한 파인튜닝과 관련된 논문들이다. 1.RAFT: Adapting Language Model to Domain Specific RAG 2.DUETRAG: COLLABORATIVE RETRIEVAL-AUGMENTED GENERATION 3.ATM: Adversarial Tuning Multi-agent System Makes a Robust Retrieval-Augmented Generator 일반적으로 LLM을 활용하는 방법으로는 In-Context Learning을 하는 방법과 Fine-Tuning을 하는 방법이 있다. RAG는 검색된 결과를 컨텍스트에 포함시키고 해당 컨텍스트를 참조하여 더 읽기
논문 리뷰: TAT-LLM: A Specialized Language Model for Discrete Reasoning over Tabular and Textual Data + (TableLLama)
오늘은 TAT-DQA에 이어서 TAT-LLM을 리뷰해보려고 한다. TAT-LLM은 TAT-QA와 같은 표와 텍스트를 모두 읽고 답하는 태스크를 LLM을 이용해서 구현한 모델이다. 그림 1. TAT(Table-and-Text) 관련 태스크 예시 이번 논문에서는 표와 텍스트를 동시에 다루는 QA 벤치마크인 TAT-QA, TAT-DQA, FinQA를 대상으로 실험을 진행하였다. 그림 2. TAT-LLM 모델 구조 위의 그림은 TAT-LLM의 전체적인 구조를 더 읽기