오늘 리뷰해볼 논문은 RAG를 위한 파인튜닝과 관련된 논문들이다. 1.RAFT: Adapting Language Model to Domain Specific RAG 2.DUETRAG: COLLABORATIVE RETRIEVAL-AUGMENTED GENERATION 3.ATM: Adversarial Tuning Multi-agent System Makes a Robust Retrieval-Augmented Generator 일반적으로 LLM을 활용하는 방법으로는 In-Context Learning을 하는 방법과 Fine-Tuning을 하는 방법이 있다. RAG는 검색된 결과를 컨텍스트에 포함시키고 해당 컨텍스트를 참조하여 더 읽기
LLM
논문 리뷰: TAT-LLM: A Specialized Language Model for Discrete Reasoning over Tabular and Textual Data + (TableLLama)
오늘은 TAT-DQA에 이어서 TAT-LLM을 리뷰해보려고 한다. TAT-LLM은 TAT-QA와 같은 표와 텍스트를 모두 읽고 답하는 태스크를 LLM을 이용해서 구현한 모델이다. 그림 1. TAT(Table-and-Text) 관련 태스크 예시 이번 논문에서는 표와 텍스트를 동시에 다루는 QA 벤치마크인 TAT-QA, TAT-DQA, FinQA를 대상으로 실험을 진행하였다. 그림 2. TAT-LLM 모델 구조 위의 그림은 TAT-LLM의 전체적인 구조를 더 읽기