현재 RAG는 매우 많은 분야에서 다양한 응용으로 적용되고 있다. 하지만, RAG는 단순하게 관련성을 기반으로 몇 개의 데이터들을 가져와서 한번의 LM 호출(Single LM invocaton)으로 결과를 생성한다. 이러한 모델은 일부 답변가능한 질문들 밖에 처리할 수 없으며, Computational 태스크인 Counting, Math, Filtering과 같은 연산에서는 에러에 취약할 수 밖에 없다. 이러한 점을 고려하여, 해당 더 읽기
신경망 기반 게임엔진 “DIFFUSION MODELS ARE REAL-TIME GAME ENGINES”
오늘 살펴볼 논문은 “DIFFUSION MODELS ARE REAL-TIME GAME ENGINES”이다. 해당 논문은 완전히 신경망 기반 모델을 기반으로 동작하는 실시간(Real-time) 게임엔진에 관한 논문이다. 해당 논문을 통해서 1장의 TPU로 20 FPS의 둠 게임을 구동할 수 있었다고 한다. 컴퓨터 게임들은 손수 제작된 소프트웨어 시스템으로 다음과 같은 게임 루프로 구성되어 있다: 유저들의 입력을 받는다 게임의 더 읽기
논문 리뷰: LLM Pruning and Distillation in Practice: The Minitron Approach
오늘 살펴볼 논문은 Nvidia에서 발표한 “LLM Pruning and Distillation in Practice: The Minitron Approach”이다. 해당 논문은 Nvidia에서 Minitron의 Pruning과 Distillation을 적용한 과정과 실질적인 결과들을 기록한 논문이다. 해당 논문에서는 LLama 3.1 모델과 Mistral NeMO 모델을 압축시킨 결과들을 정리하였다. LLM은 LLama 3,1에서 8B, 70B, 405B를 출시한 것과 같이 사용하려는 목적과 스케일에 더 읽기
파인튜닝할 레이어를 동적으로 골라주는 Flexora: Flexible Low Rank Adaptation for Large Language Models
LLM은 매우 다양한 분야의 태스크에서 압도적으로 높은 성능을 보여주고 있다. 하지만 LLM의 지식의 범위를 벗어나게 되면 제대로 작동하지 않을 수 있는데, 이 때는 일반적으로 파인튜닝을 통해서 새로운 태스크의 패턴이나 지식을 학습시키게 된다. LLM을 효율적으로 학습시키기 위한 PEFT(Parameter-Efficient Finetuning) 방법으로 LoRA가 가장 많이 사용되고 있다. 이러한 LoRA는 DoRA, AdaLoRA 등 다양한 더 읽기
LLM 기반의 Text-to-SQL: A Survey on Employing Large Language Models for Text-to-SQL Tasks
이번에 살펴볼 논문은 “A Survey on Employing Large Language Models for Text-to-SQL Tasks”으로 LLM을 이용한 Text-to-SQL 태스크를 Survey한 논문을 살펴보려고 한다. 우선 Text-to-SQL 태스크는 자연어 질문이 있으면 해당 질문에 대한 답을 얻기 위한 SQL 쿼리를 생성하는 태스크이다. 자연어 쿼리와 테이블 데이터를 입력받고 정답을 출력하도록 하는 Semantic-Parsing 태스크와 유사하다고 볼 수 더 읽기
논문 정리: TABLEFORMER: Robust Transformer Modeling for Table-Text Encoding
오늘 살펴볼 논문은 “TABLEFORMER: Robust Transformer Modeling for Table-Text Encoding”이다. 해당 논문은 TAPAS의 문제점을 지적하고 해당 모델을 개선한 모델이다. 그림 1. 기존 표 인코딩 모델의 문제점 제시 그림 2. TAPAS에 입력되는 임베딩 목록 위의 그림은 TAPAS의 한계점을 지적하고 있다. 우선 TAPAS에서 제안했던 핵심 아이디어를 살펴보면, 2차원 구조를 가지는 더 읽기
rsLoRA & Pissa: 다양한 LoRA의 확장 메소드
(기록용 리뷰는 개인적인 기록을 위해서 남기는 글로 설명에 오류가 포함될 수 있습니다. 오류가 있다면 댓글로 언제든지 알려주세요) 허깅페이스의 PEFT에 올라와있는 모델들을 하나씩 살펴보면서 해당 논문들의 내용을 기록해두기 위해서 글을 작성하게 되었다. 먼저 살펴볼 논문은 “A Rank Stabilization Scaling Factor for Fine-Tuning with LoRA ” (rsLoRA)이다. 우선 rsLoRA는 기존의 LoRA에서 되게 더 읽기
RAG의 파인튜닝 관련 논문 리뷰: RAFT, DuetRAG, ATM
오늘 리뷰해볼 논문은 RAG를 위한 파인튜닝과 관련된 논문들이다. 1.RAFT: Adapting Language Model to Domain Specific RAG 2.DUETRAG: COLLABORATIVE RETRIEVAL-AUGMENTED GENERATION 3.ATM: Adversarial Tuning Multi-agent System Makes a Robust Retrieval-Augmented Generator 일반적으로 LLM을 활용하는 방법으로는 In-Context Learning을 하는 방법과 Fine-Tuning을 하는 방법이 있다. RAG는 검색된 결과를 컨텍스트에 포함시키고 해당 컨텍스트를 참조하여 더 읽기
논문 리뷰: TAT-LLM: A Specialized Language Model for Discrete Reasoning over Tabular and Textual Data + (TableLLama)
오늘은 TAT-DQA에 이어서 TAT-LLM을 리뷰해보려고 한다. TAT-LLM은 TAT-QA와 같은 표와 텍스트를 모두 읽고 답하는 태스크를 LLM을 이용해서 구현한 모델이다. 그림 1. TAT(Table-and-Text) 관련 태스크 예시 이번 논문에서는 표와 텍스트를 동시에 다루는 QA 벤치마크인 TAT-QA, TAT-DQA, FinQA를 대상으로 실험을 진행하였다. 그림 2. TAT-LLM 모델 구조 위의 그림은 TAT-LLM의 전체적인 구조를 더 읽기
VQA Dataset: Towards Complex Document Understanding By Discrete Reasoning(TAT-DQA) 정리
오늘 다룰 논문은 “Towards Complex Document Understanding By Discrete Reasoning”으로 TAT-QA 데이터셋의 후속 연구인 TAT-DQA 데이터셋을 소개하는 논문이다. 그림 1. TAT-DQA 예시 TAT-DQA는 표와 텍스트 데이터에 대한 추론을 하여 질문에 대한 답을 해야하는 테스크인 TAT-QA를 확장한 버전인데, PDF 문서를 가져와서 바로 QA에 적용했다는 특징을 가지고 있다. 처음에 이 논문을 더 읽기