오늘 다룰 주제는 내재/외재 지식의 통합에 관한 것이다. 내재 지식은 LLM의 파라미터 내부에 내재하고 있는 지식들을 활용해서 질의응답을 수행하거나 어떠한 태스크를 수행하는 것을 의미한다. 예를 들어, 별도의 지식을 프롬프트로 제공하지 않고 Open-domain QA를 수행하는 것이 이에 해당한다고 볼 수 있다. 외재 지식은 LLM에 내재하는 지식이 아닌 외부 지식을 활용하여 더 읽기
미분류
REPLUG: Retrieval-Augmented Black-Box Language Models
오늘 살펴볼 논문은 “REPLUG: Retrieval-Augmented Black-Box Language Models”이다. REPLUG는 RAG 시스템에서 Black Box LLM을 활용할 때, 이를 이용해서 Retriever를 학습하는 방법에 관한 논문이다. 아래의 그림은 기존 RAG 시스템과 REPLUG 방법의 차이점을 보여준다. 그림 1. 기존 RAG에서의 모델 튜닝 방식과 REPLUG 방법과의 비교 일반적으로 RAG 시스템의 구현에서 학습을 더 읽기
PROMPTAGATOR : FEW-SHOT DENSE RETRIEVAL FROM 8 EXAMPLES
오늘 간단하게 소개할 논문은 “PROMPTAGATOR : FEW-SHOT DENSE RETRIEVAL FROM 8 EXAMPLES”이다. 해당 논문은 Supervision 데이터셋이 없는 환경에서 학습을 해야 하는 “Few-shot Dense Retrieval” 태스크를 다루고 있다. 그림 1. 다양한 Retriever 모델 비교 및 Promptgator 모델의 성능 비교 Retrieval 방법으로는 Unsupervised, Supervsied, Few-shot의 3가지 방법이 있다. Unsupervised는 더 읽기
RAG Survery Paper (1) – Query Optimization
오늘은 “Retrieval-Augmented Generation for Large Language Models: A Survey”의 논문에서 소개되고 있는 다양한 논문들을 살펴볼 예정이다. 해당 논문에서는 RAG의 다양한 방법 및 모델들을 정리한 Survery 논문이다. 이번 글은 해당 논문의 다양한 부분 중 Query Optimization 부분에 소개된 논문들을 살펴볼 예정이다. 살펴볼 논문의 목록은 아래와 같다. (1) Chain-of-Verification Reduces Hallucination in 더 읽기
Parallel Context Windows for Large Language Models & Sparse Context RAG
오늘 살펴볼 논문은 “Accelerating Inference of Retrieval-Augmented Generation via Sparse Context Selection”과 해당 논문의 기반이 되는 “Parallel Context Windows for Large Language Models “이다. 우선 PCW(Parallel Context Window)는 기존의 LLM에서 In-context Learning을 위해 매우 긴 길이의 컨텍스트 데이터를 사용할 때 발생하는 문제들을 해결하기 위한 방법이다. Transformer 기반의 모델은 Self-Attention 더 읽기
논문 정리: RAGCache: Efficient Knowledge Caching for Retrieval-Augmented Generation
오늘 살펴볼 논문은 RAG Cahe라는 논문이다. KV Cache는 토큰을 하나씩 생성하면서 이전 생성 단계에서 연산했던 Key와 Value를 Cache에 저장하여 중복 연산을 방지함으로써 실행 시간을 크게 개선할 수 있었다. RAG Cache는 이러한 Cache 기법을 RAG(Retrieval Augmented Generation) 시스템의 관점에서 적용한 방법이다. 그림 1. RAG의 실행 과정 RAG에서는 Retrieval 과정을 더 읽기
박사 학위논문: “다양한 도메인과 데이터 형식에 강건한 사전학습 언어모델 기반의 표 질의응답 방법”
제목: 다양한 도메인과 데이터 형식에 강건한 사전학습 언어모델 기반의 표 질의응답 방법 요약 표 데이터는 다양한 도메인의 문서에 존재하며, 표 데이터가 존재하는 문서나 데이터의 도메인에 따라 표의 형태와 사용되는 데이터가 크게 달라질 수 있다. 이에 따라, 이러한 다양한 형태나 도메인의 표 데이터에 대응할 수 있는 적합한 학습 방법이 더 읽기
VQA Dataset: Towards Complex Document Understanding By Discrete Reasoning(TAT-DQA) 정리
오늘 다룰 논문은 “Towards Complex Document Understanding By Discrete Reasoning”으로 TAT-QA 데이터셋의 후속 연구인 TAT-DQA 데이터셋을 소개하는 논문이다. 그림 1. TAT-DQA 예시 TAT-DQA는 표와 텍스트 데이터에 대한 추론을 하여 질문에 대한 답을 해야하는 테스크인 TAT-QA를 확장한 버전인데, PDF 문서를 가져와서 바로 QA에 적용했다는 특징을 가지고 있다. 처음에 이 논문을 더 읽기
연구동향 정리: Synthetic Data Generation for Table Question Answering and Semantic Parsing
공개되고 있는 여러 모델의 사전학습에는 엄청나게 많은 데이터들이 이용되고 있다. 자연어 기반의 사전학습 데이터는 다양한 매체에서 다양한 형태나 정보의 데이터를 수집하는 것이 가능하지만, 표 데이터를 이용하는 사전학습 데이터는 종류가 다양하지도 않으며 엄청나게 많이 구하는데에 한계가 존재한다. 또한 사전학습 과정에서 유의미한 의미를 도출하려면 표 데이터뿐만 아니라 해당 표 데이터와 함께 얻을 더 읽기
Table Retrieval May Not Necessitate Table-specific Model Design
오늘 정리해볼 논문은 “Table Retrieval May Not Necessitate Table-specific Model Design”이다. 여러 논문에서 Table Retrieval에는 테이블에 특화된 모델 구조(Table Specific Model Archirecture)이 적용되었고 특화된 모델 구조가 효과적이라고 주장을 해왔다. 이 논문에서는 이러한 주장과 반대로 Table Retrieval에서 표에 특화된 모델 구조가 꼭 필요하지 않을 수 있다고 주장을 한다. NQ(Natural Questions) 데이터셋에서 더 읽기