오늘은 Bird Benchmark에 올라온 Text-to-SQL 논문들을 살펴보는 마지막 글이다. 오늘 살펴볼 두 논문은 다음과 같다. The Death of Schema Linking? Text-to-SQL in the Age of Well-Reasoned Language Models CHASE-SQL: Multi-Path Reasoning and Preference Optimized Candidate Selection in Text-to-SQL Distillery 우선 첫 번째 논문부터 살펴보겠다. 첫 번째 논문의 더 읽기
LLM
Bird Benchmark의 Text-to-SQL 논문 정리 – 2 (E-SQL, CHESS)
오늘은 이전 글, Bird Benchmark의 Text-to-SQL 논문 정리 – 1에 이어서 다음 논문들을 정리해볼 예정이다. 오늘 살펴볼 논문은 다음 두 가지이다. E-SQL: Direct Schema Linking via Question Enrichment in Text-to-SQL CHESS: Contextual Harnessing for Efficient SQL Synthesis E-SQL Text-to-SQL 작업을 엔터티 및 문맥 검색, 스키마 선택, 쿼리 더 읽기
Bird Benchmark의 Text-to-SQL 논문 정리 – 1
오늘 작성할 글은 Bird Benchmark 리더보드에 등록되어 있는 모델들의 논문을 차례대로 정리해보려고 한다. 논문명 날짜 DIN-SQL: Decomposed In-Context Learning of Text-to-SQL with Self-Correction 2023.04 Text-to-SQL Empowered by Large Language Models: A Benchmark Evaluation 2023.11 Text-to-SQL Empowered by Large Language Models: A Benchmark Evaluation 2023.12 DTS-SQL: Decomposed Text-to-SQL with Small 더 읽기
논문 정리: “Training Language Models to Self-Correct via Reinforcement Learning”
오늘 살펴볼 논문은 “Training Language Models to Self-Correct via Reinforcement Learning”이다. 해당 논문은 DeepMind에서 발표한 Self-Correction과 관련된 논문이다. 그림 1. 제안된 SCoRE의 성능과 다른 방법들의 성능 비교 Self-Correction은 LLM이 어떤 태스크에 대한 답변을 생성했을 때, 해당 모델이 생성한 답변을 기준으로 틀린 부분을 고쳐서 더 개선된 답안을 얻기 위한 더 읽기
논문 정리 “ADAPTING LARGE LANGUAGE MODELS TO DOMAINS VIA READING COMPREHENSION”
오늘은 이전에 포스팅했었던 “INSTRUCTION PRE-TRAINING: LANGUAGE MODELS ARE SUPERVISED MULTITASK LEARNERS“의 이전 연구인 “ADAPTING LARGE LANGUAGE MODELS TO DOMAINS VIA READING COMPREHENSION”를 살펴보겠다. 그림 1. Domain-Specific 태스크 성능 그림 1은 각 사전학습 방법별 특정 도메인에 특화된 태스크에서의 성능을 나타낸다. DAPT는 도메인에 특화된 원시 말뭉치에 Continued Pretraining을 적용한 모델이며, AdaptLLM은 해당 더 읽기
LLM을 이용한 데이터 합성: “MAGPIE: Alignment Data Synthesis from Scratch by Prompting Aligned LLMs with Nothing”
최근에는 LLM을 이용하여 합성된 데이터를 이용하여 모델을 학습하려는 다양한 연구들이 더더욱 많아지고 있다. MEGPIE는 LLM을 이용하여 사람의 개입없이 Alignment 데이터를 합성하는 방법을 소개하고 있다. MEGPIE부터 살펴보면, Llama-3와 같은 모델은 현재도 3.2 버전이 발표될 정도로 다양한 크기의 다양한 모델들이 공개되어 많은 연구자들이 활용하고 있는 모델이다. 해당 모델은 AI의 Democratization을 지향하면서 더 읽기
논문 정리: Smaller, Weaker, Yet Better: Training LLM Reasoners via Compute-Optimal Sampling
오늘 살펴볼 논문은 “Smaller, Weaker, Yet Better: Training LLM Reasoners via Compute-Optimal Sampling”이다. 논문의 전체적인 내용을 요약하면 다음과 같다. 좀 더 강력한 언어모델로부터 생성한 고품질의 합성 데이터(Synthetic Data)를 이용하여 학습하는 전략은 대중적으로 사용되고 있는 방법이다. 해당 논문에서는 이러한 전략이 정말로 compute-optimal한지 살펴보기 위해서 FLOPS를 한정시켜놓고 다양한 실험을 진행한다. 이를 위해 더 읽기
논문 리뷰: MCS-SQL: Leveraging Multiple Prompts and Multiple-Choice Selection For Text-to-SQL Generation
오늘 살펴볼 논문은 두나무에서 발표한 ” MCS-SQL: Leveraging Multiple Prompts and Multiple-Choice Selection For Text-to-SQL Generation”이다. 해당 논문은 한동안 BIRD-SQL 태스크에서 1위를 기록했던 모델을 소개하고 있다. 아래의 그림은 MCS-SQL의 전체적인 구조를 나타낸다. 그림 1. MCS-SQL 모델 구조 위의 그림을 살펴보면 모델의 실행 스텝은 총 3가지로 이루어져 있다. Schema 더 읽기
DB(Table)를 이용한 증강 생성: Text2SQL is Not Enough: Unifying AI and Databases with TAG
현재 RAG는 매우 많은 분야에서 다양한 응용으로 적용되고 있다. 하지만, RAG는 단순하게 관련성을 기반으로 몇 개의 데이터들을 가져와서 한번의 LM 호출(Single LM invocaton)으로 결과를 생성한다. 이러한 모델은 일부 답변가능한 질문들 밖에 처리할 수 없으며, Computational 태스크인 Counting, Math, Filtering과 같은 연산에서는 에러에 취약할 수 밖에 없다. 이러한 점을 고려하여, 해당 더 읽기
논문 리뷰: LLM Pruning and Distillation in Practice: The Minitron Approach
오늘 살펴볼 논문은 Nvidia에서 발표한 “LLM Pruning and Distillation in Practice: The Minitron Approach”이다. 해당 논문은 Nvidia에서 Minitron의 Pruning과 Distillation을 적용한 과정과 실질적인 결과들을 기록한 논문이다. 해당 논문에서는 LLama 3.1 모델과 Mistral NeMO 모델을 압축시킨 결과들을 정리하였다. LLM은 LLama 3,1에서 8B, 70B, 405B를 출시한 것과 같이 사용하려는 목적과 스케일에 더 읽기