delosycho

이번 논문에서는 Dense Table Retrieval에 관한 3가지 논문을 연결해서 같이 리뷰를 해보려고 한다. “Open Domain Question Answering over Tables via Dense Retrieval ” “Bridge the Gap between Language models and Tabular Understanding” “Enhancing Open-Domain Table Question Answering via Syntax- and Structure-aware Dense Retrieval ”   우선 Dense Retrieval에 대해서 간단하게 더 읽기

최근 합성 데이터 기술 스타트업들이 빠르게 성장하고 있으며, 합성 데이터의 시장이 37조까지 성장하고 있다고 한다. 그렇다면 합성 데이터는 어떤 데이터일까? 테슬라에서는 자율 주행 자동차를 학습시키기 위해서 수 많은 데이터를 필요로 하고 있지만 모두 수집하고 태깅하기에는 너무나 많은 비용과 시간을 필요로 한다. 이에 테슬라에서는 사고 사례를 중심으로 합성 데이터를 만들어서 학습을 더 읽기

이번 글에서는 “Understanding tables with intermediate pre-training “을 리뷰해보려고 한다. 이번 논문에서는 “Table Entailment”라는 태스크가 중심으로 다루어지고 있는데, 이 태스크는 설명하기 전에 Text Entailment를 먼저 설명하겠다. Text Entailment는 자연어추론(Natural Language Processing Inference)라고도 불리는데 입력된 두 텍스트 간의 관계를 예측하는 태스크이다. 관계는 보통 Entailment, Refuted, Neutral로 이루어져 있다. 아래는 위키피디아 Text 더 읽기

오늘 소개할 논문은 이전 논문이지만 TAPAS를 다루려고 한다. 앞으로 테이블을 다루는 언어모형에 관한 글을 순차적으로 다룰 예정인데, 그 시작으로 TAPAS를 먼저 리뷰해보려고 한다.   위의 그림은 표 질의응답의 예시를 나타낸다.   “나는 [MASK] 갔다.” => “나는 집으로 갔다.”와 같은 MaskLM을 이용한 언어모형의 사전학습 방법은 많은 NLP태스크에서 SOTA를 기록했었으며, 이를 통해서 더 읽기