오늘 간단하게 소개할 논문은 “PROMPTAGATOR : FEW-SHOT DENSE RETRIEVAL FROM 8 EXAMPLES”이다. 해당 논문은 Supervision 데이터셋이 없는 환경에서 학습을 해야 하는 “Few-shot Dense Retrieval” 태스크를 다루고 있다. 그림 1. 다양한 Retriever 모델 비교 및 Promptgator 모델의 성능 비교 Retrieval 방법으로는 Unsupervised, Supervsied, Few-shot의 3가지 방법이 있다. Unsupervised는 더 읽기
ADVERSARIAL RETRIEVER-RANKER FOR DENSE TEXT RETRIEVAL
오늘 살펴볼 논문은 “ADVERSARIAL RETRIEVER-RANKER FOR DENSE TEXT RETRIEVAL”이다. 해당 방법은 GAN에서 Generator와 Discriminator를 minimax 방법을 이용해서 joint하게 학습시켰던 것에서 영감을 받아 AR2(Adversarial Retriever-Reranker) 학습 방법을 제안하였다. GAN에서는 Generator와 Discriminator의 두 모델이 joint하게 학습되듯이, AR2에서는 Reranker와 Retriever가 그러한 방향으로 학습된다. 그림 1. AR2 모델의 두 모듈 일반적으로 Cross-Encoder를 더 읽기