# Extraction Verification: Retrieval_Augmented_Generation_for_Knowledge_Intensive_NLP_Tasks_parsed

## METADATA
**Title:** Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
**Keywords:** Retrieval-Augmented Generation, Knowledge-Intensive NLP, Wikipedia Indexing, Language Generation, Fact Verification

---

## PILLARS

### BACKGROUND
Dilatarbelakangi oleh keterbatasan model bahasa besar pra-pelatihan dalam mengakses dan memanipulasi pengetahuan secara tepat, serta masalah terbuka terkait sumber daya keputusan dan pembaruan pengetahuan dunia. Penelitian ini menekankan urgensi kajian yang berfokus pada pengembangan mekanisme akses diferensial ke memori eksternal non-parametrik untuk mengatasi kelemahan arsitektur berbasis parametrik pada tugas berbasis pengetahuan.

### METHODOLOGY
Mengadopsi pendekatan RAG (Retrieval-Augmented Generation) dengan menggabungkan model seq2seq pra-pelatihan dan indeks vektor padat Wikipedia. Menggunakan bi-encoder DPR sebagai retriever dan FAISS untuk pencarian MIPS, model dilatih secara end-to-end pada sumber pengetahuan Wikipedia 21 juta dokumen. Teknik fine-tuning diterapkan pada berbagai tugas NLP berbasis pengetahuan dengan parameter k=5/10 untuk pengambilan dokumen.

### GAP
Meninggalkan celah pada ketergantungan pada Wikipedia sebagai sumber pengetahuan tunggal yang tidak mencakup semua konteks pertanyaan seperti cuaca di Volcano, CA. Belum dieksplorasi secara mendalam kemampuan model dalam menangani pertanyaan yang memerlukan informasi di luar Wikipedia, serta keterbatasan utama terletak pada penggunaan pasangan pertanyaan-jawaban tanpa akses ke pasangan emas dalam tugas MSMARCO.

### OBJECTIVE
Bertujuan secara spesifik untuk memitigasi keterbatasan model parametrik pada tugas berbasis pengetahuan dengan mengembangkan resep fine-tuning umum untuk RAG. Berfokus pada evaluasi komprehensif terhadap dua formulasi RAG pada tiga tugas QA domain terbuka, menghasilkan hasil SOTA yang mengungguli model seq2seq parametrik dan arsitektur retrieve-and-extract spesifik tugas.

### FUTUREWORK
*KOSONG (LLM mengembalikan string kosong)*
