# Extraction Verification: PaperQA_Retrieval_Augmented_Generative_Agent_for_Scientific_Research_parsed

## METADATA
**Title:** Informasi tidak tersedia
**Keywords:** Retrieval-Augmented Generation, Scientific Question Answering, Hallucination Reduction, Literature Review, RAG Agent

---

## PILLARS

### BACKGROUND
Dilatarbelakangi oleh tingginya tingkat halusinasi pada model bahasa besar (LLM) dalam konteks literatur ilmiah, yang mengakibatkan respons yang tidak akurat, urgensi kajian ini berfokus pada pengembangan sistem yang mampu menjawab pertanyaan ilmiah dengan akurasi tinggi dan mengurangi kesalahan referensi. Penelitian terdahulu menunjukkan bahwa alat komersial dan model LLM memiliki tingkat halusinasi antara 40-60%, sehingga diperlukan pendekatan baru yang lebih andal.

### METHODOLOGY
Mengadopsi pendekatan Retrieval-Augmented Generation (RAG) yang menggabungkan proses generasi kata kunci oleh LLM, pencarian literatur melalui Google Scholar dan Semantic Scholar, serta analisis konteks untuk menjawab pertanyaan ilmiah. Sistem ini dieksekusi secara komprehensif menggunakan benchmark LitQA yang terdiri dari 50 pertanyaan yang memerlukan informasi dari teks penuh jurnal. Ablation study dilakukan untuk mengevaluasi kontribusi setiap komponen sistem, termasuk penggunaan LLM untuk ringkasan dan pencarian.

### GAP
Meninggalkan celah pada kemampuan sistem untuk mempertahankan relevansi dalam jangka panjang mengingat perubahan ilmu pengetahuan yang dinamis, di mana pertanyaan LitQA mungkin menjadi tidak valid seiring waktu. Keterbatasan utama terletak pada kompleksitas optimasi prompt untuk sistem agen multi-tahap yang belum terpecahkan, sehingga sulit mengevaluasi dampak penyesuaian prompt secara manual. Hal ini menghambat peningkatan optimalisasi sistem.

### OBJECTIVE
Bertujuan secara spesifik untuk memitigasi tingkat halusinasi pada respons LLM dalam konteks literatur ilmiah dengan mengembangkan sistem PaperQA yang mampu menjawab pertanyaan ilmiah dengan akurasi tinggi dan mengurangi kesalahan referensi. Kontribusi utama penelitian ini adalah menunjukkan bahwa PaperQA memiliki tingkat halusinasi 0% pada keterkaitan kutipan, serta lebih efisien secara biaya dibandingkan manusia, sementara akurasinya tetap sejajar dengan peneliti manusia.

### FUTUREWORK
Penelitian lanjutan direkomendasikan untuk mengoptimalkan prompt secara otomatis dalam sistem agen multi-tahap, mengingat kompleksitas bi-level optimization yang belum terpecahkan. Mengusulkan trayektori riset terkait pengembangan sistem yang lebih adaptif terhadap dinamika ilmu pengetahuan, serta ekstensi ke bidang aplikasi seperti pengembangan obat dan bioteknologi. Selain itu, perlu dilakukan evaluasi jangka panjang untuk memastikan relevansi sistem seiring perkembangan literatur ilmiah.
