# Execution Log: Task 1 - Preparation (Ragas Evaluation)

**Tanggal Eksekusi:** Rabu, 6 Mei 2026
**Fase:** Preparation (Dependency Update & Mock Dataset)

## Aktivitas yang Dilakukan

1. **Instalasi Pustaka (Dependency Update):**
   - Berhasil menjalankan perintah `pip install ragas langchain-openai pandas datasets`.
   - Pustaka pendukung untuk evaluasi RAG (seperti `ragas`, `datasets` dari HuggingFace, dan `langchain-openai`) telah berhasil terinstal di *environment* lokal. Hal ini penting untuk menyiapkan *engine* evaluasi independen.

2. **Pembuatan Mock Dataset (Mock Dataset):**
   - Berhasil membuat folder `data/` dan file `data/eval_dataset.json`.
   - File JSON berisi 3 sampel data pengujian. Setiap objek/item memuat 3 kunci utama:
     - `query`: Pertanyaan untuk menguji Chatbot RAG.
     - `active_hash`: *Hash identifier* PDF yang menjadi *anchor* / konteks (sebagai pengganti input user secara manual).
     - `ground_truth`: Fakta yang diharapkan muncul dalam jawaban (digunakan Ragas untuk metrik `context_precision`).

## Status Task
- [x] Task 1A: Dependency Update
- [x] Task 1B: Mock Dataset

## Keputusan & Asumsi
- *Library* `langchain-openai` disertakan meskipun kita akan menggunakan Qwen via DashScope, karena antarmuka `ChatOpenAI` milik LangChain sering kali paling stabil untuk melakukan *override base URL* menuju server OpenAI-compatible (seperti DashScope).
- File JSON ini bertindak sebagai *source of truth* statis. Jika struktur *database* Anda berbeda, nilai `active_hash` pada file ini perlu di-*update* secara manual dengan data *hash* PDF nyata milik Anda.

**Selanjutnya:** Menunggu aba-aba dari pengembang untuk maju ke **Task 2 (Development: HTTP Runner Logic & Qwen Judge Setup)**.
