# Execution Log: Phase 3 - Execution

## Task 3.1: Dry-Run DashScope (Cost Tracking)

### Deskripsi
Melakukan pengujian *batch execution* dengan mengeksekusi `benchmark_extraction.py` menggunakan pengaturan `TESTING_PROVIDER = "dashscope"`. Tujuannya adalah memvalidasi arsitektur sakelar (*Provider Agnostic*), penghitungan harga `PRICING_MATRIX`, dan fungsi *append-only* dari matriks performa yang telah diperbarui.

### Langkah-langkah Eksekusi
1. Menghapus (*purge*) tabel matriks performa usang dari *benchmark* sebelumnya untuk menyelaraskan *header* kolom.
2. Menjalankan skrip via terminal: `python3 scripts/Testing-Pipeline/benchmark_extraction.py`.
3. Memantau logs inisialisasi yang berhasil mendeteksi "Initialized DashScope Client. Model: qwen3-30b-a3b-thinking-2507".
4. Menunggu skrip menyelesaikan ekstraksi untuk dokumen `RAGAS` dan kemudian secara otomatis berlanjut ke `SciLit`.

### Status Eksekusi
✅ Berhasil

### Hasil Pengamatan (RAGAS & SciLit)
Tabel berhasil tercetak dengan susunan kolom `MODEL` dan `COST ($)` yang baru. Berikut adalah analisis metrik komputasinya:

**1. RAGAS:**
* **Tiktoken Input**: 3698 Token.
* **LLM Output Token**: 4136 Token.
* **Latensi API**: 17.11 detik.
* **Cost**: `$0.001611` USD.

**2. SciLit:**
* **Tiktoken Input**: 3482 Token.
* **LLM Output Token**: 6260 Token.
* **Latensi API**: 28.16 detik.
* **Cost**: `$0.002226` USD.

**Kesimpulan Stabilitas:**
* Fungsi logika kondisional penyedia model LLM berfungsi sempurna (*Agnostic API Connection*).
* Biaya operasional (*burn rate*) per dokumen berkisar antara `$0.0016` hingga `$0.0022`. Jika diakumulasi, memproses 1000 PDF dengan model ini (*Qwen3*) akan menelan biaya estimasi sekitar `$1.6 - $2.2` USD.
* Tidak ada isu pergeseran kolom matriks atau kegagalan *parsing* JSON dari API.
