Panduan Fill-in-the-Middle (FIM) Code Completion: Arsitektur & Tolok Ukur

---

1. Pengantar: Tuntutan Latensi dan Akurasi Ghost-Text Autocomplete

Layanan ai code completion dan ai autocomplete secara real-time adalah beban kerja paling kritis terhadap latensi dalam kecerdasan buatan terapan. Agen pemrograman percakapan (seperti Claude Code, Aider, atau OpenCode) dapat meluangkan waktu 1.5 hingga 5.0 detik untuk merencanakan refactoring, tetapi saran inline ("ghost text") di editor kode harus muncul dalam kurang dari 100 milidetik agar tidak memecah fokus berpikir pengembang.

+-----------------------------------------------------------------------------------------------+
|                       Anggaran Latensi untuk Ghost-Text Autocomplete di IDE                   |
+-----------------------------------------------------------------------------------------------+
| Debounce Ketukan Tombol : 30ms - 50ms                                                         |
| Penyusunan Konteks      : 10ms - 15ms  (Tree-sitter AST, pemotongan Prefix & Suffix)          |
| Jaringan / Transport IPC: 5ms  - 20ms  (vLLM / llama.cpp lokal atau WebSocket perusahaan)      |
| Time-To-First-Token     : 35ms - 55ms  (Batas atas sub-100ms untuk karakter pertama)          |
| Streaming Token Baris   : 15ms - 25ms  (15-40 token pada kecepatan 120+ token/detik)          |
+-----------------------------------------------------------------------------------------------+
| TOTAL ANGGARAN          : 95ms - 145ms (Ambang batas persepsi manusia untuk saran instan)     |
+-----------------------------------------------------------------------------------------------+

Setiap ketukan tombol memicu event perubahan dokumen. Jika saran pelengkapan butuh waktu lebih dari 150ms, developer sudah mengetik huruf berikutnya, menyebabkan kedipan antarmuka dan pemborosan inferensi.

Model bahasa kausal standar hanya dilatih memprediksi token berikutnya dari kiri ke kanan:

$$P(W) = \prod_{i=1}^{n} P(w_i \mid w_1, w_2, \dots, w_{i-1})$$

Namun di editor kode, kursor sering kali berada sebelum kode yang sudah ada (seperti fungsi atau kurung tutup). Jika model hanya melihat kode sebelum kursor (Prefix), model akan membuat kurung tutup duplikat atau variabel redundan yang bertabrakan dengan kode di bawahnya.

Solusinya adalah Fill-in-the-Middle (FIM): paradigma yang mengondisikan pembuatan kode pada Prefix (sebelum kursor) dan Suffix (setelah kursor) untuk menghasilkan bagian tengah (Middle) yang tepat secara sintaksis.

---

2. Arsitektur FIM dan Cara Kerjanya

Dipelopori oleh peneliti OpenAI (Bavarian et al.) dan diterapkan pada StarCoder, DeepSeek Coder, dan Qwen 2.5 Coder, FIM memberikan kemampuan pemahaman dua arah kepada transformer tanpa mengubah struktur matriks self-attention.

+-----------------------------------------------------------------------------------------------+
|                              Transformasi Fill-in-the-Middle (FIM)                            |
+-----------------------------------------------------------------------------------------------+
| Dokumen Kode Sumber Asli:                                                                     |
| [ KODE SEBELUM KURSOR (Prefix) ] [ LUBANG KURSOR (Middle) ] [ KODE SETELAH KURSOR (Suffix) ]  |
|                                                                                               |
| Format FIM (Mode PSM):                                                                        |
| <PRE> [ Token Prefix ] <SUF> [ Token Suffix ] <MID> ===> Model memprediksi [ Token Middle ]   |
|                                                                                               |
| Format FIM (Mode SPM):                                                                        |
| <SUF> [ Token Suffix ] <PRE> [ Token Prefix ] <MID> ===> Model memprediksi [ Token Middle ]   |
+-----------------------------------------------------------------------------------------------+

---

3. Tabel Token Khusus FIM per Model (2026)

+-------------------------------------------------------------------------------------------------------------+
|                                    Tabel Token Khusus FIM Berbagai Model (2026)                             |
+--------------------+--------------------------+--------------------------+--------------------------+-------+
| Keluarga Model     | Token Prefix             | Token Suffix             | Token Mulai Middle       | Mode  |
+--------------------+--------------------------+--------------------------+--------------------------+-------+
| Qwen 2.5 Coder     | <|fim_prefix|>           | <|fim_suffix|>           | <|fim_middle|>           | PSM   |
| DeepSeek Coder V1/2| <｜fim begin｜>          | <｜fim hole｜>           | <｜fim end｜>            | SPM   |
| StarCoder / SC2    | <fim_prefix>             | <fim_suffix>             | <fim_middle>             | PSM   |
| Mistral Codestral  | [PREFIX]                 | [SUFFIX]                 | [MIDDLE]                 | PSM   |
| CodeLlama          | <PRE>                    | <SUF>                    | <MID>                    | PSM   |
+--------------------+--------------------------+--------------------------+--------------------------+-------+

---

4. Tolok Ukur Model Ghost-Text Sub-100ms

+---------------------------------------------------------------------------------------------------------------+
|                               PERBANDINGAN MODEL GHOST-TEXT DI BAWAH 100MS                                    |
+-----------------------+--------------------+-------------------+------------------+-------------+-------------+
| Model                 | Akurasi FIM        | Akurasi Infill    | Waktu Token      | Kecepatan   | Penggunaan  |
|                       | Satu Baris(Pass@1) | Multibaris(Pass@1)| Pertama(TTFT p50)| (Token/dtk) | VRAM (FP16) |
+-----------------------+--------------------+-------------------+------------------+-------------+-------------+
| Qwen 2.5 Coder 1.5B   | 84.6%              | 64.2%             | 42 ms            | 188 tok/s   | 3.2 GB      |
| Qwen 2.5 Coder 7B     | 89.2%              | 76.8%             | 84 ms            | 112 tok/s   | 15.2 GB     |
| DeepSeek Coder 1.3B   | 78.4%              | 56.1%             | 39 ms            | 196 tok/s   | 2.8 GB      |
| StarCoder2 3B         | 81.1%              | 60.5%             | 58 ms            | 144 tok/s   | 6.4 GB      |
+-----------------------+--------------------+-------------------+------------------+-------------+-------------+

---

5. Implementasi Ekstensi IDE: Manajemen Jendela Konteks

• Jendela Asimetris: Alokasikan 60-70% untuk Prefix (1.500-3.000 token) dan 30-40% untuk Suffix (500-1.500 token).
• Injeksi Simbol AST: Ambil deklarasi tipe dan import dari tab lain yang terbuka sebanyak ~300 token via Tree-sitter.

---

6. Kode Server FIM dengan Python dan FastAPI

import os, time
from typing import Optional, List
from fastapi import FastAPI
from pydantic import BaseModel
import httpx

app = FastAPI(title="FIM Engine")
BACKEND_URL = os.getenv("INFERENCE_BACKEND_URL", "http://127.0.0.1:8000/v1/completions")
MODEL_NAME = os.getenv("MODEL_NAME", "Qwen/Qwen2.5-Coder-1.5B")

class FIMRequest(BaseModel):
    prefix: str
    suffix: str
    max_tokens: int = 48
    temperature: float = 0.1

@app.post("/v1/autocomplete")
async def autocomplete(req: FIMRequest):
    t0 = time.perf_counter()
    prompt = f"<|fim_prefix|>{req.prefix}<|fim_suffix|>{req.suffix}<|fim_middle|>"
    stops = ["<|fim_prefix|>", "<|fim_suffix|>", "<|fim_middle|>", "<|endoftext|>", "\n\n"]
    
    payload = {
        "model": MODEL_NAME, "prompt": prompt, "max_tokens": req.max_tokens,
        "temperature": req.temperature, "stop": stops, "stream": False
    }
    async with httpx.AsyncClient(timeout=1.5) as client:
        resp = await client.post(BACKEND_URL, json=payload)
        data = resp.json()
    return {
        "completion": data["choices"][0]["text"],
        "latency_ms": round((time.perf_counter() - t0) * 1000, 2)
    }

---

7. Stop Sequence dan Pencegahan Duplikasi Kode

1. Masukkan semua token FIM khusus ke dalam daftar stop.
2. Hentikan pembuatan pada baris baru ganda (\n\n) untuk saran satu baris.
3. Terapkan filter overlap di sisi klien untuk membuang kurung tutup } atau ) yang sudah ada di Suffix.

---

8. Analisis Biaya (TCO) untuk Tim 100 Pengembang

• 100 Pengembang: ~120.000 permintaan/hari (2,64 juta per bulan).
• Copilot Komersial: $1.900/bulan ($19/pengguna).
• Serverless API: ~$115.40/bulan.
• Dedicated Cloud GPU (A10G): $730/bulan (100% privasi, latensi <70ms).
• Lokal di Perangkat (Mac M4 / RTX 4090): $0 biaya cloud.

---

9. Kesimpulan & Rekomendasi

1. Untuk Laptop Pengembang Pribadi: Jalankan Qwen 2.5 Coder 1.5B via llama.cpp (TTFT 42ms dan hanya 3.2GB VRAM).
2. Untuk Server Bersama Tim: Terapkan Qwen 2.5 Coder 7B di vLLM (akurasi multibaris 76.8%).
3. Batasi Jendela Konteks: Pertahankan Prefix di bawah 2.000 token agar latensi tetap berada di bawah 100ms.