Merancang, menyusun, dan melaksanakan test case untuk pengujian manual maupun otomatis pada aplikasi berbasis AI, chatbot, dan Large Language Models (LLM).
Melakukan pengujian kualitas respons AI berdasarkan aspek akurasi, relevansi, koherensi, konsistensi, serta mengidentifikasi potensi hallucination pada hasil yang dihasilkan model.
Melakukan validasi terhadap sistem Retrieval-Augmented Generation (RAG) untuk memastikan jawaban yang diberikan sesuai dan didukung oleh dokumen referensi (groundedness/faithfulness).
Mengembangkan, memelihara, dan menjalankan automation test menggunakan Selenium, Playwright, Cypress, atau framework berbasis Python untuk pengujian API dan end-to-end.
Melakukan pengujian API menggunakan Postman, JMeter, atau tools sejenis, termasuk pengujian fungsional, performa, throughput, dan latency layanan AI.
Melakukan pengujian keamanan dasar terhadap aplikasi AI melalui simulasi prompt injection, jailbreak, dan red teaming untuk memastikan efektivitas guardrails dan mekanisme keamanan AI.
Minimum Qualifications
Experience: Minimal 2-3 tahun pengalaman sebagai QA Engineer (Manual & Automation). Pengalaman dalam menguji aplikasi berbasis data atau chatbot sangat diutamakan.
LLM Testing & Evaluation: Memahami metodologi pengujian khusus AI, termasuk evaluasi kualitas jawaban (akurasi, relevansi, dan koherensi) serta teknik hallucination detection.
RAG Testing Knowledge: Memahami cara menguji sistem Retrieval-Augmented Generation, terutama dalam memvalidasi apakah jawaban sistem benar-benar bersumber dari dokumen referensi yang diberikan (Groundness/Faithfulness).
Automation Skills: Mahir menggunakan tools automation seperti Selenium, Playwright, atau Cypress. Familiar dengan Python untuk menulis skrip pengujian otomatis pada level API.
Prompt Injection & Security: Memahami teknik red teaming sederhana untuk menguji ketahanan model terhadap prompt injection atau upaya pembobolan sistem agar AI tetap memberikan respon sesuai batasan (guardrails).
Data Validation: Kemampuan melakukan kueri SQL/NoSQL untuk memverifikasi integritas data yang masuk ke dalam vector database atau sistem audit log.
API Testing: Mahir menggunakan Postman atau JMeter untuk menguji performa API, throughput, dan latency (terutama karena LLM memiliki latensi yang lebih tinggi dibanding API standar).
