SKRIPSI DIGITAL
Rancang Bangun Sistem AI Copilot Technical Support Berbasis Agentic RAG di Rumahweb Indonesia = Design and Development of an Agentic RAG-Based AI Copilot Technical Support System at Rumahweb Indonesia
Bukhary Azriellorezqa Yufar, “Rancang Bangun Sistem AI Copilot Technical Support Berbasis Agentic RAG di Rumahweb Indonesia”, Skripsi DIV Jurusan Teknik Elektro Politeknik Negeri Semarang, di bawah bimbingan Kuwat Santoso, S.T., M.Kom. dan Amran Yobioktabera, S.Kom., M.Kom., Agustus 2026.
Meningkatnya kompleksitas pertanyaan pada layanan technical support memerlukan sistem yang mampu menyediakan informasi relevan secara efisien dan mendukung penyusunan respons berbasis pengetahuan. Penelitian ini bertujuan merancang dan membangun AI Copilot Technical Support berbasis Agentic Retrieval-Augmented Generation (Agentic RAG) untuk membantu staf customer support Rumahweb Indonesia dalam menyusun draf respons teknis. Sistem menggunakan LangGraph untuk mengorkestrasi alur agentic dan menerapkan hybrid retrieval menggunakan FAISS dan BM25, Cohere reranker, serta Weighted Reciprocal Rank Fusion (Weighted RRF). Mekanisme retrieval dilengkapi evaluasi dokumen dan query rewrite untuk memungkinkan perbaikan pencarian secara iteratif. Knowledge Base yang digunakan terdiri atas 51 artikel dan menghasilkan 73 chunk. Evaluasi retrieval dilakukan menggunakan golden dataset yang terdiri atas 102 query dari 51 topik dan 10 kategori layanan. Konfigurasi terbaik, yaitu Hybrid+Cohere dengan pembobotan Weighted RRF 1:1:4, menghasilkan Hits@5 dan Recall@20 sebesar 1,0000, MRR@10 sebesar 0,9145, dan NDCG@5 sebesar 0,9362. Evaluasi generation menggunakan RAGAS menghasilkan Faithfulness 0,7388, Answer Relevancy 0,5988, Context Precision 0,9592, Context Recall 0,9510, dan RAGAS Score 0,8119. Hasil menunjukkan bahwa sistem memiliki kinerja retrieval dan kualitas konteks yang tinggi, meskipun kualitas generation masih bervariasi pada kondisi query tertentu.
Kata kunci Agentic RAG, AI Copilot, Technical Support, Hybrid Retrieval, Weighted Reciprocal Rank Fusion, RAGAS.
Tidak tersedia versi lain