TA DIGITAL
Pengembangan Learning Management System dengan AI Exam Generator dan Exam Summarizer Berbasis Analisis Video Pembelajaran = Development of a Learning Management System with an AI Exam Generator and Exam Summarizer Based on Educational Video Analysis
Pembelajaran digital berbasis video meningkatkan pemanfaatan Learning Management System (LMS), namun sebagian besar platform masih menyajikan video secara pasif sehingga pengajar menyusun soal dan mengevaluasi jawaban secara manual. Penelitian ini mengembangkan LMS berbasis analisis video pembelajaran yang mengintegrasikan Speech-to-Text (STT), Large Language Model, AI Exam Generator, AI Exam Summarizer, dan adaptive learning di atas arsitektur Decoupled Web Architecture (Laravel, Next.js, PostgreSQL), menggunakan metode Agile Development yang dipadukan dengan CRISP-DM. Pengujian mencakup perbandingan Gemini 3.1 Flash Lite dan LLaMA-3.3-70B-Instruct, Black-Box Testing, monitoring model, System Usability Scale (SUS), serta pre-test dan post-test. Pada pengujian kualitas soal (AQG), rerata skor pakar LLaMA 3,89 dan Gemini 3,81 sehingga relatif setara, namun Gemini unggul pada kejelasan bahasa (3,88 berbanding 3,70) dan tidak meneruskan galat transkripsi STT ke butir soal. Pada pengujian konsistensi penilaian (AAA), Gemini lebih konsisten terhadap penilaian guru (MAE 5,14; RMSE 5,78; Pearson r 0,637) dibandingkan LLaMA (MAE 6,24; RMSE 6,92; Pearson r 0,526) dengan response time lebih cepat, sehingga ditetapkan sebagai model produksi. Seluruh skenario Black-Box berhasil, skor SUS 25 responden 88,5 (Excellent), dan rerata skor 10 responden naik dari 56 menjadi 84 dengan N-Gain 63,64% (kategori Sedang) serta ketercapaian pedagogik 56% menjadi 84%.
Tidak tersedia versi lain