Performance evaluation of machine learning models for automated ticket routing systems (DistilBERT, DistilRoBERTa, XLM-RoBERTa)

Abstract

This thesis focuses on the review and performance testing of machine learning models for automated ticket routing systems, an essential instrument for raising customer satisfaction and operational effectiveness in IT support and customer service applications. In order to automate ticket routing, the project starts with a domain analysis and identification of the primary issues with such systems that come up. Machine learning and natural language processing (NLP) have been highlighted as being crucial to this process. The Large Language Models (LLMs) that have transformed NLP jobs are extensively covered at the beginning of the second chapter, which looks into the machine learning models used for ticket classification. It explains some BERT based models and techniques to fine-tune them, in extensive detail and shows how they may be used to improve ticket routing systems' accuracy. The thesis also discusses the class imbalance problem, which is a prevalent problem in ticket routing when certain ticket categories are dominated by some other classes. Throughout the thesis, various machine learning models like DistilBERT, DistilRoBERTa, and XLM-RoBERTa are tested and compared using real-world datasets, and methods for increasing accuracy and efficiency are investigated. The study ends with suggestions for putting into practice a reliable, machine-learning-based system that can route tickets automatically and effectively. Its efficacy is demonstrated by benchmarking the system's results against traditional approaches. The best results for the automated ticket routing classification task were obtained for the DistilBERT base uncased model with batch size equal to 8 and trained on 3 epochs.

Această teză se concentrează pe revizuirea și testarea performanței modelelor de învățare automată pentru sistemele automate de direcționare a tichetelor, un instrument esențial pentru creșterea satisfacției clienților și a eficienței operaționale în aplicațiile de asistență IT și de servicii pentru clienți. Pentru a automatiza direcționarea tichetelor, proiectul începe cu o analiză a domeniului și identificarea problemelor primare care pot apărea în astfel de sisteme. Învățarea automată și procesarea limbajului natural au fost evidențiate ca fiind esențiale pentru acest proces. Modelele preantrenate care au transformat principiile de muncă a procesării limbajului natural sunt discutate pe larg la începutul celui de-al doilea capitol, care analizează modelele de învățare automată utilizate pentru clasificarea tichetelor. Aceasta explică în detaliu modele bazate pe BERT la fel și tehnici de fine-tuning și arată cum acestea pot fi utilizate pentru a îmbunătăți acuratețea sistemelor de direcționare a tichetelor. Teza discută, de asemenea, problema dezechilibrului în clase, care este o problemă predominantă în direcționarea a tichetelor atunci când anumite categorii de tichete sunt dominate de alte clase, și prezintă modele preantrenate cu un număr mai mic de parametri, demonstrând eficacitatea lor în contexte limitate de resurse. La fel, sunt testate și comparate diferite modele de învățare automată, precum DistilBERT, DistilRoBERTa și XLM-RoBERTa folosind seturi de date din aplicații reale și sunt investigate metode pentru creșterea preciziei și eficienței. Studiul se încheie cu sugestii pentru punerea în practică a unui sistem de eficient, care poate ruta tichetele automat și eficient. Eficacitatea sa este demonstrată prin compararea rezultatelor sistemului față de abordările tradiționale. Cele mai bune rezultate pentru sarcina de rutare automată a biletelor au fost obținute pentru modelul DistilBERT cu dimensiunea lotului egală cu 8 și antrenat pe 3 epoci.