The integration of large language models into intelligent agents for enhanced interactive storytelling

Abstract

Această teză explorează crearea și implementarea unui sistem interactiv de povestire prin integrarea perfectă a Unity, API-ului OpenAI și Unity Machine Learning Agents (ML-Agents). Obiectivul principal este furnizarea unei experiențe captivante și immersive de povestire care se adaptează dinamic la interacțiunile utilizatorului. Unity, un motor puternic de dezvoltare a jocurilor, servește ca element de bază, oferind un mediu pentru lumi vizual atractive și elemente dinamice ale poveștii. Integrarea API-ului OpenAI aduce capacități avansate de prelucrare a limbajului natural, deblocând potențialul generării de text asemănător cu cel uman și facilitând povestirea relevantă contextual. Visual Studio, ca mediul integrat de dezvoltare (IDE), optimizează procesul de dezvoltare, oferind instrumente de depanare și capacități de colaborare.

Includerea Unity ML-Agents introduce inteligența artificială în sistem, permițând personajelor și entităților din lumea virtuală să învețe, să se adapteze și să răspundă interacțiunilor utilizatorului în timp real. Această inteligență adaptivă îmbunătățește calitatea imersivă a narativei, creând o experiență dinamică și personalizată pentru fiecare utilizator. Realizarea proiectului implică depășirea provocărilor asociate cu Unity, cum ar fi o curbă de învățare abruptă, probleme de performanță și inconsistente în documentație. În plus, se abordează dependențele de platformă, calitatea magazinului de active, limitele grafice, costurile de licențiere, intensitatea resurselor și provocările colaborării.

Detaliile de implementare cuprind traducerea proprietăților de semnalizare din lumea reală în semne virtuale cu diferențe în lizibilitate și dimensiunea textului. Personajele din mit sunt reprezentate grafic, iar camere virtuale sunt atașate pentru o vedere în prima persoană. Dinamica navigației în lumea mitică implică verificări de vizibilitate cu raze încântătoare care influențează revelarea semnificației semnului. Calculările de vizibilitate evaluează esența semnului, luând în considerare atât vizibilitatea, cât și factorii de lizibilitate. Teza se încheie cu o convergență a creativității, tehnologiei și inteligenței artificiale, formând baza pentru o experiență interactivă de povestire în care alegerile utilizatorului dau forma narativei în moduri fără precedent. Această teză nu abordează doar aspectele tehnice ale integrării Unity, OpenAI și ML-Agents, ci se adâncește și în aspectele creative ale povestirii într-un mediu virtual. Prin depășirea provocărilor asociate cu dezvoltarea de jocuri și valorificarea tehnologiilor de vârf, proiectul își propune să redefinească implicarea utilizatorului în cadrul poveștilor interactive. Fusionarea prelucrării avansate a limbajului natural, a inteligenței artificiale adaptive și a unui motor solid de dezvoltare a jocurilor promite să transforme paradigmele tradiționale de povestire. Prin implementare meticuloasă și abordări inovatoare ale elementelor interactive, această cercetare contribuie la peisajul în evoluție al experiențelor ghidate de narativă, punând bazele pentru progrese viitoare în povestirea digital.

This thesis explores the creation and implementation of an interactive storytelling system by seamlessly integrating Unity, the OpenAI API, and Unity Machine Learning Agents (ML-Agents). The core objective is to deliver a captivating and immersive narrative experience that adapts dynamically to user interactions. Unity, a powerful game development engine, serves as the foundational element, providing an environment for visually engaging worlds and dynamic story elements. The integration of the OpenAI API introduces advanced natural language processing capabilities, unlocking the potential for generating human-like text and enabling contextually relevant storytelling. Visual Studio, as the Integrated Development Environment (IDE), streamlines the development process, offering debugging tools and collaborative capabilities.

The inclusion of Unity ML-Agents introduces artificial intelligence to the system, allowing characters and entities within the virtual world to learn, adapt, and respond to user interactions in real-time. This adaptive intelligence enhances the immersive quality of the narrative, creating a dynamic and personalized experience for each user. The project's realization involves overcoming challenges associated with Unity, such as a steep learning curve, performance issues, and documentation inconsistencies. Additionally, platform dependencies, asset store quality, graphics limitations, licensing costs, resource intensiveness, and collaboration challenges are addressed.

Implementation details encompass the translation of real-world signage properties into virtual signs with differences in readability and text size. Characters from the myth are graphically represented, and virtual cameras are attached for a first-person view. Navigation dynamics in the mythical realm involve visibility checks with enchanted rays influencing the revelation of sign significance. Visibility calculations gauge the essence of the sign, considering both visibility and readability factors. The thesis concludes with a convergence of creativity, technology, and artificial intelligence, forming the foundation for an interactive storytelling experience where user choices shape the unfolding narrative in unprecedented ways. this thesis not only addresses the technical intricacies of integrating Unity, OpenAI, and ML-Agents but also delves into the creative aspects of storytelling in a virtual environment. By overcoming challenges associated with game development and leveraging cutting-edge technologies, the project aims to redefine user engagement within interactive narratives. The fusion of advanced natural language processing, adaptive artificial intelligence, and a robust game development engine holds promise for transforming traditional storytelling paradigms.

Through meticulous implementation and innovative approaches to interactive elements, this research contributes to the evolving landscape of narrative-driven experiences, laying the groundwork for future advancements in immersive digital storytelling.