Integration of a data-driven software application and a multimodal large language model for enhanced nutritional guidance: a case study

Abstract

In the realm of health and wellness, the integration of data-driven technology and artificial intelligence (AI) has opened up new possibilities for personalized and data-driven approaches. HN-Assistant, a software application designed to analyze an individual's nutritional state and provide tailored recommendations, offers a powerful tool for promoting healthy eating habits. The HN-Assistant can also analyze how good a food product is at covering the estimated nutrient requirements. However, when combined with the capabilities of advanced AI assistants based on LLMs, the potential for comprehensive and insightful nutritional guidance is taken to new heights. This paper describes an attempt at integrating the proprietary software application HN-Assistant with GPT-4o to empower final users to make better nutritional decisions. The application was built in R programming language using the Shiny package, and the interaction between HN-Assistant and GPT-4o is based on an API in Python.

În domeniul sănătății și al bunăstării, integrarea tehnologiei bazate pe date și a inteligenței artificiale (AI) a deschis noi posibilități pentru abordări personalizate și bazate pe date. HN-Assistant, o aplicație software concepută pentru a analiza starea nutrițională a unui individ și pentru a oferi recomandări personalizate, reprezintă un instrument puternic pentru promovarea obiceiurilor alimentare sănătoase. HN-Assistant poate analiza, de asemenea, cât de bun este un produs alimentar pentru a acoperi cerințele estimate de nutrienți. Cu toate acestea, atunci când sunt combinate cu capacitățile asistenților AI avansati bazați pe LLM, potențialul de îndrumare nutrițională cuprinzătoare și perspicace este dus la noi culmi. Această lucrare descrie o încercare de integrare a aplicației software proprietare HN-Assistant cu GPT-4o pentru a permite utilizatorilor finali să ia decizii nutriționale mai bune. Aplicația a fost construită în limbajul de programare R folosind pachetul Shiny, iar interacțiunea dintre HN-Assistant și GPT-4o se bazează pe un API în Python.