Semantic non-compositional exploration of Bessarabian idioms by LLMs

Abstract

The study explores the potential of LLMs in interpreting and translating Bessarabian idioms. The central problem addressed is the semantic non-compositionality of idiomatic expressions, which poses a significant challenge for Natural Language Processing since their figurative meaning cannot be derived from literal components. As part of the CI ARiA project, 1000 proverbs were digitized, using a corpus of 400 of them to evaluate the performance of 10 AI models (such as ChatGPT, Gemini, Grok). The methodology is multi-algorithmic, combining textual distance metrics (Levenshtein, Jaccard) with semantic similarity analysis via Sentence Transformers. The results indicate that while models demonstrate a solid capacity to grasp metaphorical meanings, significant differences exist regarding consistency and explanatory style.

Rezumat. Lucrarea explorează potențialul LLM-urilor în interpretarea și traducerea idiomurilor basarabene. Problema centrală abordată este non-compoziționalitatea semantică a expresiilor idiomatice, care reprezintă o provocare majoră pentru procesarea limbajului natural deoarece sensul lor figurat nu poate fi dedus din componentele literale. În cadrul proiectului CI ARiA, au fost digitalizate 1000 de proverbe, utilizând un corpus de 400 dintre ele pentru a evalua performanța a 10 modele AI (precum ChatGPT, Gemini, Grok). Metodologia utilizată este multi-algoritmică, combinând metrici de distanță textuală (Levenshtein, Jaccard) cu analiza similitudinii semantice prin Sentence Transformers. Rezultatele indică faptul că, deși modelele demonstrează o capacitate solidă de a înțelege sensurile metaforice, există diferențe semnificative în ceea ce privește consistența și stilul explicativ.