Система искусственного интеллекта для анализа и классификации вакансий о работе

Abstract

Дипломная работа посвящена разработке системы искусственного интеллекта для автоматизированного анализа и классификации вакансий о работе, размещённых на онлайн-платформах. Актуальность исследования обусловлена значительным ростом объёма вакансий, представленных в виде неструктурированных текстовых данных, что существенно усложняет их анализ и обработку традиционными методами. В рамках работы предложен комплексный подход к сбору, очистке, структурированию и анализу информации о вакансиях, основанный на применении методов обработки естественного языка и машинного обучения. Разработанная программная система обеспечивает автоматический сбор вакансий из открытых источников с использованием методов веб-скрапинга, последующую нормализацию и фильтрацию данных, а также извлечение ключевых характеристик вакансий. Для повышения качества анализа и классификации используются большие языковые модели, позволяющие эффективно работать с текстами различной структуры и содержания. Результаты обработки сохраняются в базе данных и могут быть использованы для дальнейшего анализа рынка труда, формирования отчётов и поддержки принятия решений в системах подбора персонала. Пояснительная записка состоит из введения, трёх глав, выводов и библиографии c 63 источниками и 38 рисунков. B первой главе проведён анализ предметной области, рассмотрены современные тенденции рынка труда, основные источники вакансий и существующие системы их анализа. Также выявлены ключевые проблемы обработки вакансий и обоснована необходимость автоматизации классификации. Во второй главе описаны используемые инструменты и технологии, включая язык программирования Python, базы данных, методы веб-скрапинга и обработки естественного языка. Рассмотрено применение больших языковых моделей для очистки, анализа и классификации данных. B третьей главе представлена архитектура и реализация системы, этапы сбора и структурирования данных, а также схема базы данных. Приведены методы обработки информации и проанализированы полученные практические результаты работы системы.

Lucrarea de diplomă este dedicată dezvoltării unui sistem de inteligență artificială pentru analiza și clasificarea automată a ofertelor de muncă publicate pe platforme online. Actualitatea cercetării este determinată de creșterea semnificativă a volumului de date textuale nestructurate, ceea ce face dificilă analiza acestora prin metode tradiționale. În această lucrare este propusă o abordare complexă pentru colectarea, curățarea, structurarea și analiza informațiilor despre oferte de muncă, bazată pe metode de procesare a limbajului natural și învățare automată. Sistemul software dezvoltat realizează colectarea automată a ofertelor din surse deschise prin metode de web scraping, normalizarea și filtrarea datelor, precum și extragerea caracteristicilor esențiale ale ofertelor. Pentru îmbunătățirea calității analizei și clasificării sunt utilizate modele lingvistice de mari dimensiuni, care permit prelucrarea eficientă a textelor eterogene. Datele procesate sunt stocate într-o bază de date și pot fi utilizate pentru analiza pieței muncii, generarea de rapoarte și suport decizional în sistemele de recrutare. Rezultatele experimentale obținute confirmă eficiența și aplicabilitatea practică a soluției propuse. Memoriul explicativ conține: introducere, 3 capitole, concluzii, bibliografie cu 63 de surse, 38 imagini. Capitolul 1: prezintă analiza domeniului de studiu, tendințele actuale ale pieței muncii, principalele surse de oferte și sistemele existente de analiză. Sunt identificate problemele procesării manuale și este justificată necesitatea automatizării clasificării. Capitolul 2: descrie instrumentele și tehnologiile utilizate, inclusiv limbajul de programare Python, bazele de date, metodele de web scraping și procesare a limbajului natural. Este analizată utilizarea modelelor lingvistice de mari dimensiuni pentru curățarea, analiza și clasificarea datelor. Capitolul 3: prezintă arhitectura și implementarea sistemului, etapele de colectare și structurare a datelor, precum și schema bazei de date. Sunt descrise metodele de procesare și sunt analizate rezultatele practice obținute.

This diploma thesis focuses on the development of an artificial intelligence system for the automated analysis and classification of job vacancies published on online platforms. The relevance of the research is driven by the significant growth of unstructured textual data in the labor market, which complicates analysis using traditional methods. The thesis proposes a comprehensive approach to collecting, cleaning, structuring, and analyzing job vacancy data based on natural language processing and machine learning techniques. The developed software system automatically collects job vacancies from open sources using web scraping techniques, performs data normalization and filtering, and extracts key vacancy attributes. Large language models are applied to improve the quality of text analysis and classification, enabling effective processing of heterogeneous job descriptions. The processed data are stored in a database and can be used for labor market analysis, report generation, and decision support in recruitment systems. Experimental evaluation confirms the effectiveness and practical applicability of the proposed solution. The explanatory memorandum contains: introduction, 3 chapters, conclusions, a bibliography with 63 sources, 38 foto. Chapter 1: presents an analysis of the subject area, current labor market trends, main job vacancy sources, and existing vacancy analysis systems. Key challenges of manual data processing are identified, and the need for automated classification is justified. Chapter 2: describes the tools and technologies used, including the Python programming language, databases, web scraping methods, and natural language processing techniques. The use of large language models for data cleaning, analysis, and classification is discussed. Chapter 3: focuses on the system architecture and implementation, data collection and structuring stages, and the database schema. Data processing methods and the practical results obtained are analyzed.