Arhitectură de implementare a dreptului de a fi uitat în contextul Big Data

Abstract

Această teză investighează crearea și aplicarea unei arhitecturi pentru exercitarea „Dreptului de a fi uitat” într-un context Big Data. În contextul Big Data, provocarea constă în volumul datelor, varietatea datelor și viteza datelor (la viteză mare). Implementarea obligației legale de a șterge datele personale este dificilă. Această cercetare a acoperit provocările identificării, localizării și ștergerii datelor personale din diferite sisteme de date, cântărind în același timp provocarea vieții private în raport cu celelalte interese concurente ale libertății de informare, continuității operaționale și funcționalității operaționale. Cercetarea a utilizat o metodologie științifică a designului. Cercetarea începe cu o analiză a literaturii de specialitate. Analiza literaturii de specialitate detaliază documentele de lucru, soluțiile și legislația. Arhitectura soluției propuse a utilizat tehnologii moderne, care au fost apoi realizate. Stratul API pentru DSAR este realizat prin FastAPI. Datele au fost stocate și manipulate prin Snowflake ca o soluție sigură și scalabilă. Arhitectura propusă utilizează Pydantic pentru validarea datelor. Orchestrările fluxurilor de lucru complexe pentru a executa ștergerea datelor se realizează prin Apache Airflow. Azure Key Vault este utilizat pentru a accesa acreditările atunci când se comunică cu diferite sisteme. Jetoane de autentificare JWT securizate sunt create pentru aspecte ale arhitecturii care necesită funcționalitate de gestionare a resurselor. Rezultatele prototipului au arătat că arhitectura propusă era fizic posibilă, ceea ce a fost dovedit ulterior în mediul de producție, și putea îndeplini cerințele persoanelor în legătură cu solicitările „Dreptului de a fi uitat” pentru spațiul de producție pentru solicitările DSAR. Această lucrare a arătat o modalitate prin care inginerii Big Data ar putea utiliza împreună o serie de tehnologii moderne pentru a aborda drepturile cetățenilor, ceea ce ar trebui să permită practicienilor să implementeze o soluție într-un domeniu complex al ștergerii datelor personale, într-un spațiu extrem de dinamic. Cercetarea are următoare structură: Capitolul 1 “Contextul, Relevanța, Fundamentele Teoretice” în care sunt reprezentate probleme și scopuri, împreună cu un glossariu util pentru cititorul articolului; Capitolul 2 “Analiza Domeniului” care ne întroduce în fundamentele teoretice și baza legislativă gestionării informațiilor personale (PII) și în tehnologii din domeniul IT care pot ajuta la implementarea regulărilor în practică; Capitolul 3 “Proiectarea Și Implementarea Arhitecturii” care descrie partea practică a tezei.

This thesis investigates the creation and application of an architecture for exercising the "Right to be Forgotten" in a Big Data context. In the Big Data context, the challenge lies in the volume of data, the variety of data, and the velocity of data (at high speed). Implementing the legal obligation to delete personal data is difficult. This research covered the challenges of identifying, locating, and deleting personal data from various data systems, while weighing the privacy challenge against the other competing interests of freedom of information, operational continuity, and operational functionality. The research used a scientific design methodology. The research begins with a literature review. The literature review details working documents, solutions, and legislation. The proposed solution architecture utilized modern technologies, which were then implemented. The API layer for DSAR is implemented via FastAPI. Data was stored and manipulated through Snowflake as a secure and scalable solution. The proposed architecture uses Pydantic for data validation. Complex workflow orchestrations to execute data deletion are performed via Apache Airflow. Azure Key Vault is used to access credentials when communicating with different systems. Secure JWT authentication tokens are created for aspects of the architecture that require resource management functionality. The prototype results showed that the proposed architecture was physically possible, which was later proven in the production environment, and could meet individuals' requirements regarding "Right to be Forgotten" requests for the production space for DSAR requests. This work demonstrated a way in which Big Data engineers could jointly utilize a series of modern technologies to address citizens' rights, which should enable practitioners to implement a solution in a complex field of personal data deletion, in an extremely dynamic space. The research has the following structure: Chapter 1 “Context, Relevance, Theoretical Foundations” which presents problems and goals, along with a useful glossary for the reader of the article; Chapter 2 “Domain Analysis” which introduces us to the theoretical foundations and legislative basis for managing personal information (PII) and IT technologies that can help implement regulations in practice; Chapter 3 “Architecture Design and Implementation” which describes the practical part of the thesis.