Experts panel: CyberSecurity și educația IA

Ovidiu Mățan
Fondator @ Today Software Magazine

Ne-am bucurat să continuăm evenimentele de lansare tot într-un mediu academic, de data aceasta este vorba de Universitatea Babeș-Bolyai, Facultatea de Matematică și Informatică unde am discutat despre CyberSecurity dar AI în educație. Alături de mine au fost:

• prof. dr. Laura Silvia Diosan - Profesor @ Facultatea de Matematică și Informatică,

• George Todoran - Principal AI Architect @ BMW TechWorks Romania,

• Darius Bufnea - Conf. dr. @ Facultatea de Matematică și Informatică.

Ovidiu Mățan: Vă invit să începem cu o scurtă introducere personală.

Darius Bufnea: Am terminat informatică la UBB și am avut pasiune pentru Securitate Cibernetică din facultate când am lucrat pentru Centrul de Comunicații. M-am format profesional acolo, apoi m-am îndreptat spre o carieră academică. Mă văd ca o persoană tehnică, nu ca un cercetător clasic. Disciplina mea de bază a fost Rețele de Calculatoare.

Prof. Laura Silvia Diosan: A ajuns să îmi placă IA-ul dintr-un noroc. Lucram la Masteratul de Statistică când l-am descoperit pe domnul Dumitrescu și pe Mihai Oltean care mi-au arătat că nu sunt suficiente modelele statistice când facem predicții și că sunt necesari algoritmii de Machine Learning. Țin minte când Mihai ne-a provocat să punem cap la cap un algoritm evolutiv în Assembly. De acolo am pornit cu IA: de la un simplu cod scris în C până la toate frameworkurile pe care le întoarcem azi pe toate părțile.

George Todoran: Pasiunea mea în timpul studenției a fost prelucrarea semnalelor. Ulterior, mi-am dat seama că foarte multe lucruri pot fi făcute cu Machine Learning, în timpul doctoratului în Franța. Am lucrat mulți ani în industrie ca Machine Learning Engineer în domenii precum e-Commerce, Autonomous Driving, Robotics și nu numai. Am colaborat cu Universitatea din Freiburg care a făcut modelul Unit. Momentan, lucrez la BMW TechWorks, fiind lead pe tot ce înseamnă AI.

Provocările din zona securitate sunt foarte multe. Nu te-ai gândit să faci un tool, similar cu Twin4Dem pentru evaluarea securității? Ești sunat de tot felul de roboți, primești tot felul de spamuri. Nu ar fi util să oferim informația și altora?

Darius Bufnea: Nu, neapărat. Avem un proiect de cercetare cu câțiva colegi pentru a identifica spam calls, spam emails, dar încă ne lipsesc datele.

Ce se mai face în C++? Se mai fac algoritmii clasici?

Prof. Dr. Laura Silvia Diosan: Nu. Acum se lucrează foarte mult cu Python. Este o adevărată provocare în semestrul II din anul I, după un semestru în care studenții văd ce frumos se codează în Python, să ne întoarcem la C și C++. Încercăm să ținem frâiele pentru partea conceptuală, pentru a înțelege principiile de programare care apoi le dau de furcă la alte materii sau chiar în Vibe Coding. Atunci când IA-ul nu vrea să învețe, trebuie să săpăm și nu ne ajută IA-ul cu debugging asistat, ci trebuie să ne suflecăm mânecile și să facem debugging. Cred că timpul a crescut exponențial pentru un proces de debugging human-based, față de ce era acum câțiva ani. Ne ajută IA-ul. Dar, dacă ne referim la taskul uman, din cauza complexității mărite, avem de săpat mai mult decât aveam în urmă cu ceva timp. De aceea, la nivel de universitate, ținem încă la acele noțiuni din cursurile fundamentale. IA-ul ajută la OOP, dar trebuie să și înțelegem. Așa cum nu ne cresc pătrățelele pe abdomen numai făcând abdomen, și în viața de IT-ist, până nu ai exercițiul de a coda, nu putem ține lucrurile sub control. În cercetare, nu ne luptăm cu scalabilitate sau clienți, dar cred că și în industrie, un senior trebuie să știe ce face.

George Todoran: Trebuie să știm să evaluăm ce propune IA-ul. Dacă nu știm cum ar trebuie să arate outputul, cum putem evalua? Aici este dificultatea. IA-ul propune, dar tu trebuie să ai experiența și expertiza de a accepta ceea ce propune sau nu. Nu este suficient doar să avem teste care trec.

Ce întrebări puneți la interviuri? Mai întrebați ce este polimorfismul?

George Todoran: La interviurile pe poziții ce presupun IA punem și întrebări de bază, dar depinde de profilul omului. Dacă un om are experiență avansată, nu punem întrebări de bază. Dar, dacă cineva are doar 1-2 ani experiență, punem aceste întrebări. În industrie, căutăm oameni bine educați care știu să rezolve probleme.

Cât de mult folosiți IA în zona de securitate?

Darius Bufnea: Recunosc că am început să îmi verific codul vechi de 10-15 ani în care am mai găsit buguri. Unele lucruri sunt legacy, dar am găsit probleme.

În ce măsură poate IA-ul să fie o breșă de securitate?

Darius Bufnea: Vorbim de două teme distincte: Using AI in CyberSecurity și CyberSecurity of AI. La a doua temă este foarte mult de lucrat. Putem ajunge să influențăm IA-ul în mod negativ.

George Todoran: Întrebat de securitate, Sam Altman zicea că într-adevăr este o problemă de vulnerabilitate, dar este și soluția la vulnerabilitate.

Sunt tinerii din ziua de azi mai interesați de programare sau de IA? Cum determinați studenții să scrie cod în loc să îl genereze cu IA?

Prof. Dr. Laura Silvia Diosan: Se așteaptă ca totul să se dezvolte peste noapte, de la soluțiile pe care le dezvoltă la răspunsurile pe care le vor de la noi, dorindu-și în același timp să fie stăpâni pe situație. Este o provocare și pentru noi, și pentru ei. Se bucură că IA-ul generează codul, dar parcă ar vrea să știe ce este acolo. Ce simt eu, în ultima vreme, este că accesul acesta foarte mare la informație și la instrumente de toate felurile îi pune în dificultate când trebuie să ia decizii. Când ai două opțiuni, o alegi pe una, dar când ai zece opțiuni, ce alegi? Rețeaua neuronală biologică este suprasolicitată. Bombardamentul de informație și tooluri, augumentat de IA, cred că le face viața mult mai dificilă decât o aveau studenții în urmă cu 10-15 ani. IA-ul va deveni normalitate. Problema este una de încredere, de relevanță, de corectitudine. Dacă sistemele ajung să se antreneze pe acea informație invalidă, degradată, mă aștept ca IA-ul să scadă în calitate. Pe noi ne interesează ca studenții noștri să învețe și să știe, să înțeleagă.

Cât de mult folosiți IA?

George Todoran: Folosesc IA și studiez IA. Scriu cod de mână rar și orchestrez munca mea în jurul agentului de codare. Dacă începi un proiect nou, faci un MVP rapid. Dar în industrie ai proiecte începute prin anii 90'. Nu mai este documentație. Nu este atât de simplu. Trebuie să putem clasifica care sunt proiectele AI-ready și care nu. Acolo unde interfețele sunt clare și unde, în general, există claritate, putem interacționa mai ușor cu IA-ul.

Prof. Dr. Laura Silvia Diosan: Având în vedere că acei care vor fi clasa a IX-a anul viitor la liceele de informatică vor învăța Python și AI/ML, cred că vom avea o primă generație pregătită să lucreze cu IA. Python îți arată foarte rapid rezultatul muncii tale. Python aduce o recompensă imediată.

George Todoran: Am scris acum câteva luni un articol pe tema prompt injection în TSM. Folosim fișiere de tip skills sau instructions. Toată lumea le privește ca fișiere de tip text, dar în interior sunt comenzi ce vor fi executate. Putem descărca de pe internet fișiere agent skills și le executăm. Prin urmare, totul reprezintă o problemă de securitate și trebuie de înțeles ceea ce este în acele fișiere. Multe companii concediază oameni care au cunoștințe legate de procese, informații care nu sunt documentate nicăieri și pe care un IA nu le poate replica. Acest fapt duce la costuri mult mai mari pe termen lung.