close
Sari la conținut

Ingineria prompturilor

De la Wikipedia, enciclopedia liberă
(Redirecționat de la Prompt engineering)
Un videoclip generat dintr-un prompt folosind Sora din OpenAI. Promptul este: Mai mulți mamuți uriași lânoși se apropie pășind printr-o pajiște înzăpezită, blana lor lungă și lânoasă flutură ușor în vânt în timp ce merg, copaci acoperiți de zăpadă și munți dramatici cu vârfuri de zăpadă în depărtare, lumina după-amiezii cu nori subțiri și un soare sus în depărtare creează o strălucire caldă, vederea joasă a camerei este uimitoare, surprinzând mamiferul mare și blănos cu fotografii frumoase, profunzime de câmp.

Ingineria prompturilor (în engleză prompt engineering) este procesul de structurare a intrărilor în limbaj natural (denumite prompturi) pentru a obține rezultate specificate de la un model de inteligență artificială generativă (IA generativă). Ingineria contextului este domeniul înrudit al ingineriei software care se concentrează asupra gestionării contextelor, altele decât prompturile sau incluzând prompturile, furnizate modelului de IA generativă, precum instrucțiunile de sistem, metadatele, instrumentele API și tokenurile.

Aceasta poate fi definită și drept practica de concepere și perfecționare a instrucțiunilor de intrare furnizate unui model de IA generativă pentru a produce rezultate mai exacte, relevante sau utile. Ingineria eficientă a prompturilor presupune înțelegerea modului în care un model interpretează limbajul și poate include tehnici precum promptarea cu puține exemple, promptarea prin lanț de raționament și atribuirea unui rol. Este considerată din ce în ce mai mult o competență necesară pentru lucrul cu modele lingvistice de mari dimensiuni (LLM-uri), atât în cercetare, cât și în contexte profesionale.

În timpul expansiunii inteligenței artificiale din anii 2020, ingineria prompturilor a ajuns să fie privită drept o capacitate de afaceri în numeroase companii și industrii. Au fost angajați specialiști cu titulatura de inginer de prompturi pentru a crea prompturi care să sporească productivitatea și eficacitatea, deși această titulatură distinctă și-a pierdut ulterior din relevanță, pe fondul apariției unor modele de IA capabile să producă prompturi mai bune decât oamenii și al instruirii generale a angajaților în utilizarea prompturilor.

Printre tehnicile obișnuite de promptare se numără promptarea cu mai multe exemple, prin lanț de raționament și prin arbore de raționament, precum și atribuirea unor roluri modelului. Metodele automatizate de generare a prompturilor, precum generarea augmentată prin regăsire (RAG), oferă o precizie mai mare și o gamă mai largă de funcții pentru inginerii de prompturi. Injecția de prompturi este un tip de atac de securitate cibernetică care vizează modelele de învățare automată prin intermediul unor prompturi rău intenționate.

Terminologie

[modificare | modificare sursă]

Oxford English Dictionary definește ingineria prompturilor drept „acțiunea sau procesul de formulare și perfecționare a prompturilor pentru un program, algoritm etc. de inteligență artificială, în vederea optimizării rezultatului acestuia sau a obținerii unui rezultat dorit; disciplina sau profesia care se ocupă de această activitate”.[1] În 2023, termenul prompt („o instrucțiune furnizată unui program, algoritm etc. de inteligență artificială, care determină sau influențează conținutul generat de acesta”) s-a clasat pe locul al doilea în competiția Oxford pentru cuvântul anului.[2]

Prompt

[modificare | modificare sursă]

Un prompt este un text în limbaj natural care descrie și prescrie sarcina pe care trebuie să o îndeplinească o inteligență artificială (IA).[3] Un prompt pentru un model lingvistic text-la-text poate fi o întrebare, o comandă sau o formulare mai amplă care face trimitere la context, instrucțiuni și istoricul conversației. Procesul de inginerie a prompturilor poate presupune conceperea unor întrebări clare, perfecționarea formulării, furnizarea contextului relevant, specificarea stilului rezultatului și atribuirea unui personaj pe care IA să îl imite, pentru a orienta modelul către răspunsuri mai exacte, utile și consecvente.[4][5]

Atunci când se comunică cu un model text-imagine sau text-audio, un prompt tipic conține o descriere a rezultatului dorit, precum „o fotografie de înaltă calitate a unui astronaut călare pe un cal”[6] sau „muzică electro lo-fi lentă, cu BPM redus, atmosferă relaxată și mostre organice”.[7] Ingineria prompturilor poate fi aplicată modelelor text-imagine pentru a obține subiectul, stilul, compoziția, iluminarea și estetica dorite.[8]

Tehnici

[modificare | modificare sursă]

Printre termenii utilizați în mod obișnuit pentru a descrie diferite tehnici specifice de inginerie a prompturilor se numără lanț de raționament,[9] arbore de raționament[10] și generare augmentată prin regăsire (RAG).[11] O analiză de sinteză a domeniului din 2024 a identificat peste 50 de tehnici distincte de promptare bazate pe text, 40 de variante multimodale și un vocabular de 33 de termeni utilizați în cercetarea privind promptarea, evidențiind lipsa actuală a unei terminologii standardizate pentru ingineria prompturilor.[12]

Vibe coding este o metodă de dezvoltare software asistată de inteligența artificială în care utilizatorul îi descrie unui LLM ceea ce dorește și îi permite să genereze sau să modifice codul. În 2025, „vibe coding” a fost desemnat cuvântul anului de dicționarul Collins.[13]

Ingineria contextului

[modificare | modificare sursă]

Ingineria contextului este un proces înrudit care se concentrează asupra elementelor de context ce însoțesc prompturile utilizatorului, inclusiv instrucțiunile de sistem, cunoștințele regăsite, definițiile instrumentelor, rezumatele conversațiilor și metadatele sarcinii. Ingineria contextului este utilizată pentru a îmbunătăți fiabilitatea, proveniența și eficiența utilizării tokenurilor în sistemele LLM aflate în producție.[14][15] Conceptul pune accentul pe practici operaționale precum bugetarea tokenurilor, etichetele de proveniență, versionarea artefactelor de context, observabilitatea (înregistrarea contextului furnizat) și testele de regresie ale contextului, pentru a asigura că modificările aduse contextului furnizat nu schimbă în mod neobservat comportamentul sistemului.[16]

Fundamentare

[modificare | modificare sursă]

Cercetările au constatat că performanța modelelor lingvistice de mari dimensiuni (LLM-uri) este foarte sensibilă la alegeri precum ordinea exemplelor, calitatea etichetelor demonstrațiilor și chiar variațiile minore de formulare. În unele cazuri, reordonarea exemplelor dintr-un prompt a determinat variații ale acurateței de peste 40%.[12]

Învățarea în context

[modificare | modificare sursă]

Capacitatea unui model de a învăța temporar din prompturi este denumită învățare în context. Învățarea în context este o capacitate emergentă[17] a modelelor lingvistice de mari dimensiuni. Ea este o proprietate emergentă a dimensiunii modelului, ceea ce înseamnă că apar discontinuități în legile de scalare, iar eficacitatea sa crește într-un ritm diferit la modelele mai mari față de cele mai mici.[17][18] Spre deosebire de antrenare și ajustarea fină, care produc modificări durabile, învățarea în context este temporară.[19] Antrenarea modelelor pentru a realiza învățare în context poate fi privită ca o formă de metaînvățare sau „învățare a modului de a învăța”.[20]

Promptarea pentru estimarea sensibilității modelului

[modificare | modificare sursă]

Cercetările demonstrează în mod consecvent că LLM-urile sunt foarte sensibile la variații subtile ale formatării, structurii și proprietăților lingvistice ale prompturilor. Unele studii au evidențiat diferențe de până la 76 de puncte de acuratețe între modificări de formatare în contexte cu puține exemple.[21] Caracteristicile lingvistice influențează semnificativ eficacitatea prompturilor — inclusiv modificările morfologice, sintactice și lexico-semantice — și pot îmbunătăți în mod substanțial performanța într-o varietate de sarcini.[5][22] Sintaxa propozițiilor subordonate, de exemplu, îmbunătățește consecvența și reduce incertitudinea în regăsirea cunoștințelor.[23] Această sensibilitate persistă chiar și în cazul modelelor de dimensiuni mai mari, al adăugării mai multor exemple sau al ajustării pe baza instrucțiunilor.

Pentru a aborda sensibilitatea modelelor și a le face mai robuste, au fost propuse mai multe metode de evaluare. FormatSpread facilitează analiza sistematică prin evaluarea unei game de formate plauzibile ale prompturilor și oferă un interval de performanță mai cuprinzător.[21] În mod similar, PromptEval estimează distribuțiile performanței pentru prompturi diverse, permițând calcularea unor indicatori robuști, precum cuantilele performanței, și realizarea unor evaluări exacte în condițiile unor bugete limitate.[24]

Tehnici de promptare

[modificare | modificare sursă]

Cu mai multe exemple

[modificare | modificare sursă]

Un prompt poate include câteva exemple din care modelul să învețe în context, ceea ce reprezintă o aplicare a învățării cu puține exemple în cazul LLM-urilor.[9][25][26] De exemplu, promptul îi poate cere modelului să completeze „maison Format:Arrow casă, chat Format:Arrow pisică, chien Format:Arrow”, răspunsul așteptat fiind câine.[27]

Lanț de raționament

[modificare | modificare sursă]

Promptarea prin lanț de raționament (CoT) este o tehnică ce permite modelelor lingvistice de mari dimensiuni (LLM-uri) să rezolve o problemă sub forma unei serii de pași intermediari înainte de a furniza răspunsul final. În 2022, Google Brain a raportat că promptarea prin lanț de raționament îmbunătățește capacitatea de raționament prin determinarea modelului să răspundă unei probleme cu mai multe etape folosind pași de raționament care imită un fir al gândirii.[9][28] Tehnicile de tip lanț de raționament au fost dezvoltate pentru a ajuta LLM-urile să gestioneze sarcini de raționament cu mai multe etape, precum întrebările de aritmetică sau de raționament de bun-simț.[29][30]

Potrivit Google, atunci când a fost aplicată modelului PaLM, un model lingvistic cu 540 de miliarde de parametri, promptarea CoT a îmbunătățit semnificativ performanța modelului, permițându-i să obțină rezultate comparabile cu cele ale modelelor ajustate fin pentru anumite sarcini și să atingă rezultate de vârf la momentul respectiv în testul de referință GSM8K pentru raționament matematic.[9] Modelele pot fi ajustate fin pe seturi de date cu raționamente CoT pentru a consolida în continuare această capacitate și a favoriza o mai bună interpretabilitate.[31][32]

În forma propusă inițial de Google,[9] fiecare prompt CoT este însoțit de un set de exemple de intrare/ieșire — denumite exemple demonstrative — care ilustrează rezultatul dorit al modelului, ceea ce face ca aceasta să fie o tehnică de promptare cu puține exemple. Cu toate acestea, potrivit unui articol ulterior al unor cercetători de la Google și Universitatea din Tokio, simpla adăugare a cuvintelor „Să gândim pas cu pas”[33] s-a dovedit de asemenea eficientă, ceea ce a permis utilizarea CoT ca tehnică fără exemple.

Autoconsistență

[modificare | modificare sursă]

Autoconsistența efectuează mai multe rulări ale lanțului de raționament, apoi selectează concluzia la care s-a ajuns cel mai frecvent dintre toate rulările.[34][35]

Arbore de raționament

[modificare | modificare sursă]

Promptarea prin arbore de raționament generalizează lanțul de raționament prin generarea în paralel a mai multor linii de raționament, cu posibilitatea de a reveni la pași anteriori sau de a explora alte căi. Aceasta poate utiliza algoritmi de căutare în arbori, precum căutarea în lățime, căutarea în adâncime sau căutarea cu fascicul.[10]

Promptarea text-imagine

[modificare | modificare sursă]

În 2022, modele text-imagine precum DALL-E 2, Stable Diffusion și Midjourney au fost puse la dispoziția publicului. Aceste modele primesc prompturi text ca intrare și le folosesc pentru a genera imagini.[36][8] Primele modele text-imagine nu înțelegeau de regulă negația, gramatica și structura propoziției în același mod ca modelele lingvistice de mari dimensiuni și puteau necesita, prin urmare, un set diferit de tehnici de promptare. Promptul „o petrecere fără tort” putea genera o imagine care includea un tort.[37]

BERJAYA
BERJAYA
BERJAYA
Demonstrarea efectului prompturilor negative asupra imaginilor generate cu Stable Diffusion
Sus: fără prompt negativ
Centru: „copaci verzi”
Jos: „pietre rotunde, stânci rotunde”

Un prompt text-imagine include de regulă o descriere a subiectului lucrării, mediul dorit (precum pictură digitală sau fotografie), stilul (precum hiperrealist sau pop-art), iluminarea (precum iluminare de contur sau raze crepusculare), culoarea și textura.[38] Ordinea cuvintelor influențează, de asemenea, rezultatul unui prompt text-imagine. Cuvintele aflate mai aproape de începutul promptului pot primi o pondere mai mare.[39]

Stilurile artiștilor

[modificare | modificare sursă]

Unele modele text-imagine sunt capabile să imite stilul anumitor artiști atunci când aceștia sunt menționați nominal. De exemplu, expresia în stilul lui Greg Rutkowski a fost utilizată în prompturi pentru Stable Diffusion și Midjourney pentru a genera imagini în stilul distinctiv al artistului digital polonez Greg Rutkowski.[40] Artiști celebri precum Vincent van Gogh și Salvador Dalí au fost, de asemenea, utilizați pentru stilizare și testare.[41]

Inversie textuală și reprezentări vectoriale

[modificare | modificare sursă]

În cazul modelelor text-imagine, inversia textuală efectuează un proces de optimizare pentru a crea o nouă reprezentare vectorială a cuvintelor pe baza unui set de imagini exemplificative. Acest vector de reprezentare acționează ca un „pseudocuvânt” care poate fi inclus într-un prompt pentru a exprima conținutul sau stilul exemplelor.[42]

Promptarea prin imagini

[modificare | modificare sursă]

În 2023, departamentul de cercetare în IA al Meta a lansat Segment Anything, un model de vedere artificială care poate efectua segmentare de imagini pe baza prompturilor. Ca alternativă la prompturile text, Segment Anything poate accepta casete de încadrare, măști de segmentare și puncte de prim-plan sau de fundal.[43]

Limitări

[modificare | modificare sursă]

Procesul de redactare și perfecționare a unui prompt pentru un LLM sau pentru o IA generativă prezintă unele asemănări cu un proces iterativ de proiectare inginerească, de exemplu prin identificarea unor bune practici reutilizabile în urma unor experimente reproductibile. Cu toate acestea, mai multe limitări fundamentale îi restrâng fiabilitatea ca disciplină. Strategiile eficiente de promptare sunt în mare măsură specifice fiecărui model: o tehnică ce îmbunătățește performanța unui model o poate înrăutăți pe cea a altuia, ceea ce face dificilă generalizarea. Prompturile sunt și fragile: modificări minore, de suprafață, ale formulării, punctuației sau ordinii cuvintelor pot produce rezultate radical diferite, chiar dacă intenția semantică rămâne identică.[44] Această instabilitate îngreunează stabilirea unor tipare de prompturi durabile și transferabile între diferite contexte de implementare.[45] În plus, pe măsură ce modelele de IA își îmbunătățesc capacitatea de a interpreta direct intenția utilizatorului, numeroase tehnici manuale de promptare devin depășite. Progresele în urmarea instrucțiunilor și raționamentul modelelor au redus valoarea marginală a elaborării complexe a prompturilor pentru sarcinile cotidiene, ceea ce ridică întrebări cu privire la viabilitatea pe termen lung a ingineriei prompturilor ca disciplină de sine stătătoare.[46]

Generarea automată a prompturilor

[modificare | modificare sursă]

Cercetările recente au analizat ingineria automată a prompturilor, utilizând algoritmi de optimizare pentru a genera sau perfecționa prompturi fără intervenție umană. Aceste abordări automatizate urmăresc să identifice tipare eficiente de prompturi prin analizarea gradienților modelului, a feedbackului de întărire sau a proceselor evolutive, reducând necesitatea experimentării manuale.[47]

Generare augmentată prin regăsire (RAG)

[modificare | modificare sursă]

Generarea augmentată prin regăsire este o tehnică ce permite modelelor de IA generativă să regăsească și să integreze informații noi. Aceasta modifică interacțiunea cu un LLM astfel încât modelul să răspundă întrebărilor utilizatorului prin raportare la un set specificat de documente, folosind aceste informații pentru a completa informațiile provenite din datele sale de antrenare preexistente. Astfel, LLM-urile pot utiliza informații specifice unui domeniu și/sau actualizate.[11]

RAG îmbunătățește modelele lingvistice de mari dimensiuni prin integrarea regăsirii informațiilor înainte de generarea răspunsurilor. Spre deosebire de LLM-urile tradiționale, care se bazează pe date de antrenare statice, RAG extrage text relevant din baze de date, documente încărcate sau surse web. Prin regăsirea dinamică a informațiilor, RAG permite IA să genereze răspunsuri mai exacte și mai puține halucinații ale IA, fără reantrenări frecvente.[48]

Generare augmentată prin regăsire cu grafuri (GraphRAG)

[modificare | modificare sursă]
BERJAYA
GraphRAG cu un graf de cunoștințe care combină tipare de acces pentru date nestructurate, structurate și mixte

GraphRAG (termen introdus de Microsoft Research) este o tehnică ce extinde RAG prin utilizarea unui graf de cunoștințe, pentru a permite modelului să conecteze informații disparate, să sintetizeze perspective și să înțeleagă concepte semantice rezumate în colecții mari de date. Eficacitatea sa a fost demonstrată pe seturi de date precum Violent Incident Information from News Articles.[49][50][51]

Utilizarea modelelor lingvistice pentru generarea prompturilor

[modificare | modificare sursă]

LLM-urile pot fi utilizate ele însele pentru a compune prompturi destinate altor LLM-uri.[52] Algoritmul de inginerie automată a prompturilor utilizează un LLM pentru a efectua o căutare cu fascicul în spațiul prompturilor destinate unui alt LLM:[53][54]

  • Există două LLM-uri. Unul este LLM-ul țintă, iar celălalt este LLM-ul de promptare.
  • LLM-ului de promptare i se prezintă perechi exemplificative de intrare-ieșire și i se solicită să genereze instrucțiuni care ar fi putut determina un model ce urmează instrucțiunile să producă respectivele ieșiri pentru intrările date.
  • Fiecare instrucțiune generată este utilizată pentru a crea un prompt destinat LLM-ului țintă, urmat de fiecare dintre intrări. Se calculează și se însumează log-probabilitățile ieșirilor. Suma reprezintă scorul instrucțiunii.
  • Instrucțiunile cu cele mai mari scoruri sunt furnizate LLM-ului de promptare pentru generarea unor noi variații.
  • Procesul se repetă până la îndeplinirea unui criteriu de oprire, după care este furnizată instrucțiunea cu cel mai mare scor.

Exemplele CoT pot fi generate chiar de LLM-uri. În „auto-CoT”, o bibliotecă de întrebări este convertită în vectori de un model precum BERT. Vectorii întrebărilor sunt grupați în clustere. Sunt selectate întrebările apropiate de centroidul fiecărui cluster, astfel încât să se obțină un subset divers de întrebări. Un LLM aplică CoT fără exemple fiecărei întrebări selectate. Întrebarea și răspunsul CoT corespunzător sunt adăugate într-un set de date cu demonstrații. Aceste demonstrații diverse pot fi apoi adăugate prompturilor pentru învățare cu puține exemple.[55]

Optimizarea automată a prompturilor

[modificare | modificare sursă]

Tehnicile de optimizare automată a prompturilor perfecționează prompturile pentru modelele lingvistice de mari dimensiuni prin căutarea automată a unor formulări alternative, utilizând seturi de date de evaluare și metrici specifice sarcinii:

  • MIPRO (Multi-prompt Instruction Proposal Optimizer) optimizează instrucțiunile și demonstrațiile cu puține exemple ale programelor lingvistice cu mai multe etape, propunând mici modificări ale prompturilor modulelor și păstrând modificările care îmbunătățesc o metrică de performanță din aval, fără acces la etichete sau gradienți la nivelul modulelor.[56]
  • GEPA (Genetic-Pareto) este un optimizator reflexiv de prompturi pentru sisteme de IA compuse, care combină analiza, realizată de modele lingvistice, a traseelor de execuție și a feedbackului textual cu o căutare evolutivă bazată pe Pareto într-o populație de sisteme candidate; în patru sarcini, GEPA a raportat creșteri medii de aproximativ 10% față de Group Relative Policy Optimization (GRPO), bazat pe învățare prin întărire, și de peste 10% față de optimizatorul de prompturi MIPROv2, folosind de până la 35 de ori mai puține rulări decât GRPO.[57]
  • Cadrele cu sursă deschisă, precum DSPy și Opik, pun la dispoziție aceste optimizatoare și altele înrudite, permițând exprimarea căutării prompturilor ca parte a unui flux programatic, în locul încercărilor și erorilor manuale.[58][59]

Utilizarea coborârii gradientului pentru căutarea prompturilor

[modificare | modificare sursă]

În „prefix-tuning”,[60] „prompt tuning” sau „soft prompting”,[61] vectorii cu virgulă mobilă sunt căutați direct prin coborârea gradientului pentru a maximiza log-verosimilitatea ieșirilor. Un rezultat anterior utilizează aceeași idee de căutare prin coborârea gradientului, dar este conceput pentru modele lingvistice cu mască, precum BERT, și caută numai în secvențe de tokenuri, nu în vectori numerici. Formal, acesta caută , unde variază în mulțimea secvențelor de tokenuri cu o lungime specificată.[62]

Istoric

[modificare | modificare sursă]

Precedente timpurii ale interacțiunii structurate a utilizatorilor cu sisteme de IA bazate pe reguli pot fi identificate în programele de automatizare pentru întreprinderi din anii 1990. De exemplu, The Intelligent Filing Manager (1999), dezvoltat de Krishna C. Mukherjee, utiliza o interfață dinamică de întrebări și răspunsuri, controlată de un sistem expert bazat pe reguli, pentru a colecta datele introduse de utilizatori în vederea generării automate a documentelor de reglementare în mai multe jurisdicții.[63] Deși nu implicau rețele neuronale, asemenea sisteme conțineau fluxuri de lucru asemănătoare prompturilor, care au influențat ulterior proiectarea sistemelor de IA cu participare umană. În 2018, cercetătorii au propus pentru prima dată ca toate sarcinile anterior separate din prelucrarea limbajului natural (NLP) să poată fi formulate ca probleme de întrebare-răspuns pe baza unui context. În plus, aceștia au antrenat primul model unic, comun și multisarcină, capabil să răspundă oricărei întrebări legate de o sarcină, precum „Care este sentimentul?”, „Tradu această propoziție în germană” sau „Cine este președintele?”.[64]

Expansiunea inteligenței artificiale a determinat o atenție sporită, atât în literatura academică, cât și în practica profesională, asupra aplicării tehnicilor de promptare pentru a determina modelul să producă rezultatul dorit și să evite rezultatele lipsite de sens, într-un proces caracterizat prin încercare și eroare.[65] După lansarea ChatGPT în noiembrie 2022, ingineria prompturilor a ajuns rapid să fie considerată o competență importantă în afaceri; companiile au început să angajeze ingineri de prompturi dedicați, deși, având în vedere progresele capacității IA de a genera prompturi mai bune decât oamenii, piața muncii pentru inginerii de prompturi s-a confruntat cu incertitudine.[4] Potrivit The Wall Street Journal, în 2025, profesia de inginer de prompturi fusese una dintre cele mai căutate în 2023, dar devenise deja depășită, deoarece modelele puteau deduce mai bine intenția utilizatorului, iar companiile ofereau cursuri de instruire.[66]

Un depozit de prompturi a raportat că, în februarie 2022, erau disponibile peste 2.000 de prompturi publice pentru aproximativ 170 de seturi de date.[67] În 2022, tehnica de promptare prin lanț de raționament a fost propusă de cercetători de la Google.[9][68] În 2023, au fost puse la dispoziția publicului mai multe baze de date de prompturi text-la-text și text-imagine.[69][70] Setul de date Personalized Image-Prompt (PIP), un set de date de tip imagine-text generat și clasificat de 3.115 utilizatori, a fost de asemenea pus la dispoziția publicului în 2024.[71]

Injecția de prompturi

[modificare | modificare sursă]

Injecția de prompturi este o metodă de exploatare a securității cibernetice în care atacatorii concep intrări ce par legitime, dar sunt menite să provoace un comportament nedorit al modelelor de învățare automată, în special al modelelor lingvistice de mari dimensiuni. Atacul profită de incapacitatea modelului de a distinge între prompturile definite de dezvoltator și intrările utilizatorului, permițând atacatorilor să eludeze mecanismele de protecție și să influențeze comportamentul modelului. Deși LLM-urile sunt concepute pentru a urma instrucțiuni de încredere, ele pot fi manipulate să genereze răspunsuri nedorite prin intrări atent concepute.[72][73]

Note

[modificare | modificare sursă]
  1. ↑ „prompt engineering”. Oxford English Dictionary. Oxford University Press. . [nefuncțională – arhivă]
  2. ↑ „Oxford Word of the Year 2023”. Oxford Languages (în engleză). Oxford University Press. Arhivat din original la . Accesat în .
  3. ↑ Radford, Alec; Wu, Jeffrey; Child, Rewon; Luan, David; Amodei, Dario; Sutskever, Ilya (). „Language Models are Unsupervised Multitask Learners” (PDF). OpenAI. Arhivat din original (PDF) la . Accesat în . We demonstrate language models can perform down-stream tasks in a zero-shot setting – without any parameter or architecture modification
  4. 1 2 Genkina, Dina (). „AI Prompt Engineering is Dead: Long live AI prompt engineering”. IEEE Spectrum. Arhivat din original la . Accesat în .
  5. 1 2 Wahle, Jan Philip; Ruas, Terry; Xu, Yang; Gipp, Bela (). „Paraphrase Types Elicit Prompt Engineering Capabilities”. În Al-Onaizan, Yaser; Bansal, Mohit; Chen, Yun-Nung. Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing. Miami, Florida, USA: Association for Computational Linguistics. pp. 11004–11033. arXiv:2406.19898 Accesibil gratuit. doi:10.18653/v1/2024.emnlp-main.617.
  6. ↑ Heaven, Will Douglas (). „This horse-riding astronaut is a milestone on AI's long road towards understanding”. MIT Technology Review. Accesat în .
  7. ↑ Wiggers, Kyle (). „Meta open sources an AI-powered music generator”. TechCrunch. Accesat în . Next, I gave a more complicated prompt to attempt to throw MusicGen for a loop: "Lo-fi slow BPM electro chill with organic samples."
  8. 1 2 Mittal, Aayush (). „Mastering AI Art: A Concise Guide to Midjourney and Prompt Engineering”. Unite.AI (în engleză). Arhivat din original la . Accesat în .
  9. 1 2 3 4 5 6 Wei, Jason; Wang, Xuezhi; Schuurmans, Dale; Bosma, Maarten; Ichter, Brian; Xia, Fei; Chi, Ed H.; Le, Quoc V.; Zhou, Denny (). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. Advances in Neural Information Processing Systems (NeurIPS 2022) (în engleză). 35. arXiv:2201.11903 Accesibil gratuit.
  10. 1 2 Tree of Thoughts: Deliberate Problem Solving with Large Language Models. NeurIPS. . arXiv:2305.10601 Accesibil gratuit.
  11. 1 2 „Why Google's AI Overviews gets things wrong”. MIT Technology Review. . Arhivat din original la . Accesat în .
  12. 1 2 Schulhoff, Sander; et al. (). „The Prompt Report: A Systematic Survey of Prompt Engineering Techniques”. arXiv:2406.06608 Accesibil gratuit [cs.CL].
  13. ↑ Kolirin, Lianne (). „'Vibe coding' named Collins Dictionary's Word of the Year”. CNN (în engleză). Arhivat din original la . Accesat în .
  14. ↑ Casey, Matt M. (). „Context Engineering: The Discipline Behind Reliable LLM Applications & Agents”. Comet. Arhivat din original la . Accesat în .
  15. ↑ „Context Engineering”. LangChain. . Arhivat din original la . Accesat în .
  16. ↑ Mei, Lingrui (). „A Survey of Context Engineering for Large Language Models”. arXiv:2507.13334 Accesibil gratuit [cs.CL].
  17. 1 2 Wei, Jason; Tay, Yi; Bommasani, Rishi; Raffel, Colin; Zoph, Barret; Borgeaud, Sebastian; Yogatama, Dani; Bosma, Maarten; Zhou, Denny; Metzler, Donald; Chi, Ed H.; Hashimoto, Tatsunori; Vinyals, Oriol; Liang, Percy; Dean, Jeff; Fedus, William (octombrie 2022). „Emergent Abilities of Large Language Models”. Transactions on Machine Learning Research. arXiv:2206.07682 Accesibil gratuit. In prompting, a pre-trained language model is given a prompt (e.g. a natural language instruction) of a task and completes the response without any further training or gradient updates to its parameters... The ability to perform a task via few-shot prompting is emergent when a model has random performance until a certain scale, after which performance increases to well-above random
  18. ↑ Caballero, Ethan; Gupta, Kshitij; Rish, Irina; Krueger, David (). „Broken Neural Scaling Laws”. ICLR. arXiv:2210.14891 Accesibil gratuit.
  19. ↑ Musser, George. „How AI Knows Things No One Told It”. Scientific American. Arhivat din original la . Accesat în . By the time you type a query into ChatGPT, the network should be fixed; unlike humans, it should not continue to learn. So it came as a surprise that LLMs do, in fact, learn from their users' prompts—an ability known as in-context learning.
  20. ↑ Garg, Shivam; Tsipras, Dimitris; Liang, Percy; Valiant, Gregory (). „What Can Transformers Learn In-Context? A Case Study of Simple Function Classes”. NeurIPS. arXiv:2208.01066 Accesibil gratuit. Training a model to perform in-context learning can be viewed as an instance of the more general learning-to-learn or meta-learning paradigm
  21. 1 2 Quantifying Language Models' Sensitivity to Spurious Features in Prompt Design or: How I learned to start worrying about prompt formatting. ICLR. . arXiv:2310.11324 Accesibil gratuit.
  22. ↑ Leidinger, Alina; van Rooij, Robert; Shutova, Ekaterina (). Bouamor, Houda; Pino, Juan; Bali, Kalika, ed. „The language of prompting: What linguistic properties make a prompt successful?”. Findings of the Association for Computational Linguistics: EMNLP 2023. Singapore: Association for Computational Linguistics: 9210–9232. arXiv:2311.01967 Accesibil gratuit. doi:10.18653/v1/2023.findings-emnlp.618. Arhivat din original la . Accesat în .
  23. ↑ Linzbach, Stephan; Dimitrov, Dimitar; Kallmeyer, Laura; Evang, Kilian; Jabeen, Hajira; Dietze, Stefan (iunie 2024). „Dissecting Paraphrases: The Impact of Prompt Syntax and supplementary Information on Knowledge Retrieval from Pretrained Language Models”. În Duh, Kevin; Gomez, Helena; Bethard, Steven. Proceedings of the 2024 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (Volume 1: Long Papers). Mexico City, Mexico: Association for Computational Linguistics. pp. 3645–3655. arXiv:2404.01992 Accesibil gratuit. doi:10.18653/v1/2024.naacl-long.201. Arhivat din original la . Accesat în .
  24. ↑ Efficient multi-prompt evaluation of LLMs. NeurIPS. . arXiv:2405.17202 Accesibil gratuit.
  25. ↑ Brown, Tom; Mann, Benjamin; Ryder, Nick; Subbiah, Melanie; Kaplan, Jared D.; Dhariwal, Prafulla; Neelakantan, Arvind (). „Language models are few-shot learners”. Advances in Neural Information Processing Systems. 33: 1877–1901. arXiv:2005.14165 Accesibil gratuit.
  26. ↑ Wang, Yaqing; Yao, Quanming; Kwok, James T.; Ni, Lionel M. (). „Generalizing from a Few Examples: A Survey on Few-shot Learning”Necesită abonament cu plată. ACM Comput. Surv. 53 (3): 63:1–63:34. doi:10.1145/3386252. ISSN 0360-0300.
  27. ↑ Garg, Shivam; Tsipras, Dimitris; Liang, Percy; Valiant, Gregory (). „What Can Transformers Learn In-Context? A Case Study of Simple Function Classes”. NeurIPS. arXiv:2208.01066 Accesibil gratuit.
  28. ↑ Narang, Sharan; Chowdhery, Aakanksha (). „Pathways Language Model (PaLM): Scaling to 540 Billion Parameters for Breakthrough Performance”. ai.googleblog.com. Arhivat din original la . Accesat în .
  29. ↑ Dang, Ekta (). „Harnessing the power of GPT-3 in scientific research”. VentureBeat. Arhivat din original la . Accesat în .
  30. ↑ Montti, Roger (). „Google's Chain of Thought Prompting Can Boost Today's Best Algorithms”. Search Engine Journal (în engleză). Arhivat din original la . Accesat în .
  31. ↑ „Scaling Instruction-Finetuned Language Models” (PDF). Journal of Machine Learning Research. . Arhivat din original (PDF) la . Accesat în .
  32. ↑ Wei, Jason; Tay, Yi (). „Better Language Models Without Massive Compute”. ai.googleblog.com (în engleză). Arhivat din original la . Accesat în .
  33. ↑ Kojima, Takeshi; Shixiang Shane Gu; Reid, Machel; Matsuo, Yutaka; Iwasawa, Yusuke (). „Large Language Models are Zero-Shot Reasoners”. NeurIPS. arXiv:2205.11916 Accesibil gratuit.
  34. ↑ Self-Consistency Improves Chain of Thought Reasoning in Language Models. ICLR. . arXiv:2203.11171 Accesibil gratuit.
  35. ↑ Mittal, Aayush (). „Latest Modern Advances in Prompt Engineering: A Comprehensive Guide”. Unite.AI (în engleză). Arhivat din original la . Accesat în .
  36. ↑ Goldman, Sharon (). „Two years after DALL-E debut, its inventor is "surprised" by impact”. VentureBeat (în engleză). Arhivat din original la . Accesat în .
  37. ↑ „Prompts”. docs.midjourney.com. Arhivat din original la . Accesat în .
  38. ↑ „Stable Diffusion prompt: a definitive guide”. . Arhivat din original la . Accesat în .
  39. ↑ Diab, Mohamad; Herrera, Julian; Chernow, Bob (). „Stable Diffusion Prompt Book” (PDF). Arhivat din original (PDF) la . Accesat în . Prompt engineering is the process of structuring words that can be interpreted and understood by a text-to-image model. Think of it as the language you need to speak in order to tell an AI model what to draw.
  40. ↑ Heikkilä, Melissa (). „This Artist Is Dominating AI-Generated Art and He's Not Happy About It”. MIT Technology Review. Arhivat din original la . Accesat în .
  41. ↑ Solomon, Tessa (). „The AI-Powered Ask Dalí and Hello Vincent Installations Raise Uncomfortable Questions about Ventriloquizing the Dead”. ARTnews.com (în engleză). Arhivat din original la . Accesat în .
  42. ↑ Gal, Rinon; Alaluf, Yuval; Atzmon, Yuval; Patashnik, Or; Bermano, Amit H.; Chechik, Gal; Cohen-Or, Daniel (). „An Image is Worth One Word: Personalizing Text-to-Image Generation using Textual Inversion”. ICLR. arXiv:2208.01618 Accesibil gratuit. Using only 3-5 images of a user-provided concept, like an object or a style, we learn to represent it through new "words" in the embedding space of a frozen text-to-image model.
  43. ↑ Segment Anything (PDF). ICCV. . Arhivat din original (PDF) la . Accesat în .
  44. ↑ Berry, David M. (). „Prompt anxiety and the algorithmic politics of uncertainty”. AI & Society (în engleză). doi:10.1007/s00146-026-03093-8. ISSN 1435-5655.
  45. ↑ Meincke, Lennart; Mollick, Ethan R.; Mollick, Lilach; Shapiro, Dan (). Prompting Science Report 1: Prompt Engineering is Complicated and Contingent (Raport). SSRN 5165270 Accesibil gratuit Verificați valoarea |ssrn= (ajutor).
  46. ↑ Bousquette, Isabelle (). „The Hottest AI Job of 2023 Is Already Obsolete”. The Wall Street Journal (în engleză). ISSN 0099-9660. Arhivat din original la . Accesat în .
  47. ↑ Li, Wenwu; Wang, Xiangfeng; Li, Wenhao; Jin, Bo (). „A Survey of Automatic Prompt Engineering: An Optimization Perspective”. arXiv:2502.11560 Accesibil gratuit [cs.AI].
  48. ↑ „Can a technology called RAG keep AI models from making stuff up?”. Ars Technica. . Arhivat din original la . Accesat în .
  49. ↑ Larson, Jonathan; Truitt, Steven (), GraphRAG: Unlocking LLM discovery on narrative private data, Microsoft, arhivat din original la , accesat în
  50. ↑ „An Introduction to Graph RAG”. KDnuggets (în engleză). Arhivat din original la . Accesat în .
  51. ↑ Sequeda, Juan; Allemang, Dean; Jacob, Bryon (). „A Benchmark to Understand the Role of Knowledge Graphs on Large Language Model's Accuracy for Question Answering on Enterprise SQL Databases”. Grades-Nda. arXiv:2311.07509 Accesibil gratuit.
  52. ↑ Explaining Patterns in Data with Language Models via Interpretable Autoprompting (PDF). BlackboxNLP Workshop. . arXiv:2210.01848 Accesibil gratuit. Arhivat din original (PDF) la . Accesat în .
  53. ↑ Large Language Models are Human-Level Prompt Engineers. ICLR. . arXiv:2211.01910 Accesibil gratuit.
  54. ↑ Pryzant, Reid; Iter, Dan; Li, Jerry; Lee, Yin Tat; Zhu, Chenguang; Zeng, Michael (). „Automatic Prompt Optimization with "Gradient Descent" and Beam Search”. Conference on Empirical Methods in Natural Language Processing: 7957–7968. arXiv:2305.03495 Accesibil gratuit. doi:10.18653/v1/2023.emnlp-main.494. Arhivat din original la . Accesat în .
  55. ↑ Automatic Chain of Thought Prompting in Large Language Models. ICLR. . arXiv:2210.03493 Accesibil gratuit.
  56. ↑ Opsahl-Ong, Krista; Ryan, Michael J.; Purtell, Josh; Broman, David; Potts, Christopher; Zaharia, Matei; Khattab, Omar (). Optimizing Instructions and Demonstrations for Multi-Stage Language Model Programs. Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing (EMNLP). Miami, Florida: Association for Computational Linguistics. arXiv:2406.11695 Accesibil gratuit. doi:10.18653/v1/2024.emnlp-main.525.
  57. ↑ Agrawal, Lakshya A. (). „GEPA: Reflective Prompt Evolution Can Outperform Reinforcement Learning”. arXiv:2507.19457 Accesibil gratuit [cs.CL].
  58. ↑ Khattab, Omar (). „DSPy: Compiling Declarative Language Model Calls into Self-Improving Pipelines”. arXiv:2310.03714 Accesibil gratuit [cs.CL].
  59. ↑ „Agent Optimization”. comet.com. Arhivat din original la . Accesat în .
  60. ↑ Li, Xiang Lisa; Liang, Percy (). „Prefix-Tuning: Optimizing Continuous Prompts for Generation”. Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers). pp. 4582–4597. doi:10.18653/V1/2021.ACL-LONG.353. In this paper, we propose prefix-tuning, a lightweight alternative to fine-tuning... Prefix-tuning draws inspiration from prompting
  61. ↑ Lester, Brian; Al-Rfou, Rami; Constant, Noah (). „The Power of Scale for Parameter-Efficient Prompt Tuning”. Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing. pp. 3045–3059. arXiv:2104.08691 Accesibil gratuit. doi:10.18653/V1/2021.EMNLP-MAIN.243. In this work, we explore "prompt tuning," a simple yet effective mechanism for learning "soft prompts"...Unlike the discrete text prompts used by GPT-3, soft prompts are learned through back-propagation
  62. ↑ Shin, Taylor; Razeghi, Yasaman; Logan IV, Robert L.; Wallace, Eric; Singh, Sameer (noiembrie 2020). „AutoPrompt: Eliciting Knowledge from Language Models with Automatically Generated Prompts”. Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP). Online: Association for Computational Linguistics. pp. 4222–4235. doi:10.18653/v1/2020.emnlp-main.346 Accesibil gratuit. Arhivat din original la . Accesat în .
  63. ↑ Mukherjee, Krishna C. (). Automating Forms Publishing with the Intelligent Filing Manager. IEEE International Conference on Systems, Man, and Cybernetics. pp. 378–383. doi:10.1109/ICSMC.1999.814108.
  64. ↑ McCann, Bryan; Keskar, Nitish; Xiong, Caiming; Socher, Richard (). The Natural Language Decathlon: Multitask Learning as Question Answering. ICLR. arXiv:1806.08730 Accesibil gratuit.
  65. ↑ Knoth, Nils; Tolzin, Antonia; Janson, Andreas; Leimeister, Jan Marco (). „AI literacy and its implications for prompt engineering strategies”. Computers and Education: Artificial Intelligence. 6. doi:10.1016/j.caeai.2024.100225 Accesibil gratuit. ISSN 2666-920X. Parametru necunoscut |article-number= ignorat (ajutor)
  66. ↑ Bousquette, Isabelle (). „The Hottest AI Job of 2023 Is Already Obsolete”. Wall Street Journal (în engleză). ISSN 0099-9660. Arhivat din original la . Accesat în .
  67. ↑ PromptSource: An Integrated Development Environment and Repository for Natural Language Prompts. Association for Computational Linguistics. . Arhivat din original la . Accesat în .
  68. ↑ Brubaker, Ben (). „How Chain-of-Thought Reasoning Helps Neural Networks Compute”. Quanta Magazine (în engleză). Arhivat din original la . Accesat în .
  69. ↑ Chen, Brian X. (). „How to Turn Your Chatbot Into a Life Coach”. The New York Times. Arhivat din original la . Accesat în .
  70. ↑ Chen, Brian X. (). „Get the Best From ChatGPT With These Golden Prompts”. The New York Times (în engleză). ISSN 0362-4331. Arhivat din originalNecesită înregistrare gratuită la . Accesat în .
  71. ↑ Chen, Zijie; Zhang, Lichao; Weng, Fangsheng; Pan, Lili; Lan, Zhenzhong (). „Tailored Visions: Enhancing Text-to-Image Generation with Personalized Prompt Rewriting”. 2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). IEEE. pp. 7727–7736. arXiv:2310.08129 Accesibil gratuit. doi:10.1109/cvpr52733.2024.00738. ISBN 979-8-3503-5300-6.
  72. ↑ Vigliarolo, Brandon (). „GPT-3 'prompt injection' attack causes bot bad manners”. The Register (în engleză). Arhivat din original la . Accesat în .
  73. ↑ „What is a prompt injection attack?”. IBM. . Arhivat din original la . Accesat în .
BERJAYA Scholia are un profil de subiect pentru Ingineria prompturilor.
Adus de la https://ro.wikipedia.org/w/index.php?title=Ingineria_prompturilor&oldid=18015563