Proiectăm sistemul în jurul modelului.
Proiectele AI rareori eșuează din cauza prompt-ului. Eșuează la retrieval, la calitatea datelor, la evaluare, la latență și cost și la ce se întâmplă când modelul greșește cu convingere. Asta este arhitectură de sisteme, exact ceea ce face George de douăzeci de ani.
Adevărul neglamuros despre produsele AI
Un language model este o dependență pe care o apelezi prin rețea. Este non-determinist, se taxează la token, este mai lent decât baza ta de date și, din când în când, va returna ceva plauzibil și greșit.
Tot ceea ce decide dacă funcționalitatea ta de AI funcționează în producție este arhitectură software obișnuită și dificilă: ce context faci retrieve și cum, cum măsori dacă un răspuns a fost bun, ce pui în cache, ce faci când providerul este picat, cum împiedici costul să crească odată cu succesul tău. Aceasta este munca, și asta facem noi.
De la „ar trebui să folosim AI?” la un sistem în producție
Colaborările încep de obicei din capul acestei liste și coboară. Ești liber să te oprești după prima.
Evaluarea oportunităților AI
O colaborare scurtă, plătită, care îți examinează produsul și datele, apoi îți spune unde AI creează valoare, unde creează doar costuri și ce ar presupune construirea lui. Primești un plan scris. Uneori răspunsul onest este „încă nu”, și ți-l vom spune ca atare.
- Listă scurtă de use case-uri, ordonate după valoare și risc
- Analiza gradului de pregătire a datelor
- Recomandare: construim, cumpărăm sau așteptăm
Proiectarea sistemelor AI
Arhitectura din jurul modelului: cum ajunge contextul la el, cum știi că output-ul este bun, cât costă per request, cât de repede răspunde și cum se degradează grațios produsul când modelul sau providerul cedează.
- Proiectarea retrieval-ului și a pipeline-ului de date
- Harness-uri de evaluare și guardrails de calitate
- Bugete de cost și latență
- Fallback-uri, caching și degradare grațioasă
Funcționalități LLM în produse existente
Cea mai mare parte a acestei munci se întâmplă în interiorul unor aplicații care au deja utilizatori și venituri. Adăugăm funcționalitatea fără să destabilizăm ceea ce aduce deja bani, o constrângere pe care demo-urile de AI pe teren gol nu trebuie niciodată s-o respecte.
- Retrieval-augmented generation peste propriul tău conținut
- Extracție structurată și clasificare
- Agenți și tool use, delimitați astfel încât să nu poată face rău
- Asistenți și căutare semantică
Automatizarea proceselor și a fluxurilor de lucru
Categoria cea mai puțin la modă și cea mai profitabilă: munca manuală, repetitivă și care cere puțină judecată din interiorul afacerii tale, pe care un model bine delimitat o poate prelua, cu un om care păstrează totuși deciziile care contează.
- Procesarea documentelor și a e-mailurilor
- Fluxuri de back-office și suport
- Pași de revizuire cu human-in-the-loop
Selecția modelului și a furnizorului
Modelele se schimbă la câteva luni; arhitectura din jurul lor n-ar trebui să fie nevoită. Ținem providerul în spatele unei interfețe, alegem cel mai ieftin model care trece de pragul tău de calitate în locul celui mai mare disponibil și facem din schimbarea lui o modificare de configurare, nu o rescriere.
Un arhitect, nu un prompt engineer
Prompting-ul este o abilitate pe care o poți învăța în două săptămâni. Să știi ce parte a unui sistem va ceda sub încărcare durează considerabil mai mult.
Douăzeci de ani de sisteme în producție
API-uri cu trafic ridicat, modele de date care au supraviețuit unei creșteri reale și platforme livrate fără downtime. Funcționalitățile de AI trăiesc în interiorul unor sisteme ca acestea, altfel nu părăsesc niciodată stadiul de demo.
Primești inginerul, nu un account manager
Persoana care îți definește proiectul este persoana care îl arhitecturează și scrie codul. Nimic nu se pierde la predare, pentru că nu există nicio predare.
Spus pe șleau, inclusiv veștile proaste
Dacă AI este unealta greșită pentru problema ta, acesta este sfatul pe care îl vei primi în prima săptămână, înainte să se cheltuiască bugetul. Este o discuție mai ieftină decât alternativa.
Ai o problemă de AI care merită rezolvată?
Spune-ne ce încerci să construiești. Dacă se potrivește, îți vom spune, și dacă nu, îți vom spune și asta.