Progettiamo il sistema attorno al modello.
I progetti AI raramente falliscono sul prompt. Falliscono sul retrieval, sulla qualità dei dati, sulla valutazione, su latenza e costi, e su cosa succede quando il modello sbaglia con sicurezza. Questa è architettura dei sistemi, ed è ciò che George fa da vent’anni.
La verità poco affascinante sui prodotti AI
Un modello linguistico è una dipendenza che chiami via rete. È non deterministico, viene misurato a token, è più lento del tuo database e ogni tanto restituisce qualcosa di plausibile e sbagliato.
Tutto ciò che decide se la tua funzionalità AI funziona in produzione è ordinaria, difficile architettura software: quale contesto recuperi e come, come misuri se una risposta era buona, cosa metti in cache, cosa fai quando il provider è fuori uso, come eviti che i costi crescano insieme al tuo successo. Questo è il lavoro, ed è ciò che facciamo.
Da “dovremmo usare l'AI?” a un sistema in produzione
Di solito gli incarichi partono dalla cima di questa lista e scendono. Sei libero di fermarti dopo il primo.
Valutazione delle opportunità AI
Un incarico breve e a pagamento che esamina il tuo prodotto e i tuoi dati, poi ti dice dove l'AI crea valore, dove crea soltanto costi e cosa servirebbe per realizzarla. Ricevi un piano scritto. A volte la risposta onesta è “non ancora”, e te lo diremo.
- Rosa di casi d'uso, ordinata per valore e rischio
- Review sulla prontezza dei dati
- Raccomandazione se costruire, acquistare o attendere
Progettazione di sistemi AI
L'architettura attorno al modello: come il contesto lo raggiunge, come sai che l'output è buono, quanto costa per richiesta, quanto velocemente risponde e come il prodotto degrada in modo controllato quando il modello o il provider vengono meno.
- Progettazione del retrieval e delle pipeline di dati
- Harness di valutazione e guardrail di qualità
- Budget di costo e latenza
- Fallback, caching e degradazione controllata
Funzionalità LLM in prodotti esistenti
Gran parte di questo lavoro avviene dentro applicazioni che hanno già utenti e fatturato. Aggiungiamo la funzionalità senza destabilizzare ciò che già genera denaro, un vincolo che le demo AI greenfield non devono mai rispettare.
- Retrieval-augmented generation sui tuoi contenuti
- Estrazione strutturata e classificazione
- Agenti e tool use, delimitati in modo che non possano fare danni
- Assistenti e ricerca semantica
Automazione di processi e workflow
La categoria meno alla moda e più redditizia: il lavoro manuale, ripetitivo e a basso contenuto decisionale dentro la tua azienda che un modello ben delimitato può assorbire, con un essere umano che continua a tenere in mano le decisioni che contano.
- Elaborazione di documenti ed email
- Flussi di back-office e di supporto
- Passaggi di revisione con l'uomo nel loop
Selezione del modello e del vendor
I modelli cambiano ogni pochi mesi; l'architettura che li circonda non dovrebbe doverlo fare. Teniamo il provider dietro un'interfaccia, scegliamo il modello più economico che supera la tua soglia di qualità anziché il più grande disponibile e rendiamo il cambio una modifica di configurazione invece di una riscrittura.
Un architetto, non un prompt engineer
Il prompting è un'abilità che si impara in un paio di settimane. Sapere quale parte di un sistema cederà sotto carico richiede parecchio di più.
Vent’anni di sistemi in produzione
API ad alto traffico, modelli di dati che hanno retto una crescita reale e piattaforme rilasciate senza downtime. Le funzionalità AI vivono dentro sistemi come questi, altrimenti non escono mai dalla demo.
Ottieni l'ingegnere, non un account manager
La persona che definisce il perimetro del tuo progetto è la persona che lo progetta e ne scrive il codice. Nulla si perde nel passaggio di consegne, perché non c'è alcun passaggio di consegne.
Detto senza giri di parole, cattive notizie comprese
Se l'AI è lo strumento sbagliato per il tuo problema, è il consiglio che riceverai la prima settimana, prima di spendere il budget. È una conversazione più economica dell'alternativa.
Hai un problema di AI che vale la pena risolvere?
Raccontaci cosa stai cercando di costruire. Se è un buon abbinamento te lo diremo, e se non lo è, te lo diremo comunque.