Come l'Auto-Research mi ha fatto smettere di correggere i prompt manualmente

I prompt AI funzionano benissimo. Fino a quando non funzionano. Nel mio caso, circa il 70% delle volte ottengo esattamente quello che voglio. Il restante 30%? Un disastro completo. E se ti dicessi che esiste un modo per far sì che i tuoi prompt si migliorino da soli, mentre dormi?

Qualche giorno fa ho scoperto una metodologia chiamata auto-research , sviluppata da uno degli ex membri fondatori di OpenAI. L'ho applicata ai miei workflow di automazione con Claude e i risultati sono stati sorprendenti: dall'81% di miglioramento nella velocità di caricamento di un sito web, fino a prompt che si auto-ottimizzano raggiungendo il 97,5% di accuratezza. In questo articolo ti mostro come funziona e come puoi usarla per i tuoi progetti.

Cos'è l'auto-research e perché dovresti conoscerla

L'auto-research è un approccio che permette a un sistema di agenti AI di ottimizzare autonomamente un processo. Nel repository originale, veniva usato per addestrare modelli di machine learning. Ma la vera magia sta nel fatto che puoi applicarlo a qualsiasi cosa misurabile: prompt, workflow di automazione, landing page, email di cold outreach.

Il concetto di base è semplice: definisci un obiettivo, lasci che il sistema faccia esperimenti ripetuti, misuri i risultati e tenga solo le soluzioni migliori. È evoluzione darwiniana applicata all'AI. Ho testato questo approccio su un mio vecchio progetto web: in 67 test automatici, il tempo di caricamento è passato da 1.100 millisecondi a 67. Un miglioramento dell'81,3%, senza che io toccassi una riga di codice manualmente.

La parte più interessante? Non ottieni solo il risultato finale. Ottieni anche un registro completo di tutti i tentativi, gli esperimenti falliti e le strategie che hanno funzionato. Questo significa che quando arriveranno modelli più potenti nei prossimi anni, potrai passare loro tutto questo storico di ricerca e ripartire da dove ti eri fermato.

I tre ingredienti per far funzionare l'auto-research

Per implementare l'auto-research sui tuoi progetti hai bisogno di tre elementi fondamentali:

• Una metrica oggettiva : un numero misurabile, non una sensazione. Nel caso del mio sito era il tempo di caricamento in millisecondi. Per campagne di email marketing, potrebbe essere il tasso di risposta. Per un generatore di immagini AI, la percentuale di output che supera criteri predefiniti.
• Uno strumento di misurazione : qualcosa di automatizzato, affidabile, che non richieda intervento umano. Per testare la velocità di un sito, uso Lighthouse di Google. Per valutare prompt AI, costruisco una suite di test automatizzati che eseguono valutazioni binarie (sì/no, vero/falso).
• Qualcosa da modificare : nel caso di un sito sono le modifiche al codice, per le email è il copy, per i workflow AI sono le istruzioni del prompt.

La chiave sta nel rendere tutto questo processo completamente autonomo. Una volta definiti questi tre elementi, il sistema può girare per ore, giorni o settimane senza che tu debba fare nulla.

Come costruire un sistema di evaluation per i tuoi prompt

Qui è dove la maggior parte delle persone si blocca. I prompt AI sono intrinsecamente rumorosi : esegui lo stesso prompt dieci volte e otterrai dieci risultati leggermente diversi. Per controllare questa variabilità, devi costruire quello che in gergo tecnico si chiama evaluation suite (o semplicemente "eval").

Ho applicato questo approccio a uno strumento che uso per generare diagrammi: un prompt che trasforma descrizioni in linguaggio naturale in schemi visual stile lavagna, con colori pastello e icone minimali. Il problema? A volte il testo era illeggibile, altre volte i colori erano troppo accesi, altre ancora il layout era caotico.

Ho definito quattro criteri di valutazione binari:

• Il testo è tutto leggibile e grammaticalmente corretto?
• I colori rispettano la palette pastello (niente rossi o verdi neon)?
• Il layout è lineare (da sinistra a destra o dall'alto in basso)?
• È privo di numerazioni ordinali (1, 2, 3, 4)?

Ogni domanda ha una sola risposta possibile: sì o no. Genero 10 diagrammi per test, valuto ciascuno contro questi quattro criteri, ottengo un punteggio su 40. Se il punteggio migliora, tengo la nuova versione del prompt. Altrimenti, scarto e riprovo. Semplice, ma efficace.

Il workflow completo: dall'idea all'ottimizzazione automatica

Ecco come ho strutturato il sistema in pratica, usando Claude Code e un'interfaccia di automazione:

Prima fase: ho fornito al sistema tre cose. Il repository auto-research originale come riferimento metodologico. Il mio prompt attuale per generare diagrammi. La lista dei quattro criteri di valutazione. Poi ho dato un'istruzione vocale (trascritto con uno strumento di speech-to-text): "Usa la convenzione auto-research per costruire un sistema auto-migliorante. Ogni 2 minuti genera 10 diagrammi, valutali contro i criteri, calcola il punteggio su 40, modifica il prompt e tieni la versione migliore."

Il sistema ha iniziato a girare in autonomia. Primo test: 32 su 40. Secondo test: 37 su 40. Dopo alcune iterazioni: 39 su 40, equivalente al 97,5% di accuratezza. Il costo? Circa 2 centesimi di euro per ogni generazione (uso un modello veloce ed economico tramite OpenRouter). 10 diagrammi per test significano 20 centesimi a test. In 50 test, circa 10 euro per ottimizzare completamente un prompt che userò per mesi.

Durante l'esecuzione, il sistema tiene traccia di tutto: quali modifiche ha provato, quali hanno funzionato, quali hanno peggiorato i risultati. Questo storico diventa un asset. Quando arriverà un modello più potente, potrò ripartire da lì invece che da zero.

Errori da evitare quando costruisci le tue evaluation

Dopo aver sperimentato con diversi tipi di eval, ho imparato alcune lezioni importanti:

Usa sempre valutazioni binarie. Sì/no, vero/falso, passa/non passa. Ho provato scale di valutazione ("valuta da 1 a 7") ma introducono troppa variabilità. Più opzioni dai al modello, più i risultati diventano imprevedibili. È come un cono che si allarga: parti con un margine stretto, finisci con risultati completamente diversi.

Non essere troppo rigido nei criteri. Se specifichi "deve essere sotto 50 parole" o "non deve contenere questi caratteri", il modello inizierà a ottimizzare per superare il test, non per migliorare la qualità reale. È come uno studente che memorizza le risposte senza capire la materia: passa l'esame ma non ha imparato nulla.

Testa su volumi significativi. Un singolo output non ti dice nulla. 10 output ti danno una distribuzione. Puoi calcolare la frequenza (moda) e la media (mediana) dei risultati e avere una misura affidabile della qualità.

Il trucco è trovare il giusto equilibrio: criteri abbastanza specifici da essere utili, ma abbastanza flessibili da non limitare artificialmente la creatività del sistema.

Oltre i prompt: dove puoi applicare l'auto-research

Questa metodologia non si limita ai prompt. Sto usando lo stesso approccio per ottimizzare campagne di email fredde (metrica: tasso di risposta, misurato via API di una piattaforma di email marketing). Landing page (metrica: tempo di caricamento e tasso di conversione). Titoli e thumbnail per contenuti (metrica: percentuale di click).

La cosa bella è che puoi applicarla a cascata. Ho iniziato a costruire un "meta-skill" che prende ogni singolo prompt nel mio repository di automazioni e lo ottimizza automaticamente usando questa metodologia. Immagina di avere decine di prompt, ognuno che migliora autonomamente durante la notte. È come avere un team di assistenti che lavorano 24/7 per perfezionare i tuoi strumenti.

E qui torniamo alla domanda che vale la pena tenere aperta: stiamo ottimizzando i nostri strumenti, o stiamo addestrando sistemi che presto non avranno più bisogno di noi per migliorarsi? Per ora, costruire le eval richiede ancora intuizione umana. Ma tra qualche anno? Chi lo sa.

Come iniziare con l'auto-research nei tuoi progetti

Se vuoi sperimentare con questo approccio, inizia da un singolo processo misurabile. Non serve un workflow complesso. Può essere un prompt che usi spesso e che sai non essere perfetto. Un'email template che vuoi migliorare. Un processo di automazione che produce risultati altalenanti.

Definisci 3-5 criteri binari per valutare la qualità. Costruisci o usa uno strumento per misurare automaticamente se quei criteri sono soddisfatti. Imposta un loop: genera, valuta, modifica, ripeti. Lascia girare per qualche ora o una notte intera. Al mattino, controlla i risultati.

Il costo è minimo se usi modelli economici tramite piattaforme come OpenRouter. Il tempo richiesto per impostare tutto? Circa 30 minuti. Il valore di avere prompt e workflow che si auto-migliorano senza che tu debba intervenire? Difficile da quantificare, ma per me ha significato risparmiare ore di correzioni manuali ogni settimana.

Questa non è fantascienza. È una metodologia che puoi implementare oggi, con gli strumenti che probabilmente stai già usando. E se sei un freelancer o gestisci una piccola attività, avere sistemi che si ottimizzano da soli significa poter competere con realtà molto più grandi, senza dover assumere un team.