Lab: Classificazione su Scala con IA

IA Generativa e Media — Settimana 5

Fabio Giglietto

DISCUI · Università degli Studi di Urbino Carlo Bo

24 marzo 2026

Roadmap del lab

1. Pipeline completa — i due step della classificazione
2. Step 1: codifica umana — 50 post, giudizio indipendente
3. Step 1: consenso — discussione sui disaccordi e definizione raffinata
4. Step 1: Gemini — dal consenso al prompt, classificazione automatica
5. Primi pattern — proporzione di AI slop nel dataset
6. Lavoro pratico — codifica, consenso e classificazione per gruppi

Struttura del lab. Oggi affrontiamo lo Step 1 della pipeline completa: la classificazione binaria AI slop / non AI slop. Il workflow segue il pattern che avete praticato nel seminario Paroni: prima la codifica umana indipendente, poi il consenso sui disaccordi, infine la classificazione con Gemini usando la definizione raffinata. L’obiettivo è che ogni gruppo esca con la classificazione binaria completa di tutti i 420 post.

La Pipeline Completa

Sezione 1: visione d’insieme della pipeline di classificazione. Questa ricapitolazione collega il lavoro del pilot di mercoledì con il percorso completo che affronteremo nelle prossime sessioni.

Il foglio di codifica: post_metadata

post_metadata — 8 tab, 4 operativi + 4 di supporto:

Tab operativi (oggi usiamo questi)

Tab	Colore
STEP 1 — Codifica Umana (50)	🔵
STEP 1 — Gemini + Decisione	🟠
CODEBOOK	—
PROMPT	—

Tab di supporto / Step 2

Tab	Colore
ISTRUZIONI	—
DATI (sola lettura)	—
STEP 2 — Codifica Umana (50)	🔵
STEP 2 — Gemini + Decisione	🟠

Mostrare il foglio proiettato. La separazione fisica tra tab blu (codifica umana) e tab arancione (Gemini) è intenzionale: impedisce che gli studenti vedano le classificazioni dell’IA prima di completare la propria codifica indipendente. I 50 post nei tab di codifica umana sono pre-selezionati con seed 42, identici per tutti i gruppi — questo permetterà il confronto inter-gruppo. Il tab DATI è in sola lettura e contiene le metriche di engagement dal CSV originale. Il tab CODEBOOK e il tab PROMPT servono per documentare il processo — andranno nella sezione Metodi del paper finale.

Due step, un obiettivo

La classificazione procede in due step sequenziali:

	Step 1 — Binario	Step 2 — Tematico
Domanda	È AI slop?	Che tipo di AI slop?
Categorie	AI slop / Non AI slop	Le vostre categorie (da mercoledì)
Applicato a	Tutti i 420 post	Solo i post classificati come AI slop
Validazione	Kappa umano-umano + umano-IA	Kappa umano-umano + umano-IA

La pipeline ha due step distinti. Lo Step 1 è un filtro binario: separa i post AI slop da quelli non AI slop. Lo Step 2 si applica solo al sottoinsieme di AI slop e usa le categorie tematiche che ogni gruppo ha definito mercoledì durante il pilot. Entrambi gli step seguono lo stesso workflow: codifica umana → consenso → Gemini → validazione. Oggi ci concentriamo sullo Step 1 completo (codifica umana + consenso + Gemini). Domani valideremo lo Step 1 (kappa) e inizieremo lo Step 2. I tab del foglio riflettono questa struttura: i tab blu sono per la codifica umana, i tab arancione per Gemini.

AI slop vs. immagine AI

Un’immagine AI può non essere slop. Ma l’AI slop è sempre generato dall’IA. Valutate sempre testo e immagine insieme.

Immagine AI, non slop

• Foto profilo generata con IA
• Illustrazione editoriale dichiarata
• Contenuto artistico esplicitamente AI

AI slop

• Engagement bait con immagini generate
• Contenuto virale non dichiarato come AI
• Immagini emotive progettate per reazioni

Distinzione fondamentale per lo Step 1. Non tutte le immagini generate dall’IA sono AI slop. Il termine “slop” implica contenuto di bassa qualità prodotto in massa per generare engagement, spesso senza dichiarare la natura sintetica. Un’immagine AI usata come foto profilo o come illustrazione dichiarata non è slop. La valutazione deve sempre considerare testo e immagine insieme: il testo fornisce contesto sull’intento del post. Per esempio, un’immagine AI di un paesaggio accompagnata da “Guardate cosa ha creato l’IA!” non è slop; la stessa immagine con “Il tramonto più bello che abbia mai visto” potrebbe esserlo. Riferimento al dataset di Terenzi & Giglietto (2025): i post sono stati pre-selezionati come probabili contenuti AI, ma non tutti necessariamente sono slop.

Il workflow per ogni step

Ogni step segue lo stesso pattern — prima gli umani, poi Gemini:

Codifica umana (50 post) → Consenso sui disaccordi → Definizione raffinata → Prompt Gemini (con one-shot) → Classificazione automatica

Collegamento con il seminario Paroni

Come avete praticato con le 20 headline: codifica individuale → confronto → raffinamento del prompt → classificazione Gemini. Lo stesso principio, su scala più ampia e con dati multimodali (Marino & Giglietto, 2024).

Il workflow è identico per entrambi gli step e rispecchia la logica del seminario Paroni. La differenza chiave rispetto a un approccio “Gemini-first” è che gli umani codificano per primi, senza vedere le classificazioni dell’IA. Questo evita l’anchoring bias: se vedeste prima cosa dice Gemini, sareste influenzati. Il consenso sui disaccordi produce una definizione più precisa, che diventa la base del prompt. I casi su cui il gruppo ha raggiunto consenso diventano gli one-shot examples nel prompt. Questo è il cuore della metodologia LLMs-in-the-loop: l’intelligenza umana guida quella artificiale, non viceversa.

Oggi: Step 1

Oggi facciamo

• Codifica umana: 50 post (individuale)
• Discussione disaccordi → definizione raffinata
• Prompt Gemini con one-shot examples
• Classificazione binaria di tutti i 420 post

Domani faremo

• Validazione Step 1 (kappa)
• Matrice di confusione
• Filtrare → sottoinsieme AI slop
• Iniziare Step 2 (tematico)

Mappa di navigazione per gli studenti. Oggi completiamo l’intero ciclo dello Step 1: dalla codifica umana alla classificazione automatica. È un lab intenso. La validazione (calcolo del kappa) la faremo domani con calma, perché richiede confronto sistematico tra le codifiche. Domani, dopo aver validato lo Step 1, filtreremo il dataset per isolare solo i post AI slop e inizieremo lo Step 2 con le categorie tematiche di ogni gruppo. Nota: se il kappa dello Step 1 è basso, potremmo dover raffinare la definizione e ripetere — ma questo lo valuteremo domani.

Step 1: Codifica Umana

Sezione 2: la fase di codifica umana indipendente. Ogni membro del gruppo classifica individualmente 50 post pre-selezionati come AI slop o non AI slop, senza consultarsi.

Codifica individuale: le regole

Ogni membro codifica 50 post pre-selezionati in modo indipendente nel tab STEP 1 — Codifica Umana (50).

• Per ogni post: guardate testo + immagine insieme
• Scelta binaria: AI slop oppure Non AI slop
• Nessuna discussione con gli altri membri del gruppo
• Non guardate le risposte degli altri
• Se siete incerti, scegliete comunque e annotate il dubbio

Le regole della codifica cieca. I 50 post sono pre-selezionati con seed 42 — identici per tutti i gruppi, il che permetterà il confronto inter-gruppo. Il tab “STEP 1 — Codifica Umana (50)” è fisicamente separato dal tab “STEP 1 — Gemini + Decisione”: gli studenti non possono vedere classificazioni automatiche. Ogni membro deve aprire il post (testo visibile nel tab DATI + immagine nella cartella Drive), valutare se è AI slop e registrare la propria decisione nel tab blu. La colonna “note” serve per annotare i dubbi — questi diventeranno il punto di partenza della discussione di consenso. Ricordare che la codifica indipendente è essenziale per calcolare l’intercoder reliability: se discutete prima, il kappa perde significato.

Cosa rende un post AI slop?

Indicatori visivi

• Artefatti tipici dell’IA generativa (dita, testo, texture)
• Iperrealismo innaturale, illuminazione impossibile
• Stile ricorrente di generazione (es. modelli diffusivi)

Indicatori contestuali

• Testo del post emotivo o generico (“Amen”, “Chi ricorda?”)
• Nessuna attribuzione della fonte dell’immagine
• Pattern di engagement bait (inviti a condividere, commentare)

Attenzione: questi criteri sono un punto di partenza. La vostra definizione si raffinerà durante la fase di consenso.

Criteri iniziali per guidare la codifica, non una definizione definitiva. Il punto è proprio che la definizione emergerà dal processo di codifica e discussione. Gli indicatori visivi sono quelli più evidenti: artefatti generativi, iperrealismo, stili ricorrenti. Ma gli indicatori contestuali sono altrettanto importanti: il testo del post, l’assenza di attribuzione, i pattern di engagement bait. Esempio: un’immagine AI di un bambino che prega con il testo “Scrivi Amen se ci credi” è chiaramente slop. Un’immagine AI in un post che dice “Ho generato questa immagine con Midjourney per un progetto artistico” non è slop. I casi ambigui sono i più preziosi: è lì che la discussione di consenso produrrà le distinzioni più utili.

Consenso sui disaccordi

Sezione 3: dopo la codifica individuale, i gruppi confrontano le risposte e discutono i casi di disaccordo. Questa fase produce la definizione raffinata di AI slop.

Dalla codifica al consenso

Dopo che tutti hanno codificato i 50 post:

1. Confrontate le vostre classificazioni nel tab STEP 1 — Codifica Umana (50)
2. Identificate i post su cui non siete d’accordo
3. Per ogni disaccordo, discutete: perché avete classificato diversamente?
4. Raggiungete un consenso — la classificazione condivisa

Il prodotto del consenso non è solo una lista di risposte corrette, ma una definizione più precisa di AI slop — con criteri espliciti e casi limite risolti.

Questa è la fase più importante dal punto di vista metodologico. Come avete sperimentato nel seminario Paroni, i disaccordi sono informativi: rivelano ambiguità nella definizione che devono essere risolte. Esempio: un membro classifica un post come “non slop” perché l’immagine sembra una foto reale, un altro lo classifica come “slop” perché il testo è chiaramente engagement bait. La discussione porta a chiarire: valutiamo l’immagine, il testo, o entrambi? (Risposta: entrambi.) Se l’immagine sembra reale ma il contesto è da slop, come classifichiamo? Queste decisioni vanno documentate nel CODEBOOK.

Documentare la definizione raffinata

Nel tab CODEBOOK del foglio post_metadata, registrate:

Elemento	Cosa scrivere
Definizione di AI slop	Criteri espliciti emersi dal consenso
Criteri di inclusione	Cosa rende un post AI slop (lista)
Criteri di esclusione	Cosa NON è AI slop, anche se ha immagini AI
Casi limite	Decisioni prese sui post ambigui, con motivazione
Esempi	2-3 post concordati come AI slop, 2-3 come non AI slop

La documentazione è essenziale per due motivi: (1) serve per costruire il prompt Gemini — i criteri e gli esempi diventeranno parte del prompt; (2) va nella sezione Metodi del paper finale. Il CODEBOOK deve essere sufficientemente esplicito da permettere a qualcuno esterno al gruppo di applicare la stessa classificazione. I casi limite documentati sono particolarmente preziosi: mostrano il ragionamento del gruppo e le decisioni prese. Gli esempi concordati diventeranno gli one-shot examples nel prompt.

Step 1: Classificazione con Gemini

Sezione 4: dalla definizione raffinata alla classificazione automatica con Gemini. Il prompt usa la definizione emersa dal consenso e include one-shot examples dai casi concordati.

Dal consenso al prompt

Struttura del prompt per Step 1

Sezione	Contenuto
Ruolo	Analista di contenuti social media
Definizione	[definizione raffinata di AI slop dal CODEBOOK]
Criteri	[criteri di inclusione/esclusione dal consenso]
Esempio AI slop	[post concordato — testo + descrizione immagine]
Esempio Non AI slop	[post concordato — testo + descrizione immagine]
Compito	Per ogni post (testo + immagine), classifica come AI_SLOP o NON_AI_SLOP
Output	Tabella: id_post, classificazione, certezza, motivazione_breve

Il prompt per lo Step 1 è binario: due sole categorie. La definizione nel prompt è quella emersa dalla fase di consenso, non una definizione generica. Gli one-shot examples sono post reali su cui il gruppo ha raggiunto accordo — questo è il collegamento diretto tra la fase umana e quella automatica. Il formato di output strutturato facilita la registrazione nel tab “STEP 1 — Gemini + Decisione”. La colonna “certezza” è importante: i post classificati con certezza bassa saranno il primo target di revisione. Salvare il prompt nel tab PROMPT del foglio post_metadata con la data e la versione.

Classificare i post rimanenti

Passo	Azione
1. Prompt	Copiare il prompt dal tab PROMPT in una nuova chat Gemini
2. Caricare	Allegare un batch di 20-30 post (testo + immagini)
3. Verificare	Controllare i primi 5 risultati — coerenti con il consenso?
4. Registrare	Copiare i risultati nel tab STEP 1 — Gemini + Decisione
5. Ripetere	Nuova chat → stesso prompt → prossimo batch

Nuova chat per ogni batch. Il contesto accumulato può far driftare il modello (Cosenza, 2025).

Il workflow operativo per la classificazione binaria con Gemini. Ogni batch usa una nuova chat per evitare il drift del modello — lo stesso principio visto nel pilot, ma ancora più importante su scala. I primi 5 risultati di ogni batch servono come controllo di qualità: se Gemini classifica come AI slop un post che nel consenso il gruppo ha classificato come non slop, c’è un problema nel prompt. Il tab “STEP 1 — Gemini + Decisione” è separato dal tab “STEP 1 — Codifica Umana (50)”: questa separazione fisica è intenzionale, per la validazione di domani. Dopo aver classificato tutti i 420 post, il tab arancione conterrà la classificazione binaria completa.

Dopo la classificazione: il filtro

Una volta classificati tutti i 420 post:

Cosa osservare

• Quanti post sono AI slop? Quanti non AI slop?
• La proporzione è plausibile?
• I post con certezza bassa — sono concentrati in una zona specifica?

Il prossimo passo

• Domani: validazione con kappa
• Se il kappa è accettabile → filtrare
• Solo i post AI slop passano allo Step 2
• Lo Step 2 userà le categorie tematiche del vostro pilot

La proporzione di AI slop nel dataset è un primo risultato interessante. Se il dataset è stato pre-selezionato come “probabile contenuto AI”, ci aspettiamo una proporzione alta di AI slop, ma non necessariamente il 100% — alcuni post potrebbero usare immagini AI in modo legittimo o essere stati inclusi erroneamente. Se la proporzione è molto bassa (es. sotto il 30%), potrebbe indicare un problema nella definizione o nel prompt. Se è molto alta (es. sopra il 90%), la classificazione binaria aggiunge poco valore. La validazione di domani confermerà se la classificazione è affidabile.

Pattern Preliminari

Sezione 5: prime osservazioni sulla distribuzione binaria. Anche se la validazione formale è domani, osservare i pattern emergenti orienta le ipotesi.

Distribuzione binaria e engagement

I post AI slop hanno engagement diverso dai non AI slop? Compilate:

Metrica	AI slop (media)	Non AI slop (media)
Reazioni	?	?
Condivisioni	?	?
Visualizzazioni	?	?
N. commenti	?	?

Questa prima analisi sarà approfondita nello Step 2 con le categorie tematiche.

Tabella esplorativa che i gruppi possono compilare alla fine della sessione. Non è l’analisi finale — la classificazione non è ancora validata — ma orienta le ipotesi. Se i post AI slop hanno engagement significativamente più alto, questo conferma la logica dell’engagement bait. Se non c’è differenza, potrebbe significare che il contenuto AI non è premiato dagli algoritmi, oppure che la definizione di slop va raffinata. Lo Step 2 (categorie tematiche) permetterà di disaggregare ulteriormente: non tutti gli AI slop sono uguali, e il tipo di contenuto potrebbe predire l’engagement meglio della semplice distinzione binaria.

Lavoro Pratico

Sezione 6: istruzioni operative per il lavoro di gruppo. Tempi serrati per completare l’intero ciclo dello Step 1 in una sessione.

Istruzioni per il lavoro di gruppo

Obiettivo del lab (90 minuti)

Completare lo Step 1: codifica umana → consenso → prompt Gemini → classificazione binaria di tutti i 420 post.

Obiettivo chiaro: alla fine della sessione ogni gruppo deve avere completato l’intero ciclo dello Step 1. La tempistica è ambiziosa ma fattibile perché la codifica binaria (sì/no) è più veloce della categorizzazione tematica.

Timeline della sessione

Fase	Tempo	Attività	Tab
1. Codifica umana	25 min	Ogni membro codifica 50 post (indipendente)	STEP 1 — Codifica Umana
2. Consenso	20 min	Confronto, discussione disaccordi, definizione raffinata	CODEBOOK
3. Prompt + pilot	10 min	Costruire il prompt con one-shot, testare su 5-10 post	PROMPT
4. Classificazione	30 min	Batch con Gemini, tutti i 420 post	STEP 1 — Gemini + Decisione
5. Pattern	5 min	Conteggio AI slop / non AI slop	—

Tempistica ambiziosa ma fattibile. La codifica umana di 50 post binari dovrebbe essere relativamente veloce — è una scelta sì/no, non una categorizzazione multipla. Il consenso è la fase dove non si deve avere fretta: le decisioni prese qui determinano la qualità del prompt e quindi della classificazione automatica. Il prompt si costruisce direttamente dai risultati del consenso: definizione + one-shot examples. La classificazione con Gemini su batch di 20-30 post è il passaggio più meccanico. Se un gruppo finisce la codifica umana prima degli altri, non deve iniziare la classificazione Gemini prima del consenso — l’ordine è vincolante. Il docente passa tra i gruppi durante tutte le fasi.

Checklist di fine lab

Prima di uscire, ogni gruppo verifica:

• 50 post codificati da ogni membro in STEP 1 — Codifica Umana (50)
• Disaccordi discussi e risolti — consenso raggiunto
• Definizione raffinata documentata in CODEBOOK
• Prompt salvato in PROMPT (con one-shot examples)
• 420 post classificati da Gemini in STEP 1 — Gemini + Decisione
• Conteggio AI slop / Non AI slop annotato

Per domani: calcoleremo il kappa (umano-umano e umano-IA) per validare lo Step 1. Se accettabile, filtreremo i post AI slop e inizieremo lo Step 2.

Checklist di verifica. Enfatizzare che tutti e sei i punti devono essere completati. Se un gruppo non riesce a finire la classificazione Gemini di tutti i 420 post, deve completarla prima di domani — ma la codifica umana e il consenso DEVONO essere fatti in classe, sotto supervisione. Il tab PROMPT deve contenere il prompt esatto usato, con versione e data. Domani la validazione confronterà le codifiche umane (tab “STEP 1 — Codifica Umana (50)”) con quelle Gemini (tab “STEP 1 — Gemini + Decisione”) sui 50 post condivisi. Se il kappa è basso (sotto 0.60), dovremo raffinare la definizione e ripetere — ma questo lo valuteremo domani.

Grazie!

Prossima lezione: Validazione — Umano vs Macchina (25 Marzo 2026)

📧 fabio.giglietto@uniurb.it

🌐 blended.uniurb.it

Chiusura. Ricordare: (1) chi non ha completato la classificazione Gemini di tutti i 420 post deve finire prima di domani, (2) la codifica umana e il consenso dovevano essere fatti oggi in classe — non si possono fare a casa, (3) domani porteremo il codebook per la fase di validazione. Domani è la sessione chiave: confronteremo umani e macchina e decideremo se la classificazione è affidabile per procedere allo Step 2.

Riferimenti

Cosenza, V. (2025). Esercizi di Intelligenza Aumentata: Imparare a Collaborare con le I.A.

Marino, G., & Giglietto, F. (2024). Integrating Large Language Models in Political Discourse Studies on Social Media: Challenges of Validating an LLMs-in-the-loop Pipeline. Sociologica, 18(2), 87–107. https://doi.org/10.6092/issn.1971-8853/19524