Alm
eno, così hanno risposto. Nel 2022 il Pew Research Center inserì in un questionario una domanda volutamente assurda, e cioè se l’intervistato fosse abilitato a operare un sottomarino nucleare di classe SSGN. Fra i rispondenti con meno di trent’anni, il 12% disse di sì. Nella realtà la quota di americani con quell’abilitazione arrotonda allo zero, e se quel numero fosse autentico riscriverebbe da solo la storia della Marina degli Stati Uniti: quasi un ragazzo su otto sarebbe un sommergibilista abilitato.
Non era una ricerca sui sommergibilisti, e non era nemmeno un incidente. Quella domanda era una trappola, messa lì deliberatamente: Pew non stava misurando la Marina, stava collaudando i propri strumenti. Le domande esca servono esattamente a questo, perché una caratteristica rarissima è un termometro perfetto. Il vantaggio è tutto nella sua sensibilità: quando la risposta attesa è zero, non serve stabilire quale scostamento sia significativo, perché qualunque percentuale diversa da zero è già un segnale. Se quel segnale compare, il ricercatore sa di doversi fermare e guardare meglio prima di pubblicare qualsiasi altro risultato di quel questionario.
Pew, del resto, non si accontentò di un solo strumento. Nello stesso filone di verifiche sottopose ai partecipanti sedici domande a risposta secca su condizioni e situazioni personali, dal fumo all’ipertensione fino alla riscossione di una pensione o di un indennizzo per infortunio. Una parte di loro ne barrava dieci o più, e quelle risposte, sommate, componevano biografie che nella popolazione reale sono quasi introvabili. Due strumenti diversi, costruiti in modo indipendente, indicavano la stessa cosa. È così che una verifica metodologica diventa solida: non con un singolo indizio spettacolare, ma con controlli che si confermano a vicenda.
E il termometro ha funzionato: quel 12% non è passato inosservato, ma è stato rilevato, misurato e pubblicato come risultato metodologico. Vale la pena soffermarsi su quest’ultimo punto, perché è il più istruttivo di tutti. Un istituto di ricerca ha messo in pagina l’esito di un proprio controllo di qualità, cioè la parte del lavoro che normalmente resta negli archivi interni. Non è un’ammissione di debolezza, è il funzionamento ordinario di una disciplina che sui propri strumenti pretende le stesse prove che chiede ai propri dati.
La logica, in fondo, è la stessa della legge inesistente di cui parlavamo ad agosto, il Public Affairs Act del 1975, che i ricercatori di Cincinnati avevano inventato di sana pianta per capire come nascono le opinioni su ciò che nessuno può conoscere. In entrambi i casi la domanda non serve a raccogliere un’informazione, perché la risposta giusta è nota in anticipo. Serve a misurare lo strumento, non l’opinione. È una famiglia di item che nei questionari non si vede quasi mai, e che invece dice moltissimo su chi li ha costruiti.
Il dato, in fondo, era vero, nel senso che il 12% aveva davvero cliccato «sì». Era il rispondente a non esserlo.
Chiedersi chi c’è davvero dietro una percentuale non è il dubbio del lettore, è il mestiere di chi quella percentuale la costruisce. Ed è un mestiere che si esercita prima di andare in campo, con domande esca su caratteristiche rarissime, controlli di coerenza fra risposte che non possono coesistere, verifica dei tempi di compilazione, ricontatti sui casi più improbabili. Cose che non compaiono mai nelle tabelle, e che separano un dato da un numero.