Medie e dispersione

☰ Contents

Una media è un solo numero che sta al posto di molti, e tutto l'argomento riguarda quanto costa questa sostituzione. Due insiemi di dati possono avere la stessa media e nient'altro in comune — ed è per questo che ogni affermazione seria sui dati riporta un centro e una dispersione, e per questo "la media", da sola, è l'espressione più silenziosamente fuorviante della statistica.

Quale media conviene usare?

Usa la media quando i valori sono distribuiti in modo abbastanza uniforme, la mediana quando i dati hanno valori anomali o sono sbilanciati, e la moda quando i dati sono categorie, dove non c'è nessun calcolo da fare. Le misure di tendenza centrale rende questa scelta una scelta consapevole. La media somma i valori e divide per quanti sono. Per 4, 5, 5, 6 e 30, la media è (4 + 5 + 5 + 6 + 30) ÷ 5 = 10, ma la mediana, il valore centrale, è 5, e anche la moda, il valore più frequente, è 5. La media si è spostata perché l'unico valore grande, 30, tira su il totale, mentre la mediana dipende solo dall'ordine. Con un numero pari di valori, la mediana sta a metà tra i due centrali: per 3, 5, 7 e 9 è (5 + 7) ÷ 2 = 6. Una media deve stare tra il valore più piccolo e il più grande.

05101520mediana 4media 3.8

la mediana è il valore centrale una volta che i dati sono ordinati, quindi dipende dal rango e non dalla grandezza — spostare x₅ oltre gli altri non la sposta mai

Trascina l’ultimo valore molto a destra

La media divide il totale in parti uguali, e Mediana e moda dà le altre due.

264
Somma e distribuisci: 2 + 6 + 4 = 12, e 12 / 3 = 4 — la media, detta anche media aritmetica. Lezione completa: La media

Stipendi di 22, 24, 25, 26 e 180 (migliaia): la media è 55.4, la mediana è 25. In quell'ufficio nessuno guadagna niente di simile a 55.4, e la mediana è il riassunto onesto.

La media è un punto di equilibrio e la mediana è un punto di conteggio, ed è per questo che reagiscono in modo così diverso a un valore anomalo. Porta il valore più grande da 180 a 1,800 e la media salta a quasi 380; la mediana non si muove affatto, perché le interessa solo quale valore sta in mezzo, non quanto sono lontani gli estremi. Nessuna delle due è giusta in generale — la media è quella che si può ritrasformare in un totale, quindi le buste paga ne hanno bisogno e un dipendente tipico no.
2424mean 10
Sostituisci il 6 con un 24 e la media sale a 10, ma la mediana resta 4. Lezione completa: Le misure di tendenza centrale

Medie da una tabella

Quando gli stessi valori si ripetono, elencarli tutti è uno spreco. Medie da una tabella di frequenza mostra la scorciatoia: moltiplica ogni valore per la sua frequenza, somma quei prodotti e dividi per la frequenza totale. La mediana viene da un totale progressivo delle frequenze, che indica dove cade l'elemento a metà.

1×3 + 2×5 + 3×2 = 19divide by the total frequency19 ÷ 10 = 1.9
La media pesa ogni valore per la sua frequenza: 19 gol in 10 partite fa 1.9. Lezione completa: Medie da una tabella di frequenza

I dati raggruppati sono più difficili, perché i singoli valori non ci sono più. Media di dati raggruppati suppone che ogni valore stia nel valore centrale della sua classe, il che fa del risultato una stima — una stima onesta, che va dichiarata come tale. La classe modale dice la stessa cosa dall'altro lato: con i dati raggruppati puoi indicare la classe più affollata, ma non un singolo valore modale.

515mean 11
Qui è 5 × 4 + 15 × 6 = 110, e ci sono 10 valori, quindi la media stimata è 11. Lezione completa: Media di dati raggruppati

Ora tocca a te

0404856

Quale media si sposta appena con un valore molto piccolo?

4122060

Quale media si sposta appena con un valore molto grande?

Perché una media non basta?

Una media dà il centro dei dati ma non dice niente su quanto sono sparsi i valori, e spesso è proprio la dispersione che conta. Le misure di dispersione lo mostra con due insiemi di dati. Prendi i punteggi di due giocatori in tre partite: uno ha fatto 9, 10 e 11, l'altro 1, 10 e 19. Entrambe le medie valgono 10, perché 9 + 10 + 11 = 30 e 1 + 10 + 19 = 30. La misura di dispersione più semplice è il campo di variazione, il valore più grande meno il più piccolo. Il campo di variazione del primo giocatore è 11 − 9 = 2 e quello del secondo è 19 − 1 = 18, quindi il primo giocatore è molto più costante. Un allenatore che cerca un giocatore affidabile ha bisogno della dispersione. Il campo di variazione ha un punto debole: un solo valore insolito può renderlo enorme, ed è per questo che spesso si usa invece lo scarto interquartile. Ordina i dati prima di trovare un campo di variazione, perché un elenco non ordinato nasconde il suo valore più grande e il più piccolo.

0102030400102030402020/40 dell’altezza legge 20 minuti10/40 del gruppo coprono qui 6.7 minuti

20/40 stanno sotto, quindi è la mediana

Leggi in orizzontale a un quarto del totale e scendi al valore.

abc4.0
Anche queste hanno media 4, ma sono sparse molto di più. Lezione completa: Le misure di dispersione

Campo di variazione e scarto interquartile introduce il rimedio. Lo scarto interquartile è il terzo quartile meno il primo, quindi descrive la metà centrale dei dati e nessun valore estremo può toccarlo.

061218243036middle half2142230
Il campo di variazione è 30 − 2 = 28. La metà centrale, 22 − 14 = 8, è il campo interquartile. Lezione completa: Campo di variazione e IQR

I percentili generalizzano l'idea: il 90° percentile è il valore sotto cui cade il 90% dei dati. I quartili sono solo il 25°, il 50° e il 75° percentile sotto un nome più antico, e i percentili sono il modo in cui si riportano davvero le curve di crescita, i voti degli esami e gli obiettivi sui tempi di risposta.

Frequenza cumulata e quartili

La frequenza cumulata è un totale progressivo dei conteggi, e riportarla in funzione dell'estremo superiore di ogni classe dà la curva a forma di S che risponde a "quanti erano sotto questo valore" per qualunque valore.

04.258.512.7517102030
Somma man mano e la curva non scende mai: 3, poi 11, poi 17. Lezione completa: Frequenza cumulata

Quartili dalla curva legge i quartili direttamente sulla curva: sali sull'asse verticale fino a un quarto del totale, vai in orizzontale fino alla curva e scendi fino al valore. La stessa mossa a metà e a tre quarti dà la mediana e il terzo quartile.

0203040102030401013minutes taken
Un quarto di 40 è 10. Leggi in orizzontale a 10 fino alla curva, poi scendi fino all’asse: quello è il primo quartile. Lezione completa: Quartili dalla curva
Riporta il totale cumulato in corrispondenza dell'estremo superiore della classe, mai del suo valore centrale. L'affermazione che stai disegnando è "tutti quelli fino a questo valore compreso", e questo è vero solo in cima alla classe. Disegnare sui valori centrali sposta tutta la curva a sinistra e ogni quartile letto su di essa sbaglia di mezza ampiezza di classe — un errore che non sembra mai un errore, perché la curva viene comunque di una forma plausibile.

Ora tocca a te

0510152025304131729

Il valore minimo è 4 e il massimo è 29. Qual è il campo di variazione?

05014182348

Le letture sono 14, 18 e 23, con un outlier a 48. Qual è il campo di variazione?

Che cosa mostra un diagramma a scatola?

Un diagramma a scatola mostra cinque numeri: il minimo, il primo quartile, la mediana, il terzo quartile e il massimo. Diagramma a scatola e baffi disegna la scatola dal primo al terzo quartile, segna la mediana al suo interno e allunga i baffi fino al valore più piccolo e al più grande. Per i dati 3, 5, 6, 8, 10, 11 e 14, la mediana è 8. Il primo quartile è il centro della metà inferiore, 3, 5 e 6, quindi è 5, e il terzo quartile è il centro di 10, 11 e 14, quindi è 11. La scatola va da 5 a 11, e la sua lunghezza, 11 − 5 = 6, è lo scarto interquartile. La scatola contiene la metà centrale dei dati. Un valore anomalo, più lontano di una volta e mezza la lunghezza della scatola oltre la scatola stessa, si disegna come una croce a parte. Leggi i cinque numeri da sinistra a destra: devono essere in ordine.

1020304050mediana − q1 = 5 e q3 − mediana = 5

mediana − q1 = q3 − mediana a ogni ampiezza, quindi la simmetria è indizio e mai prova

Tieni uguali le due metà della scatola e rendi le quattro fasce della stessa larghezza.

01020304050Q₃ + 1.5 IQR = 53.5Q₁ = 14.8Q₃ = 30.3IQR = 15.5 · mediana 22.5

la scatola va da Q₁ a Q₃, IQR = 15.5, e contiene dieci dei venti valori per quanto stretta diventi: una scatola stretta è densità, non meno punti

Raggruppa i dieci valori centrali, poi spingi il valore più alto oltre il recinto

Cinque numeri lo disegnano: minimo, primo quartile, mediana, terzo quartile e massimo. Lezione completa: Diagramma a scatola e baffi

Il suo valore sta nel confronto. Due diagrammi a scatola sullo stesso asse mostrano a colpo d'occhio quale gruppo sta più in alto, quale è più costante e se uno dei due è sbilanciato — tre domande che a parole richiederebbero un paragrafo.

Giudicare la normalità da un diagramma a scatola trasforma quella lettura in un test: in una distribuzione simmetrica la mediana sta al centro della scatola e i baffi hanno lunghezze simili, quindi una mediana spinta verso un'estremità, o un baffo lungo, è un indizio di asimmetria. Questo conta più avanti, perché diverse procedure statistiche presuppongono la simmetria prima di poter essere usate.

skewed102030405060
Qui la metà destra della scatola è tre volte la sinistra, e il baffo destro è più lungo. Lezione completa: Giudicare la normalità da un diagramma a scatola

Ora tocca a te

Il primo quartile è 12 e il terzo quartile è 24. Quanto è larga la scatola?

100 valori sono rappresentati in un diagramma a scatola. Quanti di essi si trovano dentro la scatola?

Come si calcola la deviazione standard, e perché così?

Per trovare la deviazione standard, trova quanto dista ogni valore dalla media, eleva al quadrato quelle distanze, fai la media dei quadrati ed estrai la radice quadrata. Deviazione standard la costruisce passo per passo. Per 2, 4, 4, 4, 5, 5, 7 e 9, la media è 40 ÷ 8 = 5. Le distanze da 5 sono −3, −1, −1, −1, 0, 0, 2 e 4, e i loro quadrati sommati danno 9 + 1 + 1 + 1 + 0 + 0 + 4 + 16 = 32. La media dei quadrati è 32 ÷ 8 = 4, e la deviazione standard è la sua radice quadrata, 2. Elevare al quadrato serve perché le distanze sopra e sotto la media si annullano sempre a 0, e un quadrato non è mai negativo. La radice quadrata riporta la risposta alle unità dei dati. Se tutti i valori sono uguali, la deviazione standard è 0. La risposta non deve mai superare il campo di variazione.

03691215185Σ(x − x̄) = 0scarto medio assoluto = 3

Σ(x − x̄) = 0 per ogni insieme di dati, quindi i segni cadono prima che la media misuri qualcosa

Prova a rendere i due lati della bilancia di lunghezze diverse.

05101520μ = 7.4|x − μ| = 5.6(x − μ)² = 31.4gli altri quattro: 27.8σ² = 59.2 / 5 = 11.84

(x − μ)² = 31.4: il doppio della distanza dà il doppio della barra e quattro volte il quadrato, quindi un valore lontano pesa più di parecchi valori vicini

Trascina l’ultimo valore finché il suo quadrato non raggiunge 100

159
1, 5 e 9 hanno la stessa media ma sono dispersi molto di più, quindi la deviazione standard è maggiore. Lezione completa: Deviazione standard

Prima viene un cugino più gentile. Lo scarto medio assoluto fa la media delle distanze senza elevarle al quadrato, usando i valori assoluti per impedire che positivi e negativi si annullino. È più facile da spiegare e davvero utile — e rende netta la domanda naturale: se questo funziona, perché elevare al quadrato?

4215
Le loro distanze da 5 sono 4, 2, 1 e 5. Una distanza non ha segno. Lezione completa: Deviazione media assoluta
Il quadrato si sceglie per ciò che permette dopo, non per ciò che fa ai dati. I valori assoluti sono scomodi da trattare algebricamente, non hanno derivata in zero, e le varianze costruite con loro non si sommano. Gli scarti al quadrato invece si sommano: la varianza di una somma di grandezze indipendenti è la somma delle loro varianze. Su quell'unica proprietà si regge tutta la distribuzione normale, l'errore standard e la verifica delle ipotesi, e vale la perdita di leggibilità.
d²d²d²
Sommate così come sono, si annullano e danno 0. Al quadrato sono 4, 0 e 4, che non possono annullarsi. Lezione completa: Deviazione standard: dati singoli

Deviazione standard: dati singoli applica la formula pratica — la media dei quadrati meno il quadrato della media — che dà la stessa risposta con un solo passaggio sui dati invece di due. Deviazione standard: dati raggruppati la estende alle tabelle di frequenza, pesando ogni valore al quadrato con la sua frequenza e, per i dati raggruppati, usando i valori centrali delle classi con la stessa avvertenza sulla stima della media di dati raggruppati.

Ora tocca a te

1234567891011

Quanto vale la deviazione standard di 2, 2, 10, 10?

4mean5.0

La media è 6 e un valore è 4. Quanto vale la distanza al quadrato dalla media?

Come si confrontano onestamente due insiemi di dati?

Per confrontare in modo corretto due insiemi di dati, riporta per ciascuno un indice di posizione e un indice di dispersione, usa la stessa coppia per entrambi e di' che cosa significano i numeri nel contesto dei dati. Confrontare insiemi di dati allena proprio questa struttura. La mediana va con lo scarto interquartile, e la media va con la deviazione standard. Supponi che due classi facciano la stessa verifica. La classe A ha mediana 62 e scarto interquartile 10; la classe B ha mediana 55 e scarto interquartile 25. Un buon confronto dice che la classe A ha avuto in media un punteggio più alto, di 62 − 55 = 7 punti, e che i suoi punteggi erano più costanti, perché la sua metà centrale copre 10 punti invece di 25. Quando un insieme di dati ha valori anomali, usa la coppia con la mediana, che i valori anomali spostano appena. Un confronto che elenca quattro numeri e non trae nessuna conclusione non risponde a niente, quindi rileggi il tuo e controlla che ogni numero dica qualcosa sulle classi.

AB67.3%52.7%90% > 80% e 40% > 30%, quindi A vince entrambe le righelievigravi

A vince entrambe le righe e A% > B% nel totale, perché le due composizioni si somigliano

Rendi A migliore in entrambe le righe e peggiore nel totale.

team Ateam B102030
Sulla stessa scala, anche la squadra B ha mediana 20, ma la sua scatola è molto più larga. Lezione completa: Confrontare insiemi di dati

Mescolare le coppie — una mediana e una deviazione standard — mette un centro robusto accanto a una dispersione che robusta non è, così un valore anomalo influenza metà della descrizione.

E poi c'è la trappola che sopravvive a ogni calcolo corretto. Il paradosso di Simpson mostra due gruppi in cui il trattamento A batte il trattamento B nei casi lievi e nei casi gravi, eppure perde nel complesso — perché i gruppi avevano dimensioni diverse e i casi gravi sono andati in misura sproporzionata a un solo trattamento. Nell'aritmetica non c'è niente di sbagliato. La lezione è che una media su una popolazione mista non è una proprietà di nessuno che ne faccia parte.

AB
Somma ogni riga: A ha curato 49 su 110, B ha curato 83 su 110 — 45% contro 75%. Lezione completa: Il paradosso di Simpson

Ora tocca a te

oneother10203040

Due insiemi hanno entrambi media 25. Uno ha una dispersione molto più piccola. Quale dei due è più costante?

oneother203040

Due insiemi hanno entrambi media 30. Uno ha una dispersione molto più piccola. Quale dei due è più costante?

Gli errori da nominare

Dove porta tutto questo

Questi indici sono il vocabolario con cui è scritto il resto della statistica. La guida ai grafici statistici (in inglese) tratta i disegni da cui si leggono, compresi la curva della frequenza cumulata e l'istogramma. Quando ogni soggetto porta due misure invece di una, la domanda diventa se si muovono insieme — la guida a dispersione, correlazione e regressione (in inglese). E la media e la deviazione standard di un campione, usate per dire qualcosa su una popolazione che non hai misurato, sono tutto l'argomento della guida a campionamento e inferenza (in inglese).

Tocca a te

Tre da provare: tocca la tua risposta.

La media di 4, 7 e 10

La mediana di 3, 9 e 5

Il campo di variazione di 12, 4 e 9

Domande e risposte

Quando conviene usare la mediana invece della media?
Usa la mediana ogni volta che i dati hanno valori estremi o una lunga coda, perché la media viene trascinata verso i valori anomali e la mediana no. I prezzi delle case e i redditi sono gli esempi classici: pochi valori molto grandi spingono la media sopra ciò che vive la maggior parte delle persone, mentre la mediana indica la famiglia che sta nel mezzo. Usa la media quando la distribuzione è più o meno simmetrica, o quando ti serve un totale, perché la media moltiplicata per il numero dei valori restituisce la somma.
Che cosa misura davvero la deviazione standard?
Misura la distanza tipica di un valore dalla media. Trovi lo scarto di ogni valore dalla media, lo elevi al quadrato così che positivi e negativi non possano annullarsi, fai la media dei quadrati e poi estrai la radice quadrata per tornare alle unità di partenza. Una deviazione standard di 4 cm significa che i valori stanno in media a circa 4 cm dalla media. È nelle stesse unità dei dati, ed è per questo che si riporta lei e non la varianza.
Come si trova lo scarto interquartile?
Ordina i dati, trova la mediana, poi trova la mediana della metà inferiore e la mediana della metà superiore. Quelli sono il primo e il terzo quartile, e lo scarto interquartile è il terzo meno il primo. Descrive la dispersione della metà centrale dei dati e ignora del tutto gli estremi, ed è proprio per questo che si riporta insieme alla mediana e non alla media.
Perché da una tabella di frequenza per classi non si può trovare la media esatta?
Perché raggruppare butta via i valori originali. Una classe registrata come da 20 a 30 potrebbe contenere valori ammassati su 21 o su 29, e la tabella non sa più quale dei due. Il metodo standard suppone che ogni valore stia nel valore centrale della sua classe, il che in media è ragionevole ma non esatto, quindi una media di dati raggruppati si riporta sempre come stima. Lo stesso limite fa della classe modale una classe e non una moda singola.
Che cos'è il paradosso di Simpson?
È quando una tendenza che vale in ogni sottogruppo si rovescia una volta che i sottogruppi vengono messi insieme. Un trattamento può avere una percentuale di successo più alta di un altro sia nei casi lievi sia in quelli gravi, eppure una più bassa nel complesso, perché i gruppi hanno dimensioni e gravità molto diverse. Il paradosso avverte che una media su una popolazione mista non è una proprietà di nessun individuo che ne fa parte, e che combinare i dati può inventare una conclusione che nessuna delle due parti sostiene.
Come si confrontano correttamente due insiemi di dati?
Confronta un indice di posizione e un indice di dispersione, e di' che cosa significa ciascuno nel contesto. Due classi con lo stesso voto medio possono essere del tutto diverse se una ha una deviazione standard di 3 e l'altra di 15, perché la seconda contiene sia gli studenti più forti sia i più deboli. Un confronto che riporta solo una media ha risposto a metà della domanda, ed è la metà che nasconde la differenza interessante.
Mr. Chalk