Si definisce specifica o "caratteristica" di un testo ogni parola o espressione sovra/sotto utilizzata rispetto ad una norma di riferimento (ad esempio il valore medio o il valore assunto in un modello di riferimento).

Si consideri ad esempio una raccolta di centinaia o migliaia di articoli (che sarranno i nostri frammenti) provenienti da una rassegna stampa. Si consideri il corpus suddiviso per testata giornalistica (ciò significa che ogni frammento avrà perlomeno una variabile testata valorizzata con il nome del giornale in cui è stato pubblicato).

Ogni specificità positiva (sovra-utilizzo) di una parola o di una espressione equivale ad un uso superiore a quello “atteso” nel giornale considerato, valutato quest’ultimo rispetto al suo impiego medio nei giornali che hanno prodotto la partizione.

Ogni specificità negativa di un termine, equivale ad un sotto-utilizzo (o rarità del termine, fino ad arrivare anche alla sua totale assenza) rispetto al suddetto valore “atteso”.

Questo scarto è valutato in termini probabilistici. Il modello che si utilizza è quello della legge ipergeometrica, approssimato asintoticamente ad una distribuzione gaussiana, se la frequenza delle parole nel corpus e le dimensioni dei sub-testi sono sufficientemente grandi.

In pratica, se una parola ha una specificità positiva pari a 0,001 significa che l'ottenere nel testo un numero di occorrenze uguale o superiore a quel valore ha solo una probabilità su mille di essere un fatto casuale; pertanto, è "altamente probabile" che tale parola sia realmente stata usata in quel contesto in quantità superiore rispetto al suo uso atteso in media nel corpus.

L'Analisi delle specificità consente quindi di identificare quei termini che contraddistinguono e caratterizzano ogni singola parte in cui il corpus viene suddiviso (dal punto di vista di una delle variabili). In questo modo si mette in atto un'di estrazione di informazione di tipo endogeno, ovvero che sfrutta dati del solo corpus in analisi e non altre risorse esogene, come nel caso dei confronti con liste o lessici di frequenza con relativo calcolo dello scarto d'uso.

Per lanciare la procedura di analisi delle specificità selezionare l'omonima voce dal menù Analisi\Analisi Lessicale.

ATTENZIONE: Per determinare le specificità, la tabella in questione deve possedere le sub-occorrenze (nel caso del vocabolario si veda Calcolo sub-occorrenze). TaLTaC² avvisa comunque l'utente nel caso tale condizione non sussista.

Appare una finestra attraverso cui scegliere su quale lista effettuare il calcolo (selezionandola dalla casella Liste) e quindi su quale/i partizione/i (spuntando la/ relativa/e casella/e nel box Variabili).

Nel caso del Vocabolario, ovviamente la finestra presenterà solo le variabili di cui sono già state calcolate le sub-occorrenze. Inoltre, tra le liste disponibili, appariranno solo quelle che possiedono sub-occorrenze. Effettuate le proprie scelte premere OK altrimenti Chiudi per annullare la procedura.

ATTENZIONE: Questa procedura sovrascrive SEMPRE eventuali calcoli delle specificità svolti in precedenza per altre partizioni. Nel caso si vogliano mantenere anche questi ultimi occorre selezionarne nuovamente le partizioni.

NOTA: ad oggi non è ancora possibile effettuare l'analisi delle specificità su tabelle ottenute come fusioni o selezioni di tabelle importate.

A questo punto TaLTaC2 chiede, per ogni variabile:

·           il livello di probabilità al di sotto del quale le parole debbano considerarsi caratteristiche. Un valore intorno a 0,002 può essere efficiente. Abbassandolo il numero di parole caratteristiche sarà minore, ma saranno senza dubbio pertinenti. Alzandolo si può rischiare di considerare caratteristiche parole che invece sono piuttosto ben distribuite.

·           la soglia di frequenza delle parole su cui si vuole effettuare l’analisi. Si consiglia di impostare una soglia pari almeno al numero di modalità della variabile corrente. Se, ad esempio, fosse presente una variabile AnnoDiPubblicazione con 10 modalità (1996, 1997,...2005), è chiaro che parole con al massimo 9 occorrenze risulterebbero spesso specifiche, quando non originali, di un'annata particolare solo perché non possono, di fatto, essere presenti in tutte almeno una volta.

A seguire comparirà una finestra di dialogo tramite la quale si potrà salvare un file, in formato .txt, contenente una sintesi dei principali risultati. Se si è interessati ad ottenere tale sintesi, indicare il nome del file e la cartella in cui si desidera salvarlo e premere Salva, altrimenti Annulla per continuare.

Terminata la procedura di estrazione delle parole caratteristiche il programma, nel caso della sola tabella Vocabolario, popola la tabella Vocabolario dove, per ogni forma grafica, sono riportate le seguenti informazioni:

·           un campo (denominato BAN_ORIG NomeVariabile) che indica se la parola è originale (spec_orig) ossia utilizzata solo in un sub-testo, specifica (spec) oppure banale (banale);

·           per ogni sub-testo (modalità della variabile) sono inoltre presenti due campi: il p-value NomeModalità che riporta la probabilità associata alla singola parola, che ovviamente sarà inferiore alla soglia di probabilità impostata in precedenza, e il campo Specif NomeModalità che indica se si tratta di una specificità positiva o negativa. I valori più bassi del p-value indicheranno, per le specificità positive, le forme maggiormente sovrautilizzate (tipiche) nel sub-testo in questione, per le specificità negative le forme maggiormente sottoutilizzate (non tipiche).

Nel caso le specificità fossero state calcolate su tabelle che non siano il Vocabolario, il file di sintesi sarà l'unico risultato disponibile (si consiglia quindi di generarlo sempre in questi casi).

Il file con i risultati di sintesi propone le 50 specificità positive e negative più rilevanti per ogni modalità di ogni variabile, ordinate in base al p-value in senso crescente. In particolare, per ogni forma vengono presentate le rispettive occorrenze totali nel corpus, le sub-occorrenze relativamente alla parte (modalità della variabile) in questione ed il p-value.

SUGGERIMENTO: per una migliore leggibilità e fruibilità si consiglia di aprire questo file con un programma di foglio di calcolo (Excel, Calc ecc.).

In alternativa, oppure se si desidera ottenere una visione completa di tutte le specificità, e non solo delle prime 50, utilizzando le funzioni di ricerca del Text/Data Mining sulla tabella Vocabolario è possibile selezionare agevolmente le specificità positive e negative di ciascun sub-testo.

SUGGERIMENTO: Si consiglia di procedere come segue. Selezionare uno dei campi Specif NomeModalità e, tramite il comando Text/Data Mining del Menù Record, selezionare un tipo di specificità (ad es.: pos). Quindi, selezionare il corrispondente campo p-value NomeModalità ed ordinarlo in senso crescente. In questo modo si potranno visualizzare tutte le forme sovrautilizzate nel sub-testo considerato ordinate per specificità (nel caso si siano selezionate le positive, la prima in alto è la più specifica, l'ultima in basso la meno specifica). Ripetere questa operazione per gli altri campi, o comunque per quelli che interessano, e per altre tipologie di specificità (negativa, originale, banale ecc.)

Un esempio sulle specificità

In concreto, il test statistico si basa sul calcolo, che fa ricorso ad alcune semplificazioni per numeri non piccoli (cfr. P. Lafon, Dépouillement et statistiques en lexicométrie, Slatkine Champion, Paris, 1984, p. 65-66), di tutte le probabilità di X>x per valori di x compresi:

·           fra f/n e F/N, nel caso di f/n maggiore di F/N, oppure

·           fra 0 ed f/n, nel caso di f/n minore di F/N.

dove N e n sono rispettivamente la dimensione del corpus e di un suo sub-testo in termini di occorrenze, F rappresenta la frequenza totale nel corpus di una parola ed f è la sub-frequenza della medesima nel sub-testo.

Fissato arbitrariamente a priori un livello s come soglia di probabilità, se la probabilità del test è inferiore (in entrambi i casi) a tale livello si dirà che la parola è specifica, altrimenti è considerata banale (ossia non si discosta molto dal valore atteso per quell'universo di campioni).

Se consideriamo l'esempio della tabella riportata di seguito, nel corpus di una rassegna stampa sull'elettrosmog (ove il totale delle occorrenze è N=247.119), la parola <interferenze> è presente negli articoli del Corriere della Sera (sub-testo di dimensione n=9.179) con 10 occorrenze (f), mentre nell'intero corpus di tutti i giornali la stessa parola ricorre con 24 occorrenze (F).

Questo termine, ad una soglia s prefissata del 5%, risulta altamente specifico in questo giornale, ovvero questa differenza di occorrenze ha una probabilità praticamente nulla (p-value=0,00009) di essere un evento puramente casuale, quindi è un termine "certamente" sovra-utilizzato: la specificità è infatti di tipo positivo essendo f/n=0,001089>F/N=0,000097.

Al contrario, la parola <ripetitore> - che si verifica 13 volte (f) nel Corriere della Sera sulle 852 (F) nel corpus in totale - è considerato un termine raro, poiché f/n=0,0014<F/N=0,0034 (specificità negativa), avendo 3 probabilità su 10.000 di ottenere casualmente valori uguali o inferiori a 13.