Una delle funzioni centrali di TaLTaC² è l’estrazione di informazione peculiare del corpus, in una logica tipica del Text Mining. Tale estrazione si ottiene utilizzando risorse esogene rispetto al testo in analisi o, qualora ciò non sia possibile (testi in lingua o testi non lessicalmente comparabili con le risorse esogene) utilizzando risorse endogene .

Le risorse esogene sono le liste di riferimento (lessici di frequenza) disponibili in TaLTaC². Confrontando il vocabolario del corpus con il lessico di frequenza più adeguato, è possibile individuare il linguaggio peculiare del testo, nei termini sia delle unità lessicali sovra o sotto-rappresentate (quelle cioè che presentano maggiori o minori scarti d’uso in valore assoluto), che di quelle originali del testo (cioè non presenti nel lessico di riferimento utilizzato). Anche i segmenti ripetuti individuati nel corpus possono essere confrontati con il lessico di poliformi.

Nel database di sistema sono contenuti lessici di riferimento, espressi ora in lemmi ora in forme grafiche: poiché il confronto deve essere effettuato tra entità omogenee, quando si vuole effettuare un confronto a partire da un vocabolario in forme grafiche è opportuno scegliere il lessico POLIF (linguaggio standard) o REP90 (linguaggio giornalistico), entrambi costituiti da liste in forme grafiche.

Le risorse endogene sono di fatto le variabili categoriali associate al testo, grazie alle quali è possibile partizionare il corpus e calcolare le parole caratteristiche delle varie parti o sub-testi, attraverso l’analisi delle specificità.

Una seconda risorsa endogena disponibile in TaLTaC² è l'indice TFIDF (Term Frequency - Inverse Document Frequency). L'indice consente di estrarre sia il linguaggio rilevante sia i frammenti più significativi in termini del linguaggio così individuato.

L'indice TFIDF nasce nell'ambito della disciplina dell'Information Retrieval come strumento per ordinare i risultati di una ricerca in base alla pertinenza tra i documenti estratti e le keywords di ricerca. L'indice rappresenta un peso attribuito ad ogni parola sulla base della sua frequenza e della sua distribuzione all'interno della collezione dei documenti, ed è questo peso che viene preso in considerazione per effettuare l'ordinamento dei risultati.

Le forme che meglio discriminano il contenuto di un documento (ovvero di un frammento) saranno, quindi, quelle in grado di far risaltare quel documento rispetto a tutta la collezione (il corpus) in quanto sono molto frequenti ma solo in quello o in pochi altri documenti. Questa affermazione è sintetizzata nell'indice TFIDF:

TFIDF =

dove il primo fattore (term frequency) misura il numero di occorrenze di una forma, mentre il secondo (inverse document frequency) è il logaritmo del rapporto tra il numero di documenti costituenti un corpus (N) e il numero di documenti che presentano quella forma (n).

Quindi, quando si misura l'indice TFIDF di una forma per tutto il Vocabolario l'obiettivo è quello di estrarre il linguaggio rilevante, cioè le forme più significative in quanto concentrate solo in pochi documenti e non disperse in tutto il corpus; quando, invece, si calcola su un sottoinsieme tematico del Vocabolario (una query) ha l'obiettivo di individuare i soli frammenti significativi rispetto a quelle parole chiave.

NOTA: In realtà TaLTaC² calcola un TFIDF normalizzato che annulla l'effetto della diversa lunghezza dei frammenti, altrimenti i documenti più lunghi avrebbero maggiore probabilità di essere recuperati rispetto a quelli più corti.