La procedura di normalizzazione consente di pre-trattare il testo per eliminare le possibili fonti di sdoppiamento del dato (ad esempio abbassando le maiuscole non rilevanti), uniformando la grafia di nomi propri, sigle ed altre entità.

Dal menù Analisi scegliere Pre-trattamento/Normalizzazione o premere il bottone nella barra degli strumenti.

Si aprirà la maschera Normalizzazione del testo

L'utente può scegliere quali operazioni eseguire. Se non viene scelta nessuna opzione e si preme il tasto OK TaLTaC² aggiorna solamente il campo Tagger della tabella Vocabolario, sostituendo a 0 il valore 10 per i numeri e le percentuali, anche se il parsing è stato eseguito.

La prima opzione (Trasformazione degli apostrofi in accenti) ricerca un apostrofo nel testo e, una volta individuato, identifica la lettera precedente l'apostrofo per eseguire le operazioni descritte di seguito:

- a' - verifica che non si tratti della parola <ca'> prima di trasformare la <a'> in <à>;

- A' - viene modificata in <À> (codice 192).

- e' - verifica che non si tratti della preposizione <de'>, nel qual caso non fa nulla, altrimenti sostituisce la <e'> con <è/é> (a seconda dei casi.

- i', I' - vengono modificate rispettivamente in <ì> e <Ì> (codice 204).

- o' - verifica che non si tratti della preposizione <co'> o di una delle parole <po'> e <mo'>, altrimenti trasforma la <o'> in <ò>.

- O' - viene modificata in <Ò> (codice 210).

- u', U' - vengono modificate rispettivamente in <ù> e <Ù> (codice 217).

Se si verificano le condizioni descritte nelle operazioni di cui sopra viene solo aggiunto uno spazio dopo l'apostrofo (a meno che non sia già seguito da uno spazio o sia seguito da un underscore, nel qual caso non viene apportata alcuna modifica al testo).

La seconda opzione (Normalizzazioni basate su liste) consente di ridurre il tasso delle unità lessicali ambigue, attraverso l'etichettatura di parole e/o sequenze di parole la cui specificità andrebbe perduta nelle fasi successive di trattamento.

I principali obiettivi di questa fase di normalizzazione sono:

- cristallizzare alcune sequenze di discorso, come nel caso dei nomi di giornali. In questo preciso caso, per esempio, solo la lettera maiuscola permette di capire se si tratti di una testata e non di altro. Associando un'etichetta alla sequenza si evita che se ne perda la specificità: <La Repubblica> giornale è ben diverso da <la repubblica > articolo + sostantivo;

- etichettare univocamente le forme e le sequenze ambigue utilizzando le differenze Maiuscolo/minuscolo. Ad esempio, nel caso dei nomi propri, Rosa può essere sostantivo e aggettivo se non si tiene conto della maiuscola;

- uniformare la grafia delle forme presenti nel corpus (per esempio Onu, O.N.U, onu ricondotte alla forma comune ONU) toponimi scritti in minuscolo (venezia viene o celebrità scritte in minuscolo: venezia, andreotti ecc. oppure la s).

Le etichette associate alle parole/sequenze sono visibili nel campo CAT della tabella Vocabolario. Per le forme normalizzate, oltre al campo CAT il campo Tagger viene popolato con i due codici 11 (per la normalizzazione delle locuzioni grammaticali) o 10 (in tutti gli altri casi).

NOTA: Le etichette sono visibili anche nella modalità di lettura full text del corpus, posizionando il mouse sulla forma/sequenza all'interno del tab Testo (a riguardo si veda Esplora il Corpus nel Menù Visualizza).

Con la terza opzione (Riduzione delle maiuscole) è possibile attivare e configurare la procedura di riduzione delle maiuscole per ridurre tutte le maiuscole non rilevanti, ad eccezione delle forme/sequenze già classificate dalle procedure precedenti. In questo step di analisi viene anche aggiunto uno spazio dopo alcuni fra questi separatori.

Spuntando la relativa casella, è possibile scegliere se ridurre le sole parole con iniziale maiuscola e/o le sole parole con tutti i caratteri maiuscoli. Nel primo caso è possibile definire alcune condizioni che riguardano la scelta se includere o meno dei separatori che precedano la forma da ridurre. Di default i separatori non sono considerati. Per attivare l'opzione spuntare la casella Precedute da una di questi caratteri e definire i separatori. Di default sono considerati i soli separatori < . >, < ? > e < ! >.

NOTA: Qualora nel testo vi sia la presenza di frasi terminate senza alcuna punteggiatura ma da soli ritorni a capo (come nel caso di documenti provenienti da internet o di titoli e sottotitoli di articoli di giornale), non definendo alcun separatore e attivando il campo di ritorno a capo (CRLF carriage return / line feed) e/o tabulatore (TAB) nel box Riduzione delle maiuscole, TaLTaC² ridurra le maiuscole delle parole che seguano questi due caratteri come se fossero comuni separatori. Ovviamente è possibile includere anche dei separatori sempre definendoli nella casella Precedute da uno di questi caratteri. Se, infine, si vogliono ridurre tutte le maiuscole dopo i separatori, indipendentemente dai ritorni a capo (CRLF), selezionare la casella Precedute da uno di questi caratteri, definire i separatori e spuntare l'opzione Ignora CRLF se intermedio tra i suddetti caratteri e la parola.

Per estendere le condizioni di riduzione delle maiuscole (scelta dei separatori, di CRLF e TAB) anche all'opzione di riduzione delle Parole con tutti i caratteri maiuscoli spuntare l'opzione Applica le stesse condizioni delle parole con iniziale maiuscola.

ATTENZIONE: Attualmente, l'opzione di riduzione a minuscolo delle Parole con tutti i caratteri maiuscoli riduce anche quelle forme che presentino caratteri maiuscoli nel mezzo, purchè il primo carattere della parola sia maiuscolo. Per esempio, la forma < CAsA > viene trasformata in < casa > ma ciò non avviene se in origine la forma è scritta < cAsA >.

La seguente tabella riassume il risultato sul testo delle diverse opzioni di riduzione delle maiuscole nel caso delle parole con sola iniziale maiuscola. Gli stessi risultati si otterranno con la riduzione delle parole con tutti i caratteri maiuscoli.

 

OPZIONI DI RIDUZIONE DELLE MAIUSCOLE	PRIMA DELLA NORMALIZZAZIONE	DOPO LA NORMALIZZAZIONE
Parole con iniziale maiuscola	Aaaaaa bbbbbb Ccccc. Ddddd bbbbbb ee Ffffff. Aaaaaa	aaaaaa bbbbbb ccccc. ddddd bbbbbb ee ffffff. aaaaaa
Parole con iniziale maiuscola precedute dal carattere < . >	Aaaaaa bbbbbb Ccccc. Ddddd bbbbbb ee Ffffff. Aaaaaa	Aaaaaa bbbbbb Ccccc. Ddddd bbbbbb ee Ffffff. aaaaaa
Parole con iniziale maiuscola precedute dal carattere < NULL > + CRLF	Aaaaaa bbbbbb Ccccc. Ddddd bbbbbb ee Ffffff. Aaaaaa	aaaaaa bbbbbb Ccccc. ddddd bbbbbb ee ffffff. Aaaaaa
Parole con iniziale maiuscola precedute dal carattere < . > + CRLF	Aaaaaa bbbbbb Ccccc. Ddddd bbbbbb ee Ffffff. Aaaaaa	aaaaaa bbbbbb Ccccc. ddddd bbbbbb ee ffffff. aaaaaa
Parole con iniziale maiuscola precedute dal carattere < . > + ignora CRLF se intermedio	Aaaaaa bbbbbb Ccccc. Ddddd bbbbbb ee Ffffff. Aaaaaa	Aaaaaa bbbbbb Ccccc. ddddd bbbbbb ee Ffffff. aaaaaa

L'opzione Lessicalizzazione dei verbi idiomatici consente di individuare nel testo tutte quelle locuzioni verbali aventi un significato non composizionale, polirematico (<andarsela a cercare>, <scendere in campo>, <fare parte>, <andare a letto con le galline> ecc.). Queste strutture sono, nella loro forma più semplice, composte da due elementi variabili, il verbo (es. <scendere>) ed il collocato (es. <in campo>). Talvolta è possibile la presenza di un inserto tra i due elementi (<andarsela ogni tanto a cercare>), oppure di un pro-clitico (<me la sono andata a cercare>). TaLTaC² implementa un algoritmo ed una risorsa linguistica che consentono di riconoscere tutte le forme flesse dei principali verbi idiomatici, comprendendo inserti e pro-clitici, e quindi di lessicalizzarle. Alle nuove forme verrà attribuita anche la categoria grammaticale, il lemma di pertinenza e la categoria semantica Vidiom.

Altre opzioni di normalizzazione sono contenute nel box Opzioni e riguardano:

·     il blocco delle maiuscole con attribuzione della categoria fittizia (MAJ): questa funzione agisce su tutte le parole con maiuscole presenti all'interno del testo che non siano stati normalizzati dal passaggio delle Liste, che non seguano un inizio frase o che non siano state eventualmente già ridotte a minuscolo dalla fase di Riduzione delle maiuscole. Applicando l'etichetta MAJ alle forme (visibile nel campo CAT della tabella Vocabolario) si assicura che, al momento del tagging grammaticale, tali nomi non vengano confusi con parole comuni e quindi lemmatizzati con una forma canonica comune. Ad es. immaginando che il nome "Verdi" non sia nelle liste di Normalizzazione, con quest'opzione si impedisce che Verdi sia interpretato come aggettivo e ricondotto al lemma "verde". Selezionando l'opportuna casella si può estendere l'assegnazione della categoria MAJ anche alle forme miste con solo la lettera iniziale maiuscola o che contengano almeno una maiuscola. Ovviamente l'etichetta sarà assegnata a seconda delle scelte operate nella fase di Riduzione delle maiuscole.

·     l'applicazione dei TAG forzati alla fine della normalizzazione: questa funzione opera una forzatura nel tagging grammaticale fin da subito, riportando parole assai frequenti alla loro categoria grammaticale quasi esclusiva (oltre il 99%): ad esempio la forma < a >, che è teoricamente anche un sostantivo (nel senso della lettera < a >: "l'elemento a dell'insieme A"), verrà forzata ad essere una PREP; e così per altre forme tipo "di, sono, ha … ecc.". Questo abbassa ovviamente il tasso di forme ambigue, migliora qualche lemmatizzazione locale nel corpus, ma, a rigore, impedisce il confronto con lessici che invece non sono etichettati secondo queste forzature. Applicando l'opzione TAG forzati, nel Vocabolario appariranno tutte le informazioni grammaticali e morfologiche associate alle forme interessate (Categoria grammaticale, Imprinting, Lemma, ecc.). Il campo Tagger, infine si popola, per le stesse forme del codice 30 (Pre-Tagging forzato).