El mètode i les xifres

D'on surt el text

De l'edició de 1881 se'n coneixen dos escanejos independents: el de la Biblioteca Nacional d'Espanya, un PDF a 200 punts per polzada, i el que Google va fer per a l'Internet Archive, de molta més resolució. Tots dos tenen defectes en llocs diferents —el de l'Archive té quatre fulls borrosos (93, 94, 97 i 98), i en el de la BNE la pàgina del davant es transparenta en algun full—, i per això es llegeixen tots dos. Els 614 fulls amb text són els que es transcriuen; els altres són portades, làmines i pàgines en blanc.

Els sis reconeixedors

Cada full el llegeixen sis programes de reconeixement de text (OCR), triats perquè s'equivoquin de maneres diferents:

• ABBYY FineReader, la capa de text que l'Internet Archive ja publica amb el seu escaneig;
• Tesseract amb els models de castellà antic, català i llatí alhora —el llibre cita documents en català medieval i en llatí, i els cognoms mallorquins duen ce trencada—;
• Apple Vision, una vegada sobre cada escaneig;
• PaddleOCR;
• Kraken, amb un model entrenat expressament sobre aquest llibre a partir de les línies en què els altres ja coincidien.

Que siguin sis i no més és una decisió mesurada. Afegir un setè motor es va provar dues vegades i les dues va empitjorar el resultat, encara que el motor nou fos més precís que alguns dels que ja hi eren: el que compta no és que un motor encerti molt, sinó que no s'equivoqui igual que els altres. Per la mateixa raó, mai no voten dues variants del mateix programa sobre la mateixa imatge.

Com es vota

Abans de comparar res, totes les lectures s'ordenen igual: es detecten les columnes de cada full i s'imposa a tots els motors el mateix ordre de lectura. Després s'alineen paraula per paraula i cada posició es decideix per majoria. La paraula publicada és sempre una que algun motor va llegir: el vot tria, no escriu.

Hi ha tres casos en què això no basta, i cadascun té la seva regla:

• en 23 fulls —taules, llistes en columnes— els motors no es posen d'acord ni en quantes columnes té la pàgina; allà s'alinea línia per línia, de manera que una línia impresa només es compara amb el text que hi cau a sobre;
• quan els motors tallen les paraules en llocs diferents (cuartos.—J. V.—30.—Mataron), es vota el tram sencer i no casella per casella; una lectura buida no compta com a vot en contra;
• els encapçalaments d'any i de mes són lletra gran, la que pitjor llegeixen tots: s'hi compta el que diuen els vuit motors disponibles, no només el guanyador, i s'exigeix que la crònica avanci en el temps.

Quant d'acord es posen

Cada paraula de l'edició porta el seu grau. Al text es marquen, amb un subratllat puntejat, les lectures en què discrepen dos reconeixedors o més; tocant-les es veu què més s'hi va llegir. Quan només en discrepa un, la majoria encerta gairebé sempre, i marcar-ho ompliria la pàgina per no res.

I quan encerten

El grau d'acord no és encara la mesura de l'error. Per saber-ho s'han triat a l'atzar 870 posicions, estratificades per grau, i s'han resolt una a una mirant el facsímil a resolució completa: 550 a la crònica i 320 als documents. Són dues mesures separades i no s'han de barrejar, perquè el llibre no és igual de fiable pertot.

D'aquí surt que la crònica en castellà va per 1 paraula errada de cada 113 i els documents en català medieval i llatí per 1 de cada 39. Allà on els sis coincideixen, les 360 posicions comprovades de la crònica eren totes correctes, cosa que fita l'error compartit per sota del 0,83% amb un 95% de confiança.

Què s'hi ha tocat

Res no es modernitza. formacion, dia, Setiembre, mallorquin i les errades del mateix Campaner i del seu impressor es queden com són. Les úniques intervencions són tipogràfiques o es fonamenten en el que van llegir els motors, i 2.326 paraules conserven al costat la lectura original del vot:

• La essa llarga (ſ) de la reimpressió d'un opuscle de 1541 que Campaner inclou: cinc dels sis motors la llegeixen f, i es restitueix quan algun la va llegir i la forma amb f no és una paraula que el llibre faci servir.
• Els guions de final de línia es cusen, i es tornen a unir les paraules que el salt de línia havia partit i el vot no havia refet (Tarrago. na → Tarragona), només quan els motors hi havien llegit el guió o el llibre fa servir la paraula sencera.
• El que no és text se suprimeix: la capçalera i el número de cada pàgina i les signatures de plec del peu.

Totes les regles estan escrites, amb el que s'ha mesurat de cadascuna, a les normes editorials.

Allò que s'ha llegit del facsímil

En alguns llocs els motors llegeixen bé les paraules però no es posen d'acord en l'ordre de la pàgina, i el text que en surt és inservible encara que cada paraula sigui correcta. Allà el text s'ha llegit directament del facsímil, a resolució completa, amb ajuda d'un model de visió, i cada lectura s'ha comparat amb la dels motors:

• Les sis sèries de jurats: 2.436 noms. Tots menys 5 coincideixen lletra per lletra amb la lectura d'algun motor; els 5 que no, porten una lletra volada (B.ª) que cap motor no reprodueix. La comparació va detectar dues normalitzacions del model —un accent posat per analogia i una J que la impremta no va entintar— i s'han desfet.
• Les taules de comptes de 1307 a 1343 (fulls 159–164), on el vot buidava les caselles de xifres.
• Quatre caplletres que queien fora de les línies que els motors van llegir.

Cada una d'aquestes decisions queda registrada amb la seva font. En total, 167 posicions del text publicat no les va llegir cap motor i descansen només en aquesta lectura del facsímil.

De text a llibre

Del text llegit se'n reconstrueix l'estructura que el llibre imprimeix: 3.459 notícies datades en 528 anys, 2.980 amb la sigla del manuscrit d'on surten; 24 documents reproduïts sencers (94.327 mots); 382 notes de Campaner; 45 taules (229 files) recuperades com a taules; i les sèries de jurats. L'ordre de les notícies és el del llibre, no el de les dates: on Campaner les desordena, l'edició ho manté.

La introducció del llibre no es publica com a text, però d'ella s'ha tret a mà el glossari de les 34 sigles i, per a 25 fonts, qui era l'autor i què és el seu manuscrit, cada dada amb el full d'on surt.

Què queda per fer

• Les 41.139 posicions en què discrepen dos motors o més no s'han revisat totes contra el facsímil. Van marcades.
• Els fulls alineats línia per línia no estan coberts per cap mostra de verificació, i el que s'hi publica com a unànime no s'ha comprovat.
• 114 notes de Campaner no es poden lligar a cap notícia, perquè la crida que hi remetia no es va llegir; es publiquen al peu de l'any.
• La columna de notes de les llistes de jurats dels segles XIII i XIV —quin manuscrit dona cada nom— encara no s'ha llegit.

Consultar-ho tot

Tota l'edició és consultable en SQL directament des d'aquí, sense instal·lar res més que DuckDB, que llegeix els fitxers parquet per HTTP:

SELECT year, count(*) FROM 'https://cronicon.corpusbalear.org/data/entry.parquet'
GROUP BY 1 ORDER BY 2 DESC LIMIT 10;

Són 6,5 MB en total. El codi que ho fa tot és al repositori.