Archivi tradizionali e loro limiti
Prima delle basi di dati ogni programma teneva i propri file. I problemi che ne seguivano non erano bug: erano strutturali. Questa lezione li riproduce uno per uno su un caso reale di biblioteca.
Base
Obiettivi di apprendimento
- Descrivere come è organizzato un archivio tradizionale e perché la definizione dei dati vive dentro i programmi
- Riconoscere la ridondanza e spiegare come produce inconsistenza
- Distinguere i sei problemi classici dei sistemi a file con esempi concreti
- Spiegare perché 'mettere tutto in un unico file' non li risolve
- Indicare quali problemi sono risolti da un DBMS e quali vengono solo spostati
Prerequisiti
- Dati e informazioni
- Sistemi informativi e sistemi informatici
Introduzione
Nella lezione precedente la base di dati è stata definita come la memoria condivisa, coerente, persistente e controllata di un sistema informativo. Quella definizione acquista senso solo rispetto al suo contrario. Questa lezione descrive il contrario: l'archivio tradizionale, il modo in cui le organizzazioni memorizzavano i dati prima dei sistemi di gestione di basi di dati, e il modo in cui ancora oggi lavorano molte piccole applicazioni.
Il punto non è storico. Ognuno dei problemi descritti qui riappare, identico, nei sistemi moderni ogni volta che un fatto viene copiato in due posti e nessuno è responsabile di tenerne allineate le copie: due microservizi con la propria copia del cliente, un foglio di calcolo inviato per posta tra uffici, una cache che non viene mai invalidata. Imparare a riconoscere la forma di questi problemi è più duraturo che imparare il nome di un prodotto.
Com'è organizzato un archivio tradizionale
Il principio organizzativo è semplice: un'applicazione, un insieme di file.
Ogni programma dichiara, dentro il proprio codice sorgente, la struttura dei record di cui ha bisogno:
PRESTITI.DAT — struttura dichiarata in prestiti.cob
1-6 codice prestito
7-12 codice socio
13-18 codice copia
19-26 data prestito (AAAAMMGG)
27-34 data scadenza (AAAAMMGG)
35-35 stato (A = aperto, C = chiuso)
Da questa struttura derivano tre proprietà, e tutte e tre sono la radice dei problemi seguenti:
- Il significato dei dati è implicito. Il file dice "le posizioni da 7 a 12 contengono un codice socio". Non dice che un codice socio deve esistere in un altro file, che è lungo sei caratteri, o che identifica una persona.
- La definizione è duplicata in ogni programma. Se un secondo programma legge
PRESTITI.DAT, deve ripetere gli stessi offset. Se gli offset cambiano, ogni programma deve essere ricompilato — e quello dimenticato legge spazzatura. - Il file appartiene al programma. L'accesso è concesso per permesso di file, non per significato: un programma che può leggere il file può leggere tutto ciò che contiene.
Una biblioteca con tre programmi
Si consideri una biblioteca che si è informatizzata un reparto alla volta. Ha tre programmi, scritti in anni diversi:
| Programma | Scopo | I suoi file |
|---|---|---|
PRESTITI |
Registra e chiude i prestiti al banco | PRESTITI.DAT, SOCI.DAT |
CATALOGO |
Cataloga opere e copie | OPERE.DAT, COPIE.DAT |
ACQUISTI |
Gestisce gli ordini ai fornitori | ORDINI.DAT, FORNITORI.DAT, OPERE.DAT |
Si notano subito due cose: OPERE.DAT è usato da due programmi, e l'indirizzo del socio sta in SOCI.DAT mentre il banco prestiti ha bisogno anche del nome e del telefono del socio per inviare i solleciti — così una seconda copia, più piccola, dei dati del socio compare in PRESTITI.DAT.
SOCI.DAT (usato da PRESTITI)
codice socio | cognome | nome | indirizzo | città | telefono | max prestiti | stato
PRESTITI.DAT (usato da PRESTITI)
codice prestito | codice socio | nome socio | telefono socio | codice copia | data prestito | scadenza | stato
La duplicazione non è un incidente né un segno di incompetenza: è la scelta razionale di un programmatore che ha bisogno del telefono senza aprire un altro file e senza un meccanismo per unirli. È esattamente la scelta che una base di dati rende superflua.
I sei problemi
1. Ridondanza
Ridondanza
La ridondanza è la presenza dello stesso fatto in più di un posto.
Nell'esempio, nome e telefono del socio sono memorizzati in SOCI.DAT e ripetuti in ogni riga di PRESTITI.DAT. Con 400 soci e 12 000 prestiti all'anno, lo stesso numero di telefono viene scritto 12 000 volte.
La ridondanza costa in tre valute:
- Spazio — il costo minore, e quello a cui si pensa per primo.
- Lavoro di aggiornamento — correggere un telefono significa trovare ogni posto in cui è stato copiato.
- Rischio — ogni copia è un'occasione di discordare dalle altre.
2. Inconsistenza
Inconsistenza
L'inconsistenza è la situazione in cui due copie dello stesso fatto contengono valori diversi.
Il socio cambia numero di telefono. L'impiegato aggiorna SOCI.DAT — il programma al banco lo fa automaticamente. Ma PRESTITI.DAT conserva il vecchio numero in dodicimila righe, e il servizio di solleciti, che legge PRESTITI.DAT, continua a chiamare il vecchio numero.
Non è fallito nulla. Nessun errore è stato segnalato. La base di dati — se possiamo chiamarla così — contiene ora due risposte alla domanda "qual è il telefono di questo socio?", e quale ottieni dipende da quale programma chiede.
Questa è la frase più importante della lezione: la ridondanza non causa da sola l'inconsistenza; rende l'inconsistenza possibile, silenziosa e permanente. Senza ridondanza non c'è nulla con cui discordare.
3. Difficoltà di accesso
I dati esistono, ma ottenere una risposta richiede di scrivere un programma.
Il direttore chiede: "Quali sezioni hanno avuto più di 50 prestiti il mese scorso?" In una base di dati è una query. Nell'archivio a file è un progetto:
- Scrivere un programma che legge
PRESTITI.DAT. - Per ogni prestito, trovare la copia in
COPIE.DAT. - Per ogni copia, trovare l'opera in
OPERE.DAT. - Raggruppare per sezione e contare.
- Gestire il fatto che
OPERE.DATè scritto anche daACQUISTI, quindi la struttura potrebbe essere cambiata.
Poiché ogni nuova domanda costa un programma, le organizzazioni smettono di farne. L'archivio risponde alle domande di ieri e blocca quelle di domani — un fenomeno che ha un nome preciso: l'archivio a file non è programmabile dall'utente, solo dal programmatore.
4. Isolamento dei dati
Isolamento dei dati
L'isolamento dei dati è la difficoltà di combinare dati che vivono in file diversi, perché la loro struttura è nota solo al programma che li possiede.
Le informazioni necessarie alla domanda del direttore sono sparse su tre file con tre strutture, tre storie di aggiornamento e forse tre convenzioni incompatibili (data come AAAAMMGG in un file e GG/MM/AAAA in un altro; stato come A/C in uno e 1/0 in un altro). Ogni combinazione è un nuovo strato di traduzione, scritto una volta e mai riusato.
5. Problemi di integrità
Un vincolo di integrità è una regola che i dati devono sempre rispettare: "un prestito deve riferirsi a un socio esistente", "un socio può avere al massimo cinque prestiti", "la scadenza non può precedere la data del prestito".
In un archivio a file queste regole possono vivere solo nel codice applicativo:
- Ogni programma deve reimplementarle.
PRESTITIcontrolla il limite di cinque prestiti; un nuovo servizio web che crea anch'esso prestiti lo controllerà — se qualcuno se ne ricorda. - Possono essere aggirate. Qualunque programma con permesso di scrittura può inserire un prestito per il socio
999999, che non esiste. - Non possono essere verificate globalmente. Non c'è modo di chiedere all'archivio "esistono prestiti che puntano a soci inesistenti?" senza scrivere un altro programma.
- Le regole che attraversano i file sono praticamente inapplicabili. "Il numero di posto di un biglietto non può superare i posti della sala della sua proiezione" richiede di leggere tre file in modo atomico.
6. Atomicità
Transazione
Una transazione è una sequenza di operazioni che deve essere eseguita come un'unica unità indivisibile: o riescono tutte, o nessuna produce effetto.
Chiudere un prestito e liberare la copia per la prenotazione sono due scritture in due file. Se la macchina perde l'alimentazione tra le due, l'archivio resta in uno stato che viola le sue stesse regole: il prestito è chiuso ma la copia risulta ancora in prestito, o il contrario. L'archivio a file non ha alcun meccanismo per annullare la prima scrittura, perché "la prima scrittura" è già sul disco.
Lo stesso problema appare in una forma molto più comune: due impiegati, due programmi, un file. Ogni programma legge il file, modifica un record e lo riscrive. Se entrambi leggono prima che uno dei due scriva, la seconda riscrittura cancella silenziosamente la modifica del primo. È il lost update (aggiornamento perduto), ed è invisibile: nessun errore, nessun messaggio, un fatto che semplicemente scompare.
7. Concorrenza
Due persone che lavorano contemporaneamente sullo stesso file hanno bisogno di coordinamento. In un archivio a file il coordinamento o è assente (e gli aggiornamenti si perdono) o è realizzato con lock di file — che sono grossolani: bloccare PRESTITI.DAT blocca tutti i prestiti della biblioteca, non solo i due record coinvolti.
8. Sicurezza
Il controllo degli accessi si applica al file, non al fatto. Un impiegato che deve vedere i prestiti del giorno riceve il permesso di leggere PRESTITI.DAT — e quindi vede anche i prestiti di ogni altro impiegato, il telefono di ogni socio e lo storico degli ultimi dieci anni. Non c'è modo di dire "questo utente può vedere solo i prestiti della propria sede", perché quella frase riguarda il significato dei dati, e il file system non conosce il significato.
9. Backup e ripristino
Copiare i file mentre i programmi scrivono produce backup inconsistenti: copie in cui alcuni record sono delle 10:00 e altri delle 10:01. Ripristinare un simile backup ricrea esattamente le inconsistenze che l'organizzazione cercava di eliminare. Un backup coerente richiede di fermare il sistema — cosa che per una biblioteca, una banca o un ospedale non è un'opzione.
Tabella riassuntiva
| Problema | Sintomo | Causa profonda | Risolto da un DBMS? |
|---|---|---|---|
| Ridondanza | Lo stesso fatto in più posti | Nessuna definizione condivisa | In parte — la normalizzazione la elimina; la ridondanza deliberata resta possibile |
| Inconsistenza | Due risposte diverse alla stessa domanda | Ridondanza senza controllo | Sì — copia unica + vincoli |
| Difficoltà di accesso | Ogni domanda richiede un programma | Nessun linguaggio di interrogazione | Sì — query dichiarative |
| Isolamento dei dati | File con formati incompatibili | Struttura nota solo ai programmi | Sì — catalogo condiviso dei dati |
| Integrità | Dati non validi accettati | Regole nel codice applicativo | Sì — vincoli applicati centralmente |
| Atomicità | Aggiornamenti a metà dopo un crash | Nessun meccanismo transazionale | Sì — transazioni |
| Concorrenza | Aggiornamenti perduti, file bloccati | Nessun controllo a grana fine | Sì — controllo della concorrenza |
| Sicurezza | Permessi tutto-o-niente sui file | Permessi sui file, non sui fatti | Sì — privilegi su dati e viste |
| Backup/ripristino | Copie inconsistenti | Copia durante la scrittura | Sì — dump coerenti, log |
Perché "un unico grande file" non è la risposta
La reazione naturale è: "Allora mettiamo tutto in un unico file." Non funziona, per tre ragioni.
- La ridondanza non sparisce, si nasconde. Un unico file può contenere ancora il telefono del socio in ogni record di prestito. Il problema non è il numero di file, è se ogni fatto ha una sola casa.
- Le regole di integrità restano senza casa. Un unico file non ha modo di dichiarare che un codice socio deve esistere, che una scadenza deve seguire la data del prestito, o che un socio non può superare cinque prestiti aperti. Le regole restano nei programmi.
- La concorrenza peggiora. Un solo file significa un solo lock per tutti. La biblioteca si ferma quando due impiegati lavorano insieme.
I problemi dell'archivio a file non sono problemi di file. Sono problemi di significato condiviso assente: nessuna definizione centrale di che cosa siano i dati, nessuna applicazione centrale delle regole, nessuna unità di lavoro annullabile. L'approccio basato su basi di dati, che la prossima lezione introduce, è un insieme di risposte esattamente a queste tre assenze.
Trova le anomalie prima che accadano
Una palestra tiene due file:
ISCRITTI.DAT
codice iscritto | cognome | nome | indirizzo | città | telefono | abbonamento | quota mensile | data iscrizione
INGRESSI.DAT
id ingresso | codice iscritto | cognome iscritto | nome iscritto | abbonamento | quota mensile | data | ora ingresso
La palestra ha 900 iscritti e circa 40 000 ingressi all'anno. Il programma del banco scrive entrambi i file; un programma statistiche legge solo INGRESSI.DAT.
- Quali fatti sono ridondanti? Quante volte viene scritta la quota mensile in un anno?
- Descrivi due inconsistenze concrete e indica quale programma mostrerebbe ciascuna.
- Un iscritto passa dall'abbonamento Base a Plus. Elenca tutte le azioni richieste dall'archivio e che cosa accade se una viene dimenticata.
- Il titolare chiede: "Quanti ingressi per abbonamento negli ultimi 90 giorni, per giorno della settimana?" Il programma statistiche può rispondere? Che cosa manca?
- Il programma del banco va in crash mentre scrive un ingresso dopo aver già aggiornato la quota dell'iscritto. In che stato resta l'archivio?
- Unire i due file in uno risolverebbe questi problemi? Giustifica la risposta in due frasi.
Mostra la soluzione commentata
1. Ridondanza. Cognome, nome, abbonamento e quota mensile sono memorizzati in ISCRITTI.DAT e ripetuti in ogni riga di ingresso. Con 40 000 ingressi all'anno, la quota mensile viene scritta 40 000 volte, più una volta per iscritto nel file degli iscritti. Anche nome e cognome vengono scritti 40 000 volte.
2. Inconsistenze.
- L'iscritto cambia abbonamento. Se si aggiorna solo
ISCRITTI.DAT, il programma statistiche (che leggeINGRESSI.DAT) continua a contare quell'iscritto sotto il vecchio abbonamento, mentre il programma del banco mostra quello nuovo. Due programmi, due risposte. - Un iscritto corregge un cognome scritto male. Se la correzione viene applicata solo a
ISCRITTI.DAT, il report degli ingressi continua a mostrare il cognome sbagliato per ogni visita passata. Nota che qui il valore "vecchio" non è nemmeno sbagliato per il passato — il che mostra che una parte della ridondanza è storia legittima, e che distinguere i due casi richiede una decisione di progetto, non una regola del pollice.
3. Cambio di abbonamento. La sequenza corretta è: aggiornare l'abbonamento in ISCRITTI.DAT; aggiornare la quota in ISCRITTI.DAT; aggiornare ogni riga di ingresso di quell'iscritto (40 000 righe all'anno, quindi realisticamente tutto il file); aggiornare le aspettative del programma statistiche se memorizza qualcosa. Se l'ultimo passo viene dimenticato, l'archivio contiene due abbonamenti per la stessa persona e il report annuale è sbagliato in un modo che nessuno noterà finché qualcuno non lo metterà in dubbio.
4. La domanda del titolare. Il programma statistiche può rispondere solo se l'abbonamento è memorizzato nella riga di ingresso — cioè esattamente la ridondanza appena condannata. Senza quella ridondanza servirebbe ISCRITTI.DAT, ma quel file contiene l'abbonamento attuale, non quello che l'iscritto aveva il giorno della visita. La domanda rivela quindi un vero problema di modellazione: l'abbonamento di un iscritto a una certa data è un fatto che cambia nel tempo. L'archivio deve memorizzarlo esplicitamente — ma una volta sola, in una struttura progettata per questo (nel Modulo 3 diventa un'entità; nel Modulo 6 una relazione con la propria chiave), non copiato in 40 000 righe. È la differenza tra ridondanza controllata e incontrollata.
5. Crash. L'archivio resta con la quota aggiornata e l'ingresso mancante — o il contrario, secondo l'ordine delle scritture. Lo stato non viola alcuna regola a livello di file, quindi nulla lo segnala. Solo un programma di riconciliazione, scritto dopo, potrebbe scoprirlo. È il problema dell'atomicità: le due scritture dovrebbero formare un'unica transazione.
6. Un unico file? No. La ridondanza sopravvivrebbe (la quota può ancora essere scritta in ogni record), le regole di integrità resterebbero senza casa, e il file unico richiederebbe un lock unico, serializzando il banco. Il problema è l'assenza di una definizione condivisa e di un'applicazione centrale delle regole, non il numero di file.
Che cosa insegna questo esercizio. Ogni domanda qui sopra corrisponde a uno dei sei problemi, e la quarta mostra il punto più delicato dell'intero corso: la ridondanza va progettata, non eliminata alla cieca. Un fatto che cambia nel tempo (l'abbonamento a una data) deve essere memorizzato una volta sola, con la sua data — è una decisione di modellazione, e appartiene al Modulo 3.
Errori comuni
- "Il problema è il formato del file." Passare da record a lunghezza fissa a CSV, JSON o XML non cambia nulla: la definizione sta ancora dentro i programmi e la ridondanza è ancora incontrollata.
- "Un file, una tabella, problema risolto." Vedi la sezione precedente: il numero di file non è il problema.
- "La ridondanza è sempre negativa." La ridondanza incontrollata è negativa. La ridondanza controllata e dichiarata è una tecnica di prestazione legittima (Modulo 7).
- "Un DBMS risolve questi problemi automaticamente." Un DBMS fornisce meccanismi. Una base di dati senza vincoli, senza transazioni e senza privilegi riproduce ogni problema di questa lezione.
- "È la nostra applicazione ad applicare le regole, quindi i vincoli non servono." Li applica, finché un secondo programma, uno script di import o una correzione manuale scrivono sugli stessi dati. La regola deve vivere dove vivono i dati.
Riepilogo
- Un archivio tradizionale è un insieme di file la cui struttura è definita dentro i programmi che li usano, senza una definizione condivisa dei dati.
- Le sue tre proprietà strutturali — significato implicito, definizioni duplicate, file posseduti dai programmi — generano nove problemi: ridondanza, inconsistenza, difficoltà di accesso, isolamento dei dati, integrità, atomicità, concorrenza, sicurezza, backup.
- La ridondanza rende l'inconsistenza possibile, silenziosa e permanente.
- Atomicità e concorrenza non sono questioni di prestazioni: decidono se un fatto può sparire senza che nessuno se ne accorga.
- La sicurezza sui file è tutto-o-niente, perché i permessi sono attaccati ai file e non al significato dei dati.
- Unire i file non aiuta: i pezzi mancanti sono una definizione condivisa, un'applicazione centrale delle regole e un'unità di lavoro annullabile.
Domande di verifica
- Perché un insieme moderno di microservizi, ciascuno con la propria copia del cliente, è un archivio tradizionale mascherato?
- Una biblioteca aggiorna l'indirizzo di un socio in un file e non in un altro. Quale problema è, e quale lo ha reso possibile?
- Perché un archivio a file non può rispondere a una domanda imprevista senza un programmatore?
- Spiega la differenza tra ridondanza e inconsistenza, una frase per ciascuna.
- Fornisci un esempio di regola che un singolo file non potrebbe far rispettare nemmeno se contenesse tutti i dati.
Mostra le risposte
-
Perché ogni servizio definisce al proprio interno il significato di "cliente" e ne tiene una copia; non esiste una definizione condivisa né una casa unica per il fatto. I sintomi sono gli stessi: un cambio di indirizzo viene applicato in un posto e non negli altri.
-
L'inconsistenza sono i due indirizzi diversi. La ridondanza (lo stesso indirizzo memorizzato due volte) è ciò che l'ha resa possibile: senza una seconda copia non ci sarebbe nulla con cui discordare.
-
Perché l'archivio non ha un linguaggio di interrogazione: la struttura è nota solo ai programmi, quindi ogni nuova domanda richiede nuovo codice. In una base di dati la stessa domanda è una query dichiarativa su una struttura condivisa e documentata.
-
Ridondanza = lo stesso fatto memorizzato in più di un posto. Inconsistenza = due copie dello stesso fatto che contengono valori diversi.
-
"Un prestito non può riferirsi a un socio inesistente" — se tutto è in un unico file, un file system può imporre che un campo non sia vuoto, ma non che il suo valore compaia in un altro insieme di record. Le regole che mettono in relazione fatti con fatti richiedono un meccanismo che comprenda i dati, ed è ciò che un DBMS fornisce.
Dove andare adesso
- Introduzione alle basi di dati: l'approccio basato su basi di dati come risposta alle tre assenze individuate qui.
- I DBMS: definizione e funzionalità: quale meccanismo risolve quale problema, e a quale costo.
- Dati e informazioni: per rivedere il vocabolario su cui questi problemi sono costruiti.