Database Fundamentals

Introduction to Databases

A database is not a container of files: it is a shared, controlled and self-describing representation of a fragment of the real world. This lesson defines it precisely and shows what that definition buys you.

Beginner

Learning objectives

  • State the formal definition of a database and explain each of its parts
  • Distinguish schema from instance and recognise which operations change which
  • Explain what 'self-describing' means and why it matters
  • Explain controlled redundancy and how it differs from uncontrolled redundancy
  • Match each problem of file archives to the database mechanism that addresses it

Prerequisites

  • Data and Information
  • Information Systems and Computer Systems
  • Traditional File Archives and Their Limits

Introduzione

La lezione precedente ha elencato nove problemi che compaiono quando i dati sono conservati in file la cui struttura è definita dai programmi. Questa lezione presenta l'alternativa, ma con un'avvertenza: la parola "base di dati" è usata in modo così vago — "il database dei clienti", "il database degli iscritti" — che il suo significato tecnico è quasi scomparso.

Una cartella di file Excel non è una base di dati. Un file JSON non è una base di dati. Un archivio ZIP di documenti non è una base di dati. Ciascuno di questi oggetti contiene dati, ma nessuno possiede le tre proprietà che rendono una base di dati uno strumento diverso: la condivisione controllata, l'autodescrizione e l'affidabilità. Senza queste tre, la parola non aggiunge nulla rispetto a "file".

La definizione

Base di dati

Una base di dati è una collezione di dati permanente, condivisa, organizzata e controllata, che rappresenta una porzione del mondo reale (detta universo del discorso) ed è autodescrittiva, nel senso che contiene, oltre ai dati, la descrizione della propria struttura.

Una base di dati è quindi una coppia (schema, istanza) più l'insieme delle regole che li legano.

Ogni aggettivo merita una spiegazione, perché ognuno esclude qualcosa.

Permanente

I dati sopravvivono alla fine del programma che li ha creati e al riavvio della macchina. Una variabile in memoria contiene dati volatili: sparisce con il processo. Un file temporaneo è quasi-permanente. Una base di dati è progettata per durare decenni, e questa aspettativa ha conseguenze profonde: i dati cambieranno formato, i programmi saranno riscritti più volte, il DBMS sarà aggiornato. La permanenza non è una proprietà del supporto fisico, è un requisito di progetto che impone stabilità dei nomi, documentazione e migrazioni pianificate.

Condivisa

Più utenti e più applicazioni accedono agli stessi dati, contemporaneamente, e ciascuno vede solo la parte che gli compete. Questo è il punto che separa una base di dati da un file personale, e la parola chiave è solo la parte che gli compete: la condivisione senza delimitazione è un problema di sicurezza, non una funzionalità.

Organizzata

I dati sono strutturati secondo un modello esplicito, non secondo l'ordine di arrivo. L'organizzazione è ciò che permette di formulare domande senza conoscere la posizione fisica dei byte.

Controllata

La base di dati ha un meccanismo che vigila sulle regole: vincoli di integrità, controllo degli accessi, controllo della concorrenza, meccanismi di recovery. "Controllata" è l'aggettivo che distingue una base di dati da un insieme di file ben ordinati.

Autodescrittiva

Autodescrizione

Una base di dati autodescrittiva contiene, insieme ai dati, la descrizione della propria struttura: i nomi delle entità, gli attributi, i tipi, i vincoli, le relazioni. Questa descrizione è detta catalogo (o dizionario dei dati) e i dati che descrive sono detti metadati.

In un archivio a file la descrizione sta nel codice sorgente. Nella base di dati sta dentro la base di dati, come dati essi stessi. La conseguenza è enorme: un programma può chiedere al DBMS "quali colonne ha questa tabella?" e ricevere una risposta. Per questo una base di dati è interrogabile senza conoscere a priori la sua struttura, e per questo gli strumenti generici (un editor SQL, un generatore di report, l'editor E-R di ERMap quando importa uno schema) funzionano senza essere scritti per quella specifica base di dati.

Rappresenta una porzione del mondo reale

Una base di dati è sempre parziale e finalizzata. Non contiene la biblioteca: contiene i fatti sulla biblioteca che servono agli scopi dell'organizzazione. Un fatto vero ma inutile allo scopo non va memorizzato. Un fatto utile che manca è un errore di progettazione. Questa scelta — che cosa entra e che cosa resta fuori — è la decisione più importante dell'intero processo, e occupa il Modulo 2.

Schema, istanza, stato

Schema

Lo schema è la descrizione della struttura: quali entità esistono, con quali attributi, con quali tipi e vincoli. Lo schema è intensionale: dice che forma hanno i dati, non quali dati ci sono. Cambia raramente e cambia in modo controllato (una migrazione).

Istanza

L'istanza (o stato) è l'insieme dei valori presenti in un dato momento. È estensione: i dati veri e propri. Cambia continuamente, a ogni inserimento, modifica o cancellazione.

L'esempio classico: la tabella Socio(codice, cognome, nome) è schema. Le righe (1042, 'Rossi', 'Anna'), (1043, 'Bianchi', 'Luca') sono istanza.

Schema Istanza
Che cosa descrive La forma I valori
Cambia con ALTER TABLE, migrazioni INSERT, UPDATE, DELETE
Frequenza Rara, pianificata Continua
Chi la modifica Progettista, DBA Utenti e applicazioni
Chi la legge Programmi, strumenti Utenti, report, applicazioni
Sbagliarla costa Una migrazione con impatto su tutti Una correzione puntuale

Una terza nozione serve più avanti:

Stato valido

Uno stato è valido se soddisfa tutti i vincoli dello schema. Il DBMS rifiuta le operazioni che porterebbero a uno stato non valido. "Valido" riguarda solo i vincoli dichiarati: uno stato può essere valido e didatticamente assurdo, se il progettista ha dimenticato un vincolo.

Ridondanza controllata

La lezione precedente ha condannato la ridondanza. Adesso bisogna essere più precisi, perché una base di dati può contenere ridondanza — e spesso deve.

Ridondanza controllata

Si ha ridondanza controllata quando lo stesso fatto è memorizzato più di una volta, ma (a) la duplicazione è deliberata e documentata, (b) esiste un unico meccanismo responsabile di mantenerla allineata, e (c) il sistema impedisce che le copie divergano.

Esempio tipico: il totale di un ordine. Il totale è calcolabile sommando le righe d'ordine, quindi memorizzarlo è ridondante. Ma calcolarlo a ogni lettura costa, e su un report con 200 000 ordini costa molto. Memorizzarlo è legittimo se un trigger o il livello applicativo lo ricalcola a ogni modifica delle righe, e se nessun programma può scriverlo direttamente.

La differenza rispetto all'archivio a file non è tecnica ma di responsabilità: nella ridondanza controllata esiste un posto solo che scrive le copie, e le copie non possono divergere per costruzione. Nell'archivio a file ogni programma scrive le proprie copie e nessuno è responsabile dell'allineamento.

Ridondanza incontrollata Ridondanza controllata
Chi la crea Ogni programma, indipendentemente Un solo meccanismo, per progetto
È documentata No Sì, con la motivazione
Può divergere Sì, silenziosamente No, per costruzione
Come si corregge Trovando tutte le copie Non serve: non diverge
Costo Aggiornamenti persi, dati sbagliati Spazio e lavoro di aggiornamento, prevedibili

Il Modulo 6 (normalizzazione) insegna a eliminare la ridondanza non necessaria. Il Modulo 7 (progettazione fisica) insegna quando introdurla deliberatamente. Sono due tecniche opposte e complementari, e funzionano solo se sai quale delle due stai applicando.

Come una base di dati risponde ai nove problemi

Problema (lezione 3) Meccanismo della base di dati Dove si studia
Ridondanza Normalizzazione; ridondanza solo se controllata Modulo 6, Modulo 7
Inconsistenza Una sola copia del fatto + vincoli dichiarati Modulo 5, Modulo 6
Difficoltà di accesso Linguaggio dichiarativo (SQL) Modulo 8
Isolamento dei dati Catalogo condiviso; un solo modello per tutti Modulo 1 (ANSI/SPARC), Modulo 5
Integrità Vincoli di schema: NOT NULL, UNIQUE, PRIMARY KEY, FOREIGN KEY, CHECK Modulo 5, Modulo 7
Atomicità Transazioni: tutto o niente Modulo 7, Modulo 8
Concorrenza Controllo della concorrenza a grana fine (lock, MVCC) Modulo 7
Sicurezza Privilegi su oggetti e viste, non su file Modulo 7
Backup e ripristino Dump coerenti, log delle transazioni, point-in-time recovery Modulo 7

Nessuno di questi meccanismi funziona da solo. Un vincolo FOREIGN KEY protegge l'integrità referenziale solo se tutte le scritture passano dal DBMS: uno script che disabilita i controlli, un'importazione con SET FOREIGN_KEY_CHECKS=0 o un'applicazione che scrive direttamente nei file del DBMS annullano la garanzia. La base di dati è un contratto: vale finché tutti lo rispettano.

Un esempio completo

Una biblioteca. Prima, l'archivio:

PRESTITI.DAT
  codice prestito | codice socio | nome socio | telefono socio | codice copia | titolo | data prestito | scadenza | stato

Dopo, lo schema concettuale (Modulo 3 — qui solo per mostrare la forma):

Socio(codice, cognome, nome, telefono, ...)
Opera(ISBN, titolo, autore, ...)
Copia(inventario, opera, ...)
Prestito(socio, copia, dataInizio, dataScadenza, dataRestituzione)

Che cosa è cambiato:

  • Il titolo non è più nel prestito. Il prestito si riferisce a una Copia, che si riferisce a un'Opera. Il titolo esiste una volta sola, nell'Opera. Se il titolo è sbagliato, si corregge in un posto.
  • Il telefono non è più nel prestito. Il prestito si riferisce a un Socio. Il telefono esiste una volta sola. Se cambia, cambia per tutti.
  • dataRestituzione è separata da stato. Lo stato "aperto/chiuso" è derivabile dalla presenza della data di restituzione, quindi memorizzarlo sarebbe ridondanza. Meglio un fatto solo, la data, da cui lo stato si calcola.
  • Le regole hanno una casa. "Il socio di un prestito deve esistere" diventa una FOREIGN KEY. "Una copia non può essere in due prestiti aperti contemporaneamente" richiede un vincolo più sofisticato (Modulo 7), ma almeno ora è un problema dichiarato invece che un'omissione invisibile.

Nota che la seconda struttura è più astratta della prima: non contiene il telefono, non contiene il titolo, non contiene lo stato. Contiene fatti e riferimenti fra fatti. È questa astrazione che rende possibili i vincoli — e che rende il progetto più difficile da scrivere e molto più facile da mantenere.

Beginner

Schema o istanza?

Per ciascuna delle seguenti affermazioni, indica se descrive lo schema, l'istanza, o nessuno dei due, e motiva in una frase.

  1. "La tabella Prestito ha le colonne socio, copia, dataInizio, dataScadenza, dataRestituzione."
  2. "Il socio 1042 ha in corso tre prestiti."
  3. "Il codice socio è una stringa di 6 caratteri e non può essere vuoto."
  4. "Il prestito 8821 è stato restituito il 14 marzo."
  5. "Ogni prestito deve riferirsi a un socio esistente."
  6. "La base di dati della biblioteca contiene 12 400 prestiti."
  7. "Il totale dei prestiti dell'anno scorso è stato 12 400."
  8. "La tabella Prestito contiene attualmente 12 400 righe."
Mostra la soluzione commentata
  1. Schema. Descrive la struttura di una tabella: nomi delle colonne. Vale finché non si esegue un ALTER TABLE.
  2. Istanza. È un fatto su dati presenti: dipende da quali righe esistono adesso.
  3. Schema. Tipo e NOT NULL sono vincoli, quindi appartengono allo schema. Nota che "6 caratteri" è un vincolo di schema solo se è dichiarato (es. CHAR(6)); se è solo una convenzione non dichiarata, allora è un vincolo implicito che nessuno applica — un errore di progetto.
  4. Istanza. Un valore di una riga specifica.
  5. Schema. È un vincolo di integrità referenziale, valido per ogni possibile istanza futura.
  6. Istanza. Un conteggio delle righe presenti. Cambia al prossimo inserimento.
  7. Nessuno dei due in senso stretto: è un dato derivato da un'istanza passata. Non è nello schema (non è una regola) e non è nell'istanza corrente (riguarda dati che potrebbero essere stati cancellati). È esattamente il tipo di fatto che, se serve spesso, potrebbe diventare una struttura aggregata — e quindi ridondanza controllata, con tutte le cautele del caso.
  8. Schema e istanza insieme, ed è il caso più istruttivo: la cardinalità (che la tabella possa contenere righe) è schema; il numero 12 400 è istanza. Un vincolo di schema può limitare il numero massimo (raramente sensato); non può dipendere dal numero corrente.

Il criterio generale. Chiediti: "questa frase sarebbe ancora vera dopo un DELETE arbitrario?" Se sì, è schema. Se no, è istanza. Applicato alla frase 7: dopo aver cancellato i prestiti dell'anno scorso, il totale non è più verificabile — non è schema.

Errori comuni

  • "Una base di dati è una cartella di file." La cartella non è autodescrittiva, non applica vincoli, non gestisce la concorrenza. È il supporto fisico di una base di dati, non la base di dati.
  • "Schema e istanza sono la stessa cosa vista da due lati." No: hanno cicli di vita diversi, strumenti diversi, responsabili diversi. Confonderli porta a scrivere vincoli che dipendono dai dati correnti.
  • "Una base di dati non deve contenere ridondanza." Deve contenere solo ridondanza controllata. La differenza è la responsabilità dell'allineamento, non la presenza della duplicazione.
  • "Se uso un DBMS ho una base di dati." Hai un motore. La base di dati è il risultato di un progetto: schema, vincoli, transazioni, privilegi. Un DBMS vuoto con una tabella senza chiavi non è una base di dati migliore di un file.
  • "I vincoli limitano, quindi rallentano il lavoro." I vincoli spostano il costo dall'assistenza (dati sbagliati scoperti mesi dopo) al momento della scrittura (un errore rifiutato subito). È il miglior affare disponibile in ingegneria del software.
  • "La base di dati contiene tutto ciò che è vero." Contiene la porzione di mondo rilevante per uno scopo. Un fatto vero e irrilevante non va memorizzato.
  • Una base di dati è una collezione di dati permanente, condivisa, organizzata, controllata e autodescrittiva che rappresenta una porzione del mondo reale.
  • Autodescrittiva significa che la struttura è memorizzata dentro la base di dati, nel catalogo: questo è ciò che permette a strumenti generici di interrogarla.
  • Lo schema è la forma (intensione); l'istanza è i valori (estensione). Un vincolo appartiene allo schema; un conteggio appartiene all'istanza.
  • Uno stato è valido se rispetta i vincoli dichiarati — e solo quelli: i vincoli non dichiarati non esistono per il DBMS.
  • La ridondanza controllata è legittima quando è deliberata, documentata e mantenuta da un unico meccanismo. È la differenza di responsabilità, non di duplicazione.
  • Ogni problema degli archivi a file ha un meccanismo corrispondente nella base di dati, ma nessun meccanismo funziona se qualcuno aggira il DBMS.

Domande di verifica

  1. Elenca i cinque aggettivi della definizione di base di dati e di' per ciascuno quale situazione esso esclude.
  2. Che cosa significa che una base di dati è autodescrittiva, e quale funzionalità concreta ne dipende?
  3. Un collega dice: "Ho aggiunto una colonna totalePrestiti alla tabella Socio, la aggiorno dal codice quando serve." È ridondanza controllata? Motiva.
  4. Perché "il socio 1042 ha tre prestiti" è istanza e "un socio può avere al massimo cinque prestiti" è schema? Che cosa cambia se il limite è cinque oggi ma potrebbe diventare dieci domani?
  5. Una base di dati con vincoli è più lenta in scrittura. Perché questo è comunque un buon affare?
Mostra le risposte
  1. Permanente esclude i dati volatili in memoria. Condivisa esclude il file personale e, insieme, esclude la condivisione senza delimitazione dei permessi. Organizzata esclude i dati accumulati senza struttura. Controllata esclude l'insieme di file ben ordinati ma senza regole applicate. Autodescrittiva esclude l'archivio la cui struttura è nota solo al codice.

  2. Significa che la descrizione della struttura (nomi, tipi, vincoli) è memorizzata come dati nel catalogo. Ne dipendono: gli strumenti generici (un editor SQL, un generatore di report, un importatore di schemi come quello di ERMap), la possibilità di interrogare la struttura (INFORMATION_SCHEMA), e la validazione automatica delle operazioni.

  3. No, nella forma descritta. "Lo aggiorno dal codice quando serve" significa che ogni punto del codice che modifica i prestiti deve ricordarsene, e che nulla impedisce a una copia di divergere — è ridondanza incontrollata. Diventerebbe controllata se il valore fosse mantenuto da un unico meccanismo (trigger o vista materializzata) e nessun programma potesse scriverlo direttamente. Inoltre un contatore di prestiti storici non è la stessa informazione di un contatore di prestiti aperti: prima di tutto va deciso quale fatto rappresenta.

  4. Perché la prima frase è verificabile contando righe presenti (cambia con ogni INSERT), la seconda è una regola che vale per ogni istanza possibile (cambia solo con una modifica dello schema). Se il limite passa da cinque a dieci, si modifica il vincolo, cioè lo schema: è una migrazione, non un'operazione sui dati. E se il limite dipende dal tipo di socio (studente 5, docente 10), il vincolo non è più un numero fisso ma una regola che dipende dai dati: si esprime in modo diverso (Modulo 7), e la scelta va documentata.

  5. Perché il costo è noto, immediato e piccolo (qualche microsecondo in scrittura), mentre il beneficio è evitare un errore che verrebbe scoperto mesi dopo, da un utente, su dati ormai inaffidabili — e la cui correzione richiede di ricostruire la storia. Si sposta il costo dall'assistenza alla scrittura, che è il posto in cui costa meno.

Dove andare adesso

Related lessons