Flytting av metadata og indekseringsdata for skanna bilder
De gamle løsningene for søk og visning av skannet arkivmateriale ble opprettet for mange år siden. Det som da var Digitalarkivet (som vi nå kaller Gamle Digitalarkivet) var en tjeneste som ble utviklet av Jan Oldervoll og ble driftet av Universitetet i Bergen. Tjenestene for skannet arkivmateriale var utviklet av Riksarkivet i Oslo, og driftes på servere som står ved Statsarkivet i Bergen. Det to tjenestene var helt uavhengige av hverandre, men sammenlenking ved hjelp av hyperlenker gjorde at det hele fremsto som ett Digitalarkiv.
Tre databaser
Etterhvert som bilder blir skannet må de indekseres før de kan gjøres tilgjengelig. Dvs. å påføre informasjon om innholdet til hver enkelt side, f.eks årstall, dato, eiendom, listetype o.l. Denne informasjonen blir lagret i en database som også brukes til å gjøre søk for å finne igjen bildene. Denne databasen har fungert greit til skannet materiale. Gamle Digitalarkivet hadde ingen samlet database men var basert på "flatfiler" uten noen samordnet og standardisert struktur. Det vanskeliggjorde gode, globale søk i transkribert materiale.
Da vi i 2009 begynte å utvikle nye Digitalarkivet i forbindelse med folketellingen 1910, var det klart at en ny database måtte etableres fra bunnen av, for at vi skulle kunne få til den funksjonaliteten vi ønsket oss, og for at vi på sikt skulle kunne integrere søkbart og skanna materiale i én tjeneste. Fordi verken Gamle Digitalarkivet eller de gamle tjenestene for skanna arkivmateriale er nedlagt ennå, har vi i 5-6 år hatt data for de samme kildene på tre forskjellige steder, med de utfordringene og ekstraarbeidet det innebærer.
Dataråte
Når data blir lagt inn i en database, er det viktig at visse regler følges. Hvis ikke får man det som kalles "råtne data". Dette kan f.eks. være at datoer er ført på forskjellig format, eller at verdier som burde ligget i forskjellige felt i databasen, er samlet i ett felt, eventuelt som kommaseparerte verdier. Når flere mennesker legger inn data er det derfor viktig at programvaren som brukes, har innebyggede kontrollmekanismer som ser til at dataene følger en og samme standard. I tillegg må databasen være satt opp slik at den støtter flere verdier der hvor det er behov. Det har vi dessverre ikke hatt. Derfor finnes det mye “rare data” som er en stor utfordring å flytte.
Veien til én database
Arbeidet med å legge inn alle transkriberingsdataene som finnes i Gamle Digitalarkivet over i Nye Digitalarkivet nærmer seg nå slutten, så i praksis er vi nå nede i to databaser. Men vi gir oss ikke der! Målet er å få alle data om det skannede arkivmaterialet inn i samme database. Det gir en betydelig fordel ved at løsningene kan integreres på helt nye måter, og ved at vi slipper å vedlikeholde data flere steder.
Alle som har jobbet med data vet at migrering av data fra ett system til et annet er noe av vanskeligste man kan gjøre, ikke minst når datamodellene er til dels svært ulike, og når det finnes mye råtne data. Når vi i tillegg skal forholde oss til forskjellige administrative inndelinger og andre samfunnsstrukturer som har forandret seg gjennom flere hundre år i tillegg til endret datamodell, så har vi en utfordring.
Etter hvert som vi lager nye brukergrensesnitt for skannet arkivmateriale, flytter vi også metadataene for disse kildene til den nye databasen. Det gir nye og spennende muligheter for fremtidig funksjonalitet. Det viktigste i første omgang er at alle kildene som kun er skannet, også blir tilgjengelige i Finn kilde (bla-lenken) på linje med de søkbare materialet. Det er allerede en rekke kilder som er tilgjengelige på denne måten, men målet er å få alle kildene tilgjengelig for søk i Finn kilde.
Migreringsscript
For å løse disse utfordringene har vi laget et migreringsscript. Dette er et stort og komplisert PHP-script på over 5000 linjer kode. Dette må utvides og vedlikeholdes etterhvert som vi oppdager nye former for dataråte, og ikke minst etterhvert som vi etablerer nye søkeinnganger for skannet materiale og skal migrere dataene.
Mye arbeid gjenstår
Når vi nå er i ferd med å fornye brukergrensesnittene for skannet materialet, er dette bare begynnelsen på en større omlegging. Vi må også bytte ut all programvaren vi bruker til å indeksere de skannede bildene slik at de kan jobbe mot databasen i det nye Digitalarkivet. I tillegg må vi erstatte programvaren som behandler de skannede bildene og lager nettutgaver av hvert bilde. Dette er en betydelig jobb.
Inntil dette er på plass må vi leve med to systemer, og etterhvert som vi skanner og indekserer nytt arkivmateriale må vi også migrere dem over til Digitalarkivet.