#indeksering

[digarkdev]

Publisering av skanna arkivmateriale uten indeksering

I vinter har vi startet arbeidet med å oppgradere våre programvarer for indeksering av skanna arkivmateriale. Arbeidet er ikke på langt nær ferdig, men nå i mars har vi kommet så langt at en viktig ny mulighet har åpnet seg: Vi kan publisere skanna arkivmateriale uten indeksering. 

Fram til nå har indeksering vært en forutsetning for å kunne publisere, og siden vi ikke har hatt effektive verktøy for å berike og forbedre noe som allerede er indeksert, har vi i praksis vært nødt til å indeksere "perfekt" før publisering. Når vi i tillegg har hatt begrenset kapasitet til indeksering over en del år, har det oppstått en flaskehals: Vi har for øyeblikket omkring 15 millioner skanna bilder som ikke er publisert i Digitalarkivet, og brorparten av disse bildene viser arkivmateriale som egner seg for Digitalarkivet.

Publisering uten indeksering betyr at bildene registreres i indekseringstabellen i Digitalarkivets database med en kilde-ID som angir hvilken kilde bildene tilhører, samt et nummer som angir hvilken rekkefølge bilder tilhørende samme kilde skal vises i. Med vår nye programvare kan dette gjøres med noen få tastetrykk, hvorpå kilden kan publiseres umiddelbart. Når vi ikke indekserer bildene, registrerer vi derimot ikke spesifikke opplysninger om hva hvert enkelt bilde viser, sidetall osv.

Konsekvensen av å publisere uten indeksering, er at vi ikke kan tilby innholdssider eller filterfunksjon. Som bruker må du starte på første bilde og navigere i bildesekvensen uten den hjelpa som indekseringa vanligvis gir, omtrent som å snurre en mikrofilm "i gamle dager". Når kilden består av et begrenset antall bilder, vil nok dette oftest gå greit. Når kilden derimot består av flere hundre bilder, blir behovet for indeksering og hjelp til framfinning internt i kilden større.

Det er ikke noe poeng for Arkivverket å publisere skanna arkivmateriale som ingen finner fram i, så vi vil ikke publisere hvilke som helst kilder uten indeksering. Kirkebøker vil for eksempel alltid bli indeksert på vanlig måte, noe som også er nødvendig for at vi skal kunne sperre de bildene som vi er nødt til å sperre.

Hovedpoenget er at vi nå enklere kan publisere på kort varsel, ettersom vi kan gå tilbake og indeksere på et senere tidspunkt. Men en god del skanna arkivmateriale vil vi neppe få kapasitet til å indeksere, i alle fall ikke veldig detaljert. Når den nye programvaren for indeksering er ferdig, vil vi faktisk kunne invitere brukerne våre til å bidra til indekseringsarbeidet. Kanskje ønsker nettopp du å "finindeksere" ei tingbok, slik at tingbokas innholdsside får lenke til hver enkelt tingsamling?

Kilder som blir publisert uten indeksering, vil ha tomme innholdssider, slik som denne. Kommer du til en slik side, må du tilbake til trefflista og heller velge "Første side". Ved neste oppdatering av visningsprogramvaren vil vi deaktivere lenker til tomme innholdssider, slik at forhåpentlig ingen skal bli forvirret av dette. Inntil denne oppdateringa er på plass, vil også "bla"-lenker i Finn kilde feile, når den aktuelle kilden ikke er indeksert.

Pr. 15.3.2017 er det i hovedsak deler av arkivene Lassens samlinger og Generaltollkammeret, tollregnskaper som er publisert uten indeksering.

[digarkdev]

Flytting av metadata og indekseringsdata for skanna bilder

De gamle løsningene for søk og visning av skannet arkivmateriale ble opprettet for mange år siden. Det som da var Digitalarkivet (som vi nå kaller Gamle Digitalarkivet) var en tjeneste som ble utviklet av Jan Oldervoll og ble driftet av Universitetet i Bergen. Tjenestene for skannet arkivmateriale var utviklet av Riksarkivet i Oslo, og driftes på servere som står ved Statsarkivet i Bergen. Det to tjenestene var helt uavhengige av hverandre, men sammenlenking ved hjelp av hyperlenker gjorde at det hele fremsto som ett Digitalarkiv.

Tre databaser

Etterhvert som bilder blir skannet må de indekseres før de kan gjøres tilgjengelig. Dvs. å påføre informasjon om innholdet til hver enkelt side, f.eks årstall, dato, eiendom, listetype o.l. Denne informasjonen blir lagret i en database som også brukes til å gjøre søk for å finne igjen bildene. Denne databasen har fungert greit til skannet materiale. Gamle Digitalarkivet hadde ingen samlet database men var basert på "flatfiler" uten noen samordnet og standardisert struktur. Det vanskeliggjorde gode, globale søk i transkribert materiale.

Da vi i 2009 begynte å utvikle nye Digitalarkivet i forbindelse med folketellingen 1910, var det klart at en ny database måtte etableres fra bunnen av, for at vi skulle kunne få til den funksjonaliteten vi ønsket oss, og for at vi på sikt skulle kunne integrere søkbart og skanna materiale i én tjeneste. Fordi verken Gamle Digitalarkivet eller de gamle tjenestene for skanna arkivmateriale er nedlagt ennå, har vi i 5-6 år hatt data for de samme kildene på tre forskjellige steder, med de utfordringene og ekstraarbeidet det innebærer.

Dataråte

Når data blir lagt inn i en database,  er det viktig at visse regler følges. Hvis ikke får man det som kalles "råtne data". Dette kan f.eks. være at datoer er ført på forskjellig format, eller at verdier som burde ligget i forskjellige felt i databasen, er samlet i ett felt, eventuelt som kommaseparerte verdier. Når flere mennesker legger inn data er det derfor viktig at programvaren som brukes, har innebyggede kontrollmekanismer som ser til at dataene følger en og samme standard. I tillegg må databasen være satt opp slik at den støtter flere verdier der hvor det er behov. Det har vi dessverre ikke hatt. Derfor finnes det mye “rare data” som er en stor utfordring å flytte.

Veien til én database

Arbeidet med å legge inn alle transkriberingsdataene som finnes i Gamle Digitalarkivet over i Nye Digitalarkivet nærmer seg nå slutten, så i praksis er vi nå nede i to databaser. Men vi gir oss ikke der! Målet er å få alle data om det skannede arkivmaterialet inn i samme database. Det gir en betydelig fordel ved at løsningene kan integreres på helt nye måter, og ved at vi slipper å vedlikeholde data flere steder. 

Alle som har jobbet med data vet at migrering av data fra ett system til et annet er noe av vanskeligste man kan gjøre, ikke minst når datamodellene er til dels svært ulike, og når det finnes mye råtne data. Når vi i tillegg skal forholde oss til forskjellige administrative inndelinger og andre samfunnsstrukturer som har forandret seg gjennom flere hundre år i tillegg til endret datamodell, så har vi en utfordring.

Etter hvert som vi lager nye brukergrensesnitt for skannet arkivmateriale, flytter vi også metadataene for disse kildene til den nye databasen. Det gir nye og spennende muligheter for fremtidig funksjonalitet. Det viktigste i første omgang er at alle kildene som kun er skannet, også blir tilgjengelige i Finn kilde (bla-lenken) på linje med de søkbare materialet. Det er allerede en rekke kilder som er tilgjengelige på denne måten, men målet er å få alle kildene tilgjengelig for søk i Finn kilde.

Migreringsscript

For å løse disse utfordringene har vi laget et migreringsscript. Dette er et stort og komplisert PHP-script på over 5000 linjer kode. Dette må utvides og vedlikeholdes etterhvert som vi oppdager nye former for dataråte, og ikke minst etterhvert som vi etablerer nye søkeinnganger for skannet materiale og skal migrere dataene.

Mye arbeid gjenstår

Når vi nå er i ferd med å fornye brukergrensesnittene for skannet materialet, er dette bare begynnelsen på en større omlegging. Vi må også bytte ut all programvaren vi bruker til å indeksere de skannede bildene slik at de kan jobbe mot databasen i det nye Digitalarkivet. I tillegg må vi erstatte programvaren som behandler de skannede bildene og lager nettutgaver av hvert bilde. Dette er en betydelig jobb.

Inntil dette er på plass må vi leve med to systemer, og etterhvert som vi skanner og indekserer nytt arkivmateriale må vi også migrere dem over til Digitalarkivet.