Testing av arkivuttrekk

Godkjenning og avvisning av arkivuttrekk

Når et arkivuttrekk er godkjent, får arkiveieren et godkjenningsbrev. Selve arkivuttrekket blir overført til Nasjonalarkivets langtidsbevaringsløsning. Tidligere i avleveringsprosessen har Nasjonalarkivet og arkiveier avtalt en dato for overtakelse av råderetten. Frem til den datoen er nådd, har arkiveier selv ansvaret for bruken av materialet og for å betjene innsyn.

Vi undersøker blant annet at det fortsatt går an å finne igjen informasjon i arkivuttrekk. Når dataene er i et uttrekksformat, har Nasjonalarkivet ofte ikke den samme muligheten til å navigere ved hjelp av brukergrensesnittet til systemet der dataene til nå har bodd. Systemets iboende logikk vil ikke lenger presentere informasjonen på en den samme måten som tidligere. Systemets brukergrensesnitt er byttet til tekstfiler som peker på hverandre og diverse vedlegg.

Hvis det er for mange avvik som ikke kan forklares, manglende data, eller andre avvik som påvirker arkivmaterialets autentisitet, integritet, pålitelighet og anvendelighet, får arkiveier et avisningsbrev. I dette tilfellet må arkiveier produser et nytt og korrigert arkivuttrekk.

Avisningsbrevet oppsummerer hvilke avvik som har ført til avvisningen, og disse avvikene skal korrigeres før arkiveier tar et nytt uttrekk. Dersom det er umulig å rette opp disse avvikene, trenger Nasjonalarkivet en skriftlig redegjørelse for dette.

Noen av kontrollene Nasjonalarkivet gjør

Hvilke tester Nasjonalarkivet gjennomfører, og hvorfor de er viktige, avhenger av hvordan dataene er skapt og i hvilket format de skal bevares for ettertiden. Nedenfor går vi igjennom noen eksempler på tester som gjennomføres for de vanligste uttrekksformatene Nasjonalarkivet mottar.

Sjekksumkontroll

For å være sikre på at dataene er overført trygt, kontrolleres arkivpakkens sjekksum mot en sjekksummer som genereres automatisk under pakking. Sjekksummen for alle filene i arkivuttrekket blir også kontrollert mot fillisten som blir automatisk generert før overføring. Standarden som brukes er SHA-256.

Viruskontroll

Filene i arkivpakken kontrolleres for virus.

Kompletthet

Kompletthet er viktig – at Nasjonalarkivet sjekker at vi har fått alle dataene vi skal ha. Det naturligste sjekkpunktet er å kryssjekke med skjema for arkivbeskrivelse. Derfor ber vi om en telling av antall registreringer – for å ha et konkret tall å kontrollere mot.

Integritet

Nasjonalarkivet leser av dataene, og ser for eksempel etter spor av korrupte datasett, tomme filer, eller filer med uvanlige tegnsett.

Forståelsen av dataene

I tillegg til at dataene er lesbare, må de også være forståelige for en sluttbruker og for ettertiden. Dette innebærer ofte en gjennomgang av tilhørende systemdokumentasjon for å behjelpe tolkningen av datasettene.

Filformater

Nasjonalarkivet sjekker om filformatene i arkivuttrekket stemmer overens med de avtalte filformatene eller de aksepterte filformatene for avlevering til Nasjonalarkivet.

• Aksepterte filformater

Statistisk kontroll

Kryssjekk mot publisert statistikk for å få en ekstra kontroll på at Nasjonalarkivet har fått alle dataene. Dette gir også en god indikasjon på om dataene er tolket riktig av oss.

Tidsperiode

En annen kontroll Nasjonalarkivet gjøre på samtlige uttrekk, er å undersøke tidsperioden, ofte ved å telle antall forekomster av hvert årstall for en tidsserie. Dette gir primært innsikt i om datasettet er komplett. For komplekse datasett gir dette også en indirekte kontroll på hvorvidt Nasjonalarkivet har tilstrekkelig dokumentasjon, ved at vi har funnet riktig sett med datoer i arkivpakken.

Testing av Noark 5-uttrekk

For testing av arkivuttrekk fra Noark-systemer brukes det i første omgang pakke- og testverktøyet Arkade 5, som lager en detaljert testrapport. I tillegg til testrapporten, kjører Nasjonalarkivet en del standardiserte tester på arkivstrukturen, offentlig journal, løpende journal og endringsloggen. Resultatene fra både Arkade 5 og testene som Nasjonalarkivet kjører i tillegg, blir sammenlignet med opplysninger fra arkiveier i skjema for arkivbeskrivelse og sjekkliste ved overføring av elektroniske arkiver.

Ofte vil det være behov for dialog rundt avvik som testene ikke kan avgjøre bakgrunnen for. I disse tilfellene tar Nasjonalarkivet kontakt med arkiveier for å få en forklaring for avvik som ble oppdaget i løpet av testprosessen.

Autentiske avvik skal beholdes siden informasjonen i uttrekket skal langtidslagres i den stand den har vært brukt i saksbehandlingen. Slike avvik skal arkiveier beskrive og legge ved skjema for arkivbeskrivelse. Feil som skyldes uttrekksprosessen må rettes opp ved at det tas et nytt uttrekk.

Her finner dere eksempler på test og de mest vanlige avvik som oppdages under test:

Kompletthet

Under testing finner Nasjonalarkivet av og til flere eller færre arkivdeler, saksmapper, registreringer eller dokumenter enn oppgitt i skjema for arkivbeskrivelse. Det kan for eksempel skyldes at utgåtte saker er tatt med i søk da arkiveier fylte ut skjema for arkivbeskrivelse, eller at den som lager arkivuttrekket har glemt å ta med en arkivdel. I tillegg ser Nasjonalarkivet også at brukerfeil og manglende rutine hos arkiveier fører til mangel eller feil på obligatoriske verdier, som for eksempel arkivnøkkel og journalposttype som påvirker komplettheten til arkivuttrekket.

Tidsperiode

Nasjonalarkivet lager en oversikt over antall registreringer per journalår. I denne oversikten er det av og til registreringer som faller utenfor oppgitt periode i skjema for arkivbeskrivelse. Det skyldes oftest brukerfeil, etterregistreringer, migrerings- eller uttrekksarbeid.

Sak- og journalstatus

Saker og registreringer som ikke er avsluttet, og for eksempel har status reservert, dukker opp i mange arkivuttrekk. Dette skyldes ofte brukerfeil eller manglende rutiner hos arkiveier. Nasjonalarkivet vil i slike situasjoner spørre om forklaring på manglende avslutning av saker og registreringer. Forklaringen vil ofte være god nok, og avviket er i seg selv ingen grunn til avvisning. . Dermed trenger Nasjonalarkivet opplysninger om sak- og journalstatus i skjema for arkivbeskrivelse.

Manipulering av Noark-uttrekk

Manipulering (også kalt «skripting») i et arkiv skjer når en ekstern aktør som ikke er arkiveier tilfører, endrer, manipulerer, eller fjerner innhold i arkivmaterialet som kan forringe eller motbevise innholdet i arkivet.

Eksempler på dette er at saker og registreringer blir masseavsluttet, gjennomføring av kassasjon, og endring av verdier i metadatafelt i stor skala etter at arkivuttrekket er tatt. Dette påvirker autentisiteten og påliteligheten til arkivmaterialet og kan føre til avvisning av arkivuttreket. Dersom endringer skal gjøres, er det arkiveier selv som har ansvaret for at endringene gjennomføres. Dersom informasjonssystemet for eksempel har innebygd funksjonalitet for å masseavslute saker, regnes det ikke som skripting.

NULL-verdier og dummy-verdier

Nasjonalarkivet sjekker antall forekomster av NULL-verdier som “NULL”, “Ikke angitt,” “Ikke definert” eller lignende. Både bruk av NULL-verdier og dummy-verdier bør forklares i skjema for arkivbeskrivelse.

Kassasjon

Når arkiveier oppgir i skjema for arkivbeskrivelse at det er gjennomført kassasjon, men Nasjonalarkivet ikke finner igjen obligatoriske metadatafelt for bevaring og kassasjon (M450-M499 i metadatakatalog til Noark 5 6.0) i arkivuttrekket, kan det peke på at kassasjon ikke er gjennomført, eller at uttrekket er manipulert slik at kassasjonsmetadata ikke kan gjenfinnes.

Dersom det er umulig å utføre kassasjon før uttrekker overføres til Nasjonalarkivet, men arkivmaterialet likevel er kassasjonsmarkert, må arkiveier sende en søknad om untak fra bestemmelser om gjennomføring av bevaring og kassasjon før avlevering

Testing av tidligere versjoner av Noark

For testing av arkivuttrekk fra Noark 4-systemer brukes det egenutviklede testverktøyet ArkN4. For testing av arkivuttrekk fra Noark 3- og Noark 5-systemer brukes testverktøyet Arkade 5.