SIARD (Software Independent Archiving of Relational Databases)

Från Sydarkiveras Wiki

Version från den 1 december 2022 kl. 17.25 av Elin (diskussion | bidrag)

Introduktion

Ibland är det lämpligt att bevara information digitalt genom att exportera hela relationsdatabasen, det vill säga datalagret som hör till ett verksamhetssystem. På den här sidan finns information om standarden SIARD och de olika specifikationer och programvaror som används för att exportera databaser för digitalt bevarande. Det finns andra sätt att hantera slutarkivering av register och databaser. Många verksamhetssystem har inbyggda funktioner för att skapa arkiveringsuttag.

Bok.png

Vad är SIARD?

SIARD, eller Software Independent Archiving of Relational Databases, är en öppen internationell standard för långsiktigt bevarande av databaser oberoende av databashanterare och ursprunglig programvara. När man i framtiden vill komma åt den arkiverade informationen behöver man inte ha tillgång till ursprungsprogramvaran utan kan öppna det i valfri SIARD-kompatibel programvara. Eftersom SIARD-standarden är öppen är man inte bunden till någon särskild leverantör, vare sig av programvara eller tjänster.

Användning

Sydarkivera har testat flera olika arbetssätt tillsammans med förbundsmedlemmarna. Detta har skett både för testöverföringar i samband med leveransutredningar och för skarpa arkivleveranser. Ett arbetssätt är att överföra backup-fil, läsa in i databashanterare och därifrån skapa export. Detta går att göra förutsatt att man har tillgång till den databashanterare som stödjs. Ett annat arbetssätt är att tekniker hos förbundsmedlem genomför SIARD-export med hjälp av programvaran Database Preservation Toolkit (DBPTK). Det går att konstatera att det finns utmaningar framförallt med komplexa databaser.

Resultatet av databasarkiveringen blir varierande beroende på hur väl datalagret avspeglar den informationstyp som hanteras. Det är inte ovanligt att en databas som skapats för ett specifikt ändamål används för att utveckla verksamhetssystem med funktioner och användargränssnitt som i hög grad skiljer sig från det ursprungliga användningsområdet. Det saknas inte sällan relationer och vyer i databaserna vilket för med sig arbete med manuell analys och att komplettera databaserna med dokumentation och vyer för enklare sökning.

Exportformat som är stödjs av leverantören är att föredra när det gäller mer komplexa verksamhetssystem. Uttag från system med patientjournaler eller sociala akter kan inte ske med hjälp av databasarkivering. Dels på grund av att det kan finnas tvingande krav om gallring och dels på grund av att information behöver vara möjlig att lämna ut på ett specifikt sätt.

SIARD används ofta till andra standarder. Vill du se en komplett lista över standarder som finns beskrivna på Sydarkiveras Wiki, gå vidare till samlingssidan för standarder

Bok.png

Läs mer på sidan:

Beskrivning av standarden

SIARD är ett öppet filformat för långsiktigt bevarande av relationsdatabaser där data paketeras för överföring och lagring i ett format baserat på XML. Både strukturen och innehållet översätts till SIARD-formatet, för att göra det möjligt att säkerställa bevarande även efter att den ursprungliga databashanteraren inte längre fungerar att använda.

Förvaltning och utveckling

Standarden har utvecklats av Schweiziska Bundesarchiv för paketering och arkivering av relationsdatabaser. Det finns erfarenhet av SIARD i flera länder i Europa där standarden används. Standarden är även fastställd som eCH standard (eCH är den Schweiziska standardiseringsorganisationen för e-förvaltning) vilket medför att detta är en internationellt vedertagen standard.

Sedan 2020 utvecklas och förvaltas SIARD i öppet forum genom arbetsgruppen DILCIS Board. DILCIS Board förvaltar en intressegrupp för databasarkivering Relational Database Archiving Interest Group som syftar till att underlätta kommunikationen mellan alla som arbetar med databasarkivering. Det finns en e-postlista som man kan anmäla sig till för att ställa frågor om SIARD, tillhörande specifikationer och programvaror, byta erfarenheter och användningsfall med mera.

Vad SIARD baseras på

SIARD-formatet bygger på ISO standard SQL (ISO/IEC 9075) och det är en viktig förutsättning för att kunna hantera ett stort antal databashanterare. SIARD-standarden möjliggör export av databaser till ett generellt format som innehåller nödvändig metadata för att kunna återskapa en relationsdatabas. Version 2.1. baseras på SQL 2008. Det tidigare formatet SIARD 1.0 baseras på en äldre version av SQL. Formatet definierar tabeller, kolumner, primärnycklar och främmande nycklar. SIARD kan även definiera databasscheman. Förutom SQL används de internationellt erkända standarderna XML, UNICODE och ZIP 64.

Specifikationer

CITS SIARD

CITS SIARD (Content Information Type Specification for Relational Databases using SIARD) är en specifikation som används vid långtidsbevarande av relationsdatabaser. Specifikationen beskriver hur man paketerar och bevarar databaser för att de ska vara tillgängliga i framtiden. Detta görs genom att lägga in SIARD-filer i ett informationspaket (IP) som följer CSIP (Common Specification Information Package), en specifikation baserad på gemensamma regler för alla informationspaket.

Dokumentation för CITS SIARD finns publicerad via DILCIS Board:

https://dilcis.eu/content-types/cs-siard

Följande resurser finns att använda:

  • Specifikation CITS SIARD v1.0.0
  • Vägledning
  • Exempelfiler
  • Intressentgrupp
  • Dokumentation av exempel på implementering

Inspelat webinarium med presentation av standarden finns tillgänglig via Youtube: CEF eArchiving Webinar #10 Relational database archiving using SIARD

FGS Databas (Baserad på SIARD)

Riksarkivarien meddelade 2021-06-28 beslut att fastställa FGS Databas baserad på SIARD (Riksarkivets dnr RA-KS 4.2-2021/27).

FGS Databas (Baserad på SIARD) beskriver användning av standarden SIARD version 2.1 och består av följande dokument:

  • Förvaltningsgemensam specifikation för relationsdatabaser baserad på SIARD (Specifikation), RAFGS6V1.0
  • Förvaltningsgemensam specifikation för relationsdatabaser baserad på SIARD (Specifikation Tillägg), RAFGS6V1.0A20210628

Dokumentationen finns publicerad via Riksarkivets webbplats:

https://riksarkivet.se/faststallda-kommande-fgser

Projektet FGS Databas

Specifikationen FGS Databas (Baserad på SIARD) togs fram i samband med projektet FGS Databas som Riksarkivet initierade 2017. Projektets mål var att utveckla och fastställa Förvaltningsgemensam specifikation (FGS) för databaser. Tillsammans med Riksarkivet deltog Sydarkivera, Statens Servicecenter (SSC) och Arkivnämnden i Göteborg i arbetsgrupp och testgrupp. Projektet hade en referensgrupp där framför allt statliga myndigheter deltog. Arbetet med SIARD startade i december 2019. En remiss för att samla in synpunkter genomfördes juni-september 2020 och det kom in fyra svar på remissen (från ett regionarkiv och tre statliga myndigheter). Efter bearbetning av underlaget genomfördes sluttestning i enlighet med av framtagen testmetodik. Förberedelserna för testning startade i november 2020. En statlig myndighet genomförde testningen och skickade in dokumentation i januari 2021. Sydarkivera producerade kompletta underlag med introduktion, specifikation och tillägg för Förvaltningsgemensam specifikation för databas baserad på SIARD som överlämnades till Riksarkivet 2021-06-09. De beslutade dokumenten baserades helt på det slutliga utkast som producerats av Sydarkivera.

Remissammanställning och testdokumentation finns att ladda ner från Riksarkivets webbplats:

Riksarkivets webbsida för FGS-remisser

För genomförandet användes av Riksarkivet framtagna vägledning "Vägledning för arbetet med förvaltningsgemensamma specifikationer – Att utveckla, förvalta, och införa FGS:er" (RAFGS1D20171025) med tillhörande Utvecklingsprocess och Testmetodik. Dokumenten finns att ladda ner från Riksarkivets webbplats:

https://riksarkivet.se/fgs-dokument

Programvaror

Sydarkivera har testat två olika fria verktyg som automatiserar SIARD-exporten. Det finns även andra alternativ och stöd för SIARD i olika kommersiella produkter.

  • Database Preservation Toolkit DBPTK utvecklat av KEEP Solutions, (DBPTK tillhandahålls fritt och ingår i programvaruportföljen för eArkivering Byggnadsblocket.)
  • SIARD Suite utvecklat av det Schweiziska Riksarkivet. Programmet tillhandahålls fritt och ingår i den av SFA tillhandahållna programvaruportföljen.

Av de fria verktygen är det DBPTK som har ett grafiskt användargränssnitt och har stöd för flest förekommande databashanterare. Sydarkivera använder DBPTK för kontrollera, analysera och förbereda SIARD-exporter för slutarkivering. Det är möjligt att använda andra produkter i överenskommelse med Sydarkivera, men förbundsmedlem behöver då själv ansvara för att skaffa den kunskap och förutsättningar som krävs för att skapa en SIARD-export som validerar. DBPTK Desktop är en av de programvaror som hör till Förbundsmedlems verktygslåda.

Bok.png

Läs mer på sidan:

Database Preservation Toolkit (DBPTK)

Database Preservation Toolkit (DBPTK) är ett verktyg för att bevara databaser. Programmet är licensierat med öppen källkod och är fritt att använda utan kostnad. Det finns en aktiv och levande förvaltning av programvaran som vidareutvecklades i anslutning till E-ARK. Programvaran finns både med grafiskt användargränssnitt (för Windows, MacOS och Linux) och som kommandobaserade gränssnitt som stödjer schemaläggning av körningar.

Det finns tre olika versioner för olika användningsområden:

  • DBPT Desktop – Skapar SIARD-fil, validerar SIARD-filen och gör det möjligt att söka i innehållet.
  • DBPTK Enterprise – Webbapplikation, fleranvändarversion, som gör det möjligt att navigera och söka i innehållet i arkiverade databaser. I denna version går det att styra vilken information som visas upp för användaren.
  • DBPTK Developer – Kommandobaserat verktyg för utveckling och för att kunna intergera funktioner i automatiserade processer.

DBPTK har stöd för att ansluta till de vanligaste förekommande databashanterarna för att skapa SIARD-exporter. Det finns generiskt stöd för JDBC för andra förekommande lösningar som baseras på SQL.

DBPTK har stöd för att ansluta till de vanligaste förekommande databashanterarna:

  • Microsoft Access
  • MS SQL Server
  • MySQL
  • Oracle
  • PostgreSQL
  • Progress Openedge
  • Sybase

Det finns därutöver generiskt stöd för JDBC för andra förekommande lösningar som baseras på SQL.

DBPTK Desktop

DBPTK Desktop är den programvara som används för att göra databasexpoterna och skapa SIARD-fil. Verktyget används av den som ska göra en databasexport inför överföring till Sydarkivera.

Programvaran har stöd för följande funktioner:

  • Skapa Siard-fil genom att ansluta till vald databashanterare.
  • Validera Siard-fil mot specifikation samt mot flera olika kontrollpunkter.
  • Lägga till kompletterande beskrivande metadata om tabeller och kolumner.
  • Navigera och söka i innehållet.
  • Skapa och spara vyer för att presentera innehåll och underlätta sökning.

Kod och dokumentation

Kod och dokumentation finns öppet publicerad:

Introduktionsutbildning

Inspelat webinarium med presentation av programvaran finns tillgänglig via Youtube: CEF eArchiving webinar series 2020: #6 DBPTK – an eArchiving solution for database archiving.

SIARD Suite

SIARD Suite är en programvara som har utvecklats av det Schweiziska Riksarkivet för att förenkla arkivering av relationsdatabaser. Verktyget används i över 50 olika länder runt om i världen. Lösningen som Schweiziska Riksarkivet använder själva är baserad på filformatet SIARD och programvaran SIARD Suite.

Verktyget har stöd för följande databashanterare:

  • Oracle
  • Microsoft SQL Server
  • MySQL
  • DB/2
  • Microsoft Access

SIARD Suite hanterar uttag från relationsdatabas och lagrar informationen i SIARD-format för långsiktigt digitalt bevarande i leverantörsoberoende format. Vid behov skapas en ny databas för att söka och använda informationen som långtidslagras.

Kod och dokumentation finns publicerad:

Testa Siard-verktygen

Vad behövs för att kunna använda verktygen?

  • En relationsdatabas (valfri databashanterare)
  • Konto med läsrättigheter till databasen
  • Möjlighet att installera vald programvara
  • Tillräckligt med lagringsutrymme för att spara ner en arkivkopia av databasen
  • Någon med kunskaper om verksamhetssystemet och informationen som ska bevaras
  • Någon med grundläggande kunskaper om SQL
  • Ett par arbetsdagar att avsätta för att lära sig programvaran och testa att göra en export

Hur kan du förbereda dig?

Kommunalförbundet Sydarkivera erbjuder en testbädd där där förbundsmedlemmar kan testa olika programvaror i en leverantörsoberoende och kontrollerad miljö. Detta medför att du småskaligt kan prova på innan du bestämmer dig för att använda en programvara. Förbundsmedlem kan även ta del av utbildning, demonstration och gemensamma övningar i samband med Verkstad på webben.

Läs mer om Sydarkiveras externa testbädd

▼ HANDBOKEN ▲

Verksamhetsområden

Arkivleveranser

Arkivredovisning

Arkivtillsyn

Digitalisering - digitalt arbetssätt

Hantera, lagra och förvara

Säkerhetsskyddsklassificerade uppgifter

Informationshantering

Insyn och åtkomst

Organisation och roller

Praktiskt arbete i arkivet

Standarder

Systemförvaltning

Särskilda informationstyper

Hjälpsidor

External testbed / Extern testbädd

VerkSAM Arkivredovisning

Hittar du inte vad du letar efter?
Testa på Alla Sidor

Hämtad från "https://wiki.sydarkivera.se/index.php?title=SIARD_(Software_Independent_Archiving_of_Relational_Databases)&oldid=7241"