Duomenų teikėjams

Labai apibendrintai, kiekviena įstaiga atverianti duomenis turi atlikti šiuos žingsnius:

_images/zingsniai.png

auto žymi dalinai arba pilnai automatizuotą proceso žingsnį.

  1. Paskirti atvirų duomenų koordinatorių ir užsiregistruoti Portale.
  2. Sudaryti duomenų rinkinių sąrašą ir publikuoti jį Portale.
  3. Parengti duomenų struktūros aprašus ir paskelbti juos Portale.
  4. Atverti duomenis savarankiškai, su rangovo arba Vyriausybės įgaliotos institucijos pagalba.

Visas duomenų atvėrimo procesas duomenų teikėjams yra kiek įmanoma supaprastintas ir iš esmės susivedantis į duomenų rinkinių sąrašo ir struktūros aprašų parengimą. Visos kitos techninės duomenų nuskaitymo, transformavimo, atvėrimo ir publikavimo veiklos yra arba automatizuotos arba jas atlieka paskirtos atsakingos įstaigos.

Duomenų teikėjams, atveriant duomenis pagalbą teikia šios įstaigos:

Informacinės visuomenės plėtros komitetas (IVPK)
  • Prižiūri visą šalies duomenų atvėrimo procesą ir konsultuoja duomenų teikėjus visais klausimais susijusiais su duomenų atvėrimu.
  • Prižiūri atvirų duomenų Katalogą, kuriame vienoje vietoje skelbiami visi atverti ar planuojami atverti duomenys ir vieno langelio principu priimami prašymai gauti duomenis iš duomenų naudotojų.
  • Prižiūri atvirų duomenų publikavimo Saugyklą, kurioje duomenys publikuojami laikantis geriausių duomenų teikimo praktikų, suteikiama galimybė duomenis publikuoti aukščiausiu brandos lygiu.
  • Kuria ir palaiko technines priemones leidžiančias duomenis atverti automatizuotu būdu. Šios priemonės yra laisvai ir nemokamai teikiamos visiems duomenų teikėjams atveriantiems duomenis.
  • Vykdo standartų, protokolų ir techninių dokumentacijų priežiūrą, kad duomenų atvėrimo procese dalyvaujančios šalys ir naudojami komponentai galėtų susišnekėti tarpusavyje.
  • Rengia mokymus ir mokomąją medžiagą tiek atvirų duomenų teikėjams apie duomenų atvėrimą, tiek naudotojams apie atvertų duomenų naudojimą.
Vyriausybės įgaliota institucija (Statistikos departamentas)
  • Teikia duomenų atvėrimo paslaugą, naudojant automatizuotas duomenų atvėrimo priemones.

Paklausa grįstas duomenų atvėrimas

_images/paklausa.png

Paskelbus rinkinių sąrašus, kiti žingsniai daromi esant poreikiui atverti duomenis arba savo nuožiūra įvertinus duomenų paklausos potencialą.

Paklausa grįstas duomenų atvėrimas reiškia, kad duomenų tiekėjai iš pradžių parengia atvertinų duomenų rinkinių sąrašus (1), kad juos galėtų rasti duomenų naudotojai (2). Realus duomenų atvėrimo procesas pradedamas tuomet, kai duomenų naudotojai, rade jiems reikalingus duomenų rinkinius pateikia prašymą (3) juos gauti. Teikėjai gavę prašymus atverti duomenis, pradeda duomenų atvėrimo procesą parengdami duomenų struktūros aprašus (4), kurių pagrindu vykdomas duomenų atvėrimas (5). Galiausiai, atvėrus duomenis, naudotojai gauna tai, ko prašė (6).

Duomenų teikėjai, savo nuožiūra, įvertinę duomenų paklausos potencialą gali pradėti duomenų atvėrimą ir negavę prašymo.

Koordinatoriaus registracija

Kiekviena duomenis atverianti įstaiga pirmiausia turi paskirti vieną žmogų atsakingą už duomenų atvėrimo koordinavimą. Šis žmogus bus atsakingas už įstaigos duomenų atvėrimo organizavimą, atsakys į duomenų naudotojų paklausimus pateiktus per atvirų duomenų portalą, išsiaiškins kokius duomenis įstaiga valdo ir kas atsakingas už jų priežiūrą.

Koordinatorius darbui su atvirais duomenimis gali pasitelkti tvarkytojus, kurie būtų atsakingi už atskirų duomenų rinkinių tvarkymą.

Atvirų duomenų koordinatorius neprivalo turėti techninių duomenų valdymo kompetencijų, tačiau tokių kompetencijų turėjimas būtų privalumas.

Koordinatoriaus paskyrimas įteisinamas į atvirų duomenų portalą pateikianti įstaigos vadovo pasirašytą raštą.

Turint įstaigos vadovo pasirašytą raštą, paskirtasis koordinatorius registruojasi atvirų duomenų portale.

_images/koordinatoriaus-registracija.png

Koordinatorius registruoja valstybės įstaigos ir jų valdomos įmonės. Savo koordinatorius gali registruoti ir privataus sektoriaus atstovai, jei publikuoja atvirus duomenis ir nori, kad jie būtų randami Lietuvos ir Europos atvirų duomenų portaluose.

Metaduomenys

Metaduomenų rengimas susideda iš dviejų dalių:

Duomenų struktūros aprašų parengimas yra pati sudėtingiausia dalis, todėl rekomenduojama pirmiausiai susidaryti rinkinių sąrašus, o po to esant realiam duomenų poreikiui, pereiti prie duomenų struktūros aprašų.

Rinkinių sąrašas

Įstaigos paskirtas koordinatorius apžvelgia įstaigos veiklos nuostatus, valdomas informacines sistema, registrus, jau atvertus duomenis ir sudaro įstaigos valdomų duomenų rinkinių sąrašą.

Šiame etape svarbiausiai gerai suprasti kas yra duomenų rinkinys ir distribucija.

_images/rinkinys.png

Duomenų rinkinys yra grupė duomenų reikalingų tam tikrai organizacijos veiklai vykdyti. Duomenų rinkinys apibrėžia duomenų autorystę ir veiklos pobūdį kurioje naudojami duomenys.

Distribucija yra fizinė duomenų rinkinio išraiška, pavyzdžiui duomenų bazė, skaičiuoklės lentelė, katalogas, kuriame laikomi dokumentai ir pan.

Kadangi organizacijų veikloms reikalingi duomenys dažniausiai saugomi tam tikroje vietoje, tai sudarant duomenų rinkinių sąrašą paprasčiausia apžvelgti resursus naudojamus duomenų saugojimui ir pagal tai įvardinti duomenų rinkinius.

Atvirų duomenų portale, naujas duomenų rinkinys registruojamas užpildžius šią formą:

_images/rinkinio-forma.png

Rekomenduotina rinkinių sąrašus sudaryti tiesiogiai atvirų duomenų portale, tačiau yra galimybė parengti rinkinių sąrašo lentelę ir ją vėliau importuoti į portalą.

Sudarant rinkinių sąrašus, reikėtų vadovautis principu, kad visi duomenys, kuriems nėra taikomi apribojimai yra atviri.

Inventorizacijos metu, pateikiami dalis tik metaduomenų, kurie yra reikalingi, kad duomenų rinkinius būtų galima surasti atvirų duomenų portale. Kita metaduomenų dalis susijusi su atvertų duomenų periodiškumu, licencija ir naudojimo sąlygomis pateikiama po to, kai yra priimtas sprendimas atverti duomenis.

Duomenų struktūros aprašas

Duomenų struktūros aprašas rengiamas tada, kai atsiranda prašymas atverti duomenis arba savo nuožiūra įvertinus duomenų paklausos potencialą.

_images/aprasas.png

Duomenų struktūros apraše pateikiama duomenų struktūros išklotinė išvardinant visus duomenų laukus, kurie bus atverti.

Duomenų struktūros apraše pateikiama pilna duomenų laukų išklotinė.

Duomenų laukai yra skirstomi į modelius. Modelio ir savybės tiksli prasmė priklauso nuo aprašomo duomenų šaltinio:

Šaltinis Modelis Savybė
SQL Lentelė Stulpelis
CSV Lentelė Stulpelis
XLSX Lentelė Stulpelis
JSON Masyvas Atributas
XML Masyvas Atributas
RDF Klasė Savybė

Duomenų struktūros apraše galima aprašyti įvairių duomenų šaltinių turinį vieningu sutartiniu būdu.

Duomenų struktūros aprašo rengimas susideda iš tokių žingsnių:

  1. Duomenų šaltinio administratorius pateikia šaltinio duomenų struktūros išklotinę (ŠDSA).
  2. Duomenų srities ekspertai su duomenų šaltinio administratoriaus pagalba pateikia trūkstamus metaduomenis duomenų struktūros aprašo lentelėje.

Jei pirminio duomenų struktūros aprašo varianto sugeneruoti iš duomenų šaltinio neįmanoma, pavyzdžiui, jei duomenys yra labai žemo brandos lygio, tuomet duomenų struktūros aprašas pildomas nuo nulio naudojant aprašo lentelės šabloną.

Duomenų struktūros aprašas yra lentelė susidedanti iš 15 stulpelių, kuriuose aprašoma duomenų struktūra. Tarkime, turint tokius duomenis:

ŠALIS
ID KODAS ŽEMYNAS ŠALIS
1 lt eu Lietuva
2 lv eu Latvija
3 ee eu Estija

Duomenų struktūra aukšiau pateiktiems duomenims atrodys taip:

Duomenų struktūros aprašas
id d r b m property type ref source prepare level access uri title description
  datasets/example/countries                  
    salys sql   sqlite://            
        Country   id ŠALIS continent="eu"          
          id integer   ID   4 private      
          code string   KODAS   2 open      
          continent string   ŽEMYNAS   2 private      
          name string   ŠALIS   2 open      

Pastaba

Siekiant padidinti duomenų struktūros aprašo lentelės skaitomumą, kai kurie stulpelių pavadinimai yra sutrumpinti:

d - dataset - duomenų rinkinio kodinis pavadinimas.
r - resource - duomenų šaltinio kodinis pavadinimas.
b - base - modelio bazės kodinis pavadinimas.
m - model - modelio kodinis pavadinimas.

Duomenų struktūros aprašo lentelė susideda iš 5 dimensijų (dataset, resource, base, model, property) ir 9 metaduomenų stulpelių, kurių prasmė priklauso nuo vienos iš 5 dimensijų.

_images/dsa.png

Plačiau apie tai, ką reiškia kiekvienas stulpelis galite skaityti skyriuje Lentelės struktūra.

ŠDSA lentelėje reikia pateikti tokius duomenis:

_images/dsa-pildymas.png
  1. Duomenų rinkiniui suteikti kodinį pavadinimą.
  2. Pateikti duomenų šaltinio pavadinimą, tipą ir adresą.
  3. Užpildyti uri stulpelį, nurodant kuriose vietose yra asmens duomenys.
  4. Užpildyti property.access, nurodant duomenų prieigos lygį.
  5. Užpildyti model.prepare, jei duomenys atveriami ne pilna apimtimi ir reikia juos filtruoti.
  6. property.level stulpelyje nurodyti esamą duomenų laukų brandos lygį.
  7. Užpildyti title ir description stulpelius pateikiant model ir property pavadinimus ir aprašymus.

Galiausiai, toks duomenų struktūros aprašas gali būti naudojamas automatizuotam duomenų atvėrimui ir publikavimui arba naudojamas kaip sutarties priedas, jei įstaiga duomenis atveria su rangovo ar Vyriausybės paskirtos įstaigos pagalba.

Jei įstaiga jau yra atvėrusi duomenis ir juos publikuoja savo infrastruktūroje, tuomet į atvirų duomenų portalą turi būti įkeliamas, ne ADSA, o ŠDSA, kuriame aprašyti įstaigos infrastruktūroje publikuojami duomenys.

Duomenų atvėrimas

Kiekviena įstaiga renkasi vieną iš šių duomenų atvėrimo variantų:

  • Atveria savarankiškai, jei turi vidinius IT resursus.
  • Atveria su rangovo pagalba, jei neturi vidinių IT resursų, bet turi paslaugų teikimo sutartis su išoriniu rangovu.
  • Atveria su Vyriausybės įgaliotos institucijos (Statistikos departamento) pagalba, jei neturi nei vidinių IT resursų, nei išorinio rangovo.

Nepriklausomai nuo pasirinkto varianto, duomenų struktūros variantas naudojamas, kaip techninė specifikacija ar sutarties priedas, kuriame tiksliai įvardinta kurie duomenys yra atveriami.

Standartizuota duomenų struktūros aprašo forma, leidžia automatizuoti techninę duomenų atvėrimo dalį.

Savarankiškas atvėrimas

Atveriant duomenis savarankiškai įstaiga turi tokius variantus:

Nepriklausomai nuo pasirinkto varianto, įstaiga turi pilnai parengti metaduomenis.

Atvėrimas per rangovą

Atvėrimas vyksta taip pat, kaip ir savarankiškai, tik naudojantis išorinio rangovo paslaugomis.

Su rangovu sudarant sutarti, kaip sutarties priedas turi būti pateikiamas duomenų struktūros aprašas, kuriame tiksliai nurodyta kokius duomenis reikia atverti.

Atvėrimas per Statistikos departamentą

Visoms įstaigos, kurios neturi vidinių resursų ar nėra pajėgios pačios atverti duomenų, Vyriausybė yra paskyrusi atsakingą instituciją, Statistikos departamentą.

Jei duomenys atveriami per Statistikos departamentą, tuomet įstaiga su Statistikos departamentu sudaro duomenų atvėrimo paslaugos teikimo sutartį, prie kurios, kaip priedas pateikiamas atveriamų duomenų struktūros aprašas.

Statistikos departamentas numatytu periodiškumu pasidarys visų duomenų kopiją (prie kurių yra suteikta prieiga) į Valstybės Duomenų Valdysenos Informacinę Sistemą (VDVIS).

Vadovaujantis duomenų struktūros apraše pateikta informacija ir naudojantis VDVIS funkcionalumu, atliks nuasmeninimą, kitas reikalingas transformacijas ir publikuos duomenis per atvirų duomenų saugyklą.