JHS 180 Paikkatiedon sisältöpalvelut

Liite 4 INSPIRE-palvelujen laadun testaus

  • Versio: 28.2.2013
  • Julkaistu: 28.2.2013
  • Voimassaoloaika: toistaiseksi

1 Yleiset vaatimukset

Tässä liitteessä kuvataan ja vakioidaan INSPIRE-lataus- ja -katselupalveluiden testausmenettely. Tämä on tarpeen, koska palvelun laadun mittaustulos riippuu palvelun testaamiseksi käytettävästä menetelmästä.

Palvelutason mittaamiseen on kaksi vaihtoehtoa

  • Palvelutaso mitataan palvelun Internetiin avoinna olevalta puolelta
  • Palvelutaso mitataan yleiseen INSPIRE-infrastruktuuriin kuuluvasta, palvelun ulkopuolisesta tietoverkon solmupisteestä käsin.

Vaihtoehto b on otettu mukaan käytännöllisistä syistä. Jos testaamisessa käytetään palvelun ulkopuolista tietoverkon solmua, niin verkon tiedonsiirron viiveet on otettava huomioon. Kuva 1 antaa tietoa tämän menetelmän yksityiskohdista latauspalvelun osalta. Tämän vaihtoehdon ohjeistus tullaan tarkistamaan, kun menetelmän käytöstä on kertynyt kokemuksia.

Testausmenetelmä nojautuu seuraaviin yksinkertaistuksiin:

  • Pienen tietomäärän siirtämisessä tietoverkon kautta verkon aiheuttaman viiveen oletetaan olevan vakio, jota merkitään x:llä
  • Jokaisessa tiedonsiirrossa (pyyntö ja vastaus) viiveen oletetaan olevan x/2
  • Vaihtoehdossa a viiveen x arvoksi asetetaan 0, eli tiedonsiirron oletetaan olevan viiveetön.

Jos käytetään vaihtoehtoa b, niin testauksessa on vertailtava ulkopuolisesta solmupisteestä käsin mitattuja vasteaikoja ja suoraan palvelusta mitattuja vasteaikoja keskenään, jotta viiveelle x voidaan määrittää totuudenmukainen arvo.

Verkon välityskyvyn oletetaan olevan riittävän hyvä niin, ettei se rajoita palvelusta lähtevän tietovirran nopeutta.

Picture 0

Kuva 1. Verkkoviive testattaessa palvelua ulkopuolisesta verkon solmusta käsin

2 Latauspalvelun laatu

2.1 Suorituskyky

2.1.1 Toimeenpanosäännöissä määrätyt vaatimukset

Normaalitilanteessa “Get Download Service Metadata” -operaation vasteaika mitattuna vastauslähetyksen alkamishetkeen ei saa olla yli 10 sekuntia.

”Get Spatial Data Set” ja ”Get Spatial Object ”-operaatioissa vasteaika saa normaalitilanteessa olla korkeintaan 30 sekuntia, jos kyselyehtona käytetään pelkästään aluetta rajaavaa suorakaidetta. Edelleen normaalitilanteessa palvelun on tästä eteenpäin ylläpidettävä lähetysnopeutta, joka on joko yli 0,5 megatavua sekunnissa tai yli 500 paikkatietokohdetta sekunnissa.

”Describe Spatial Data Set” ja ”Describe Spatial Object Type” -operaatioilla vasteaika normaalitilanteessa saa olla korkeintaan 10 sekuntia ja tästä eteenpäin palvelun on ylläpidettävä lähetysnopeutta, joka on joko yli 0,5 megatavua sekunnissa tai yli 500 paikkatietokohteen kuvausta sekunnissa.

Normaalitilanne tarkoittaa huippukuormituksen ulkopuolista aikaa eli 90 % kokonaisajasta.

2.1.2 Vakioitu testausmenetelmä

Suorituskyky on mitattava yhtenäisesti käyttämällä testikyselyitä.

Testikyselyitä on lähetettävä vähintään 10 kappaletta tunnissa jatkuvasti koko palvelun elinkaaren ajan.

Kyselyiden määrää voidaan rajoittaa ottamalla huomioon pitkään kestävien operaatioiden suoritusaika. Tässä tapauksessa uusi kysely on lähetettävä viimeistään 6 minuuttia edellisen kyselyn suorituksen loppumisen jälkeen.

Esimerkki. Jos edellinen ”Get Spatial Data Set” -operaatio alkoi kello 8:00 ja sai 1 gigatavun suuruisen vastauksen valmiiksi kello 8:30, niin seuraava pyyntö on lähetettävä viimeistään kello 8:36.

Suorituskyky on mitattava seuraavilla operaatioilla: ”Get Service Metadata”, “Get Spatial Data Set”, “Get Spatial Object”, “Describe Spatial Data Set” ja “Describe Spatial Object Type”.

Suositeltava testipyyntöpaketin koostumus on seuraava: 10 % “Get Download Service Metadata” -pyyntöjä, 10 % “Describe Spatial Data Set” tai “Describe Spatial Object Type” -pyyntöjä ja yhteensä 80 % “Get Spatial Data Set” ja “Get Spatial Object” -pyyntöjä. Vähintään 2 % pyynnöistä on oltava ”Get Spatial Data Set” -pyyntöjä. Tämän koostumuksen katsotaan edustavan normaalitilannetta.

”Get Spatial Object” -operaatiossa testikyselyn täytyy sisältää BBOX-parametri. Jos latauspalvelussa on tarjolla useita aineistoja, ”Get Spatial Object” -kyselyn tulee kohdistua vain yhteen aineistoon. Jos latauspalvelussa on tarjolla useita (ennalta määrättyjä) aineistoja, ”Get Spatial Data Set” -operaatio saa kohdistua vain yhteen aineistoon. Vertailukyselyissä käytettävän aineiston oletetaan edustavan koko latauspalvelua. Sekä ”Get Spatial Data Set” että ”Get Spatial Object” -operaatioissa on käytettävä oletuskieltä ja oletus­koordinaattijärjestelmää. ”Get Spatial Object” -operaatioiden suositellaan olevan sellaisia, että ne palauttavat vähintään 1 Mt tietoja. Jos kyselyissä käytetään satunnaista BBOX-parametria, niin suositellaan, että viimeisten sadan vastauksen keskimääräinen koko on vähintään 1 Mt.

Kuvan 1 mukaan tehokkuusvaatimukset voidaan esittää seuraavilla yhtälöillä:

Ensimmäinen tavu

t first x/2 + d + x/2 = x + d

jollointfirst – x d

Viimeinen tavu

t last x/2 + d + max (y/0.5, z/500) + x/2 = x + d + max(y/0.5 , z/500)

jollointlast – x – d ≤ max( y/0.5 , z/500)

jay / (tlast – x – d) ≥ 0.5 [Mt/s] tai z / (tlast – x – d) ≥ 500 [(kohdetta|kuvausta/s]

jossa

t first mitattu aika kyselyn lähettämisestä vastauksen ensimmäisen tavun vastaanottamiseen sekunteina

t last mitattu aika kyselyn lähettämisestä vastauksen viimeisen tavun vastaanottamiseen sekunteina

d aika, joka kuluu palvelimella ennen kuin se aloittaa vastauksen lähettämisen ja jonka arvoksi annetaan joko 10 sekuntia (operaatiot “Get Download Service Metadata”, “Describe Spatial Data Set” ja “Describe Spatial Object Type”) tai 30 sekuntia (operaatiot “Get Spatial Data Set” ja ”Get Spatial Object”).-

x arvioitu verkkoviiveen suuruus (x=0 sekuntia, jos mittaus tehdään palvelimelta)

y tietojen määrä megatavuina

z tietojen määrä kohteiden tai kohteiden kuvausten lukumääränä

Mittaustulosten arviointi

Vasteaika pyynnön lähettämisestä vastauksen alkamiseen on

tfirst – xja se saa olla korkeintaan d (10 sekuntia tai 30 sekuntia riippuen operaatiosta).

Jatkuva tietovirran lähetysnopeus on

y / (tlast – x – d)ja sen on oltava suurempi kuin 0.5 Mt/s tai

z / (tlast – x – d)ja sen on oltava enemmän kuin 500 paikkatietokohdetta tai kohteen

kuvausta sekunnissa

normaalitapauksessa, joka voidaan arvioida valitsemalla 90 % suorituskykyisimpiä testikyselyitä.

Esimerkki ”Get Spatial Data Set” -operaatiosta

Jos verkkoviive on 5 sekuntia, niin pyynnön lähettämisen ja vastauksen ensimmäisen tavun vastaanottamisen välinen aika sovelluksen puolelta mitattuna saa olla korkeitaan 35 sekuntia. Pisin hyväksyttävä aika viimeisen tavun vastaanottohetkeen riippuu tietomäärästä ja se saadaan jommastakummasta seuraavasta taulukosta.

Tiedon määrä

Latauksen enimmäisaika

Tiedon määrä

Latauksen kesto enintään

100 KB

35 s.

100 kohdetta

35 s.

1 MB

37 s.

1 000 kohdetta

37 s.

10 MB

55 s.

10 000 kohdetta

55 s.

100 MB

4 min.

100 000 kohdetta

4 min.

1 GB

34 min.

1 000 000 kohdetta

34 min.

2.2 Kapasiteetti

2.2.1 Toimeenpanosäännöissä määrätyt vaatimukset

Palvelun on pystyttävä vastaamaan vähintään 10 pyyntöön sekunnissa siten, että suorituskyky­vaatimukset täyttyvät. Rinnakkain käsiteltävien pyyntöjen määrä saadaan rajoittaa 50 pyyntöön.

2.2.2 Vakioitu testausmenetelmä

Kapasiteetti on mitattava yhtenäisesti käyttämällä testipyyntöpaketteja. Palveluun on kohdistettava vähintään 10 pyyntöä sekunnissa ja testissä on käytettävä erilaisia pyyntöjä siten, että pyyntöjen jakauma vastaa tyypillistä käyttötilannetta. Pyyntöjä on lähetettävä tällä vauhdilla koko 1 minuutin pituisen mittausjakson ajan. Jotta tulokset olisivat vertailukelpoisia, on kapasiteetinmittauksessa pyyntöjen määrää rajoitettava niin, ettei millään hetkellä ole käsiteltävänä yli 50 pyyntöä. Mittaus on tehtävä vähintään kerran ennen palvelun avaamista tuotantoympäristöön ja sen jälkeen säännöllisin väliajoin niin, että kapasiteettivaatimusten täyttyminen voidaan taata.

Kapasiteettimittausten tulos tuotantoympäristössä voi olla epävarma, koska normaalin käytön aiheuttama kuormitus vaihtelee. Siitä syystä kapasiteettimittaukset suositellaan tehtäväksi vain huoltokatkojen aikana. Kapasiteettimittaus suositellaan tehtäväksi kuukausittain.

Suositeltava testipyyntöpaketin koostumus: 10 % “Get Download Service Metadata” -pyyntöjä, 10 % “Describe Spatial Data Set” tai “Describe Spatial Object Type” -pyyntöjä ja 80 % “Get Spatial Data Set” tai Get “Spatial Object” -pyyntöjä. Vähintään 2 % pyynnöistä on oltava ”Get Spatial Data Set” -pyyntöjä. Tämän koostumuksen oletetaan vastaavan normaalitilannetta.

Kaikkien palvelun tarjoamien operaatioiden mitatun kapasiteetin on oltava toimeenpanosäännöissä mainittujen vaatimusten mukainen sekä tehokkuuden että kapasiteetin suhteen.

2.3 Saatavuus

2.3.1 Toimeenpanosäännöissä määrätyt vaatimukset

Verkkopalvelun on oltava saatavilla 99 % ajasta.

2.3.2 Vakioitu testausmenetelmä

Saatavuus on mitattava yhtenäisesti käyttämällä testipyyntöjä. Palvelusta on tehtävä vähintään 10 testipyyntöä tunnissa jatkuvasti koko palvelun elinkaaren ajan.

Pyyntöjen lukumäärää voidaan rajoittaa ottamalla huomioon pitkään kestävien operaatioiden suoritusaika. Tässä tapauksessa uusi kysely on lähetettävä viimeistään 6 minuuttia edellisen kyselyn suorituksen loppumisen jälkeen. Esimerkiksi, jos edellinen 1 Gt tietoa palauttava ”Get Spatial Data Set” -pyyntö lähetettiin kello 8:00 ja vastaus valmistui kello 8:30, niin seuraava pyyntö on lähetettävä viimeistään kello 8:36.

Palvelun saatavuusmittaus perustuu vuoden pituiseen aikajaksoon, mikä tarkoittaa, että suunnittelemattomia palvelukatkoja saa olla korkeintaan 3,63 vuorokautta vuodessa. Suunniteltuja palvelukatkoja, jotka johtuvat esimerkiksi järjestelmien huollosta, ei sisällytetä mittaustulokseen. Palvelukatko katsotaan suunnitelluksi, jos siitä on tiedotettu hyvissä ajoin eli vähintään viikko ennen katkoa esimerkiksi lähettämällä viesti palvelun rekisteröidyille käyttäjille.

Saatavuus lasketaan seuraavalla tavalla:

100 % ↔ 365 x 24 - (suunnitellut palvelukatkot)

99 % ↔ [365 x 24 - (suunnitellut palvelukatkot)] * 0.99

jne.

Suunniteltujen palvelukatkojen määräksi suositellaan korkeintaan 10 tuntia kuukaudessa eli korkeintaan 120 tuntia vuodessa.

3 Katselupalvelun laatu

3.1 Suorituskyky

3.1.1 Toimeenpanosäännöissä määrätyt vaatimukset

Käytettäessä 470 kilotavun suuruista kuvaa (esimerkiksi 800x600 pikselin suuruinen 8-bittinen kuva) vasteaika GetMap-kyselyn lähettämisestä vastauksen alkamiseen saa olla korkeintaan 5 sekuntia normaalioloissa.

Normaalitilanne tarkoittaa huippukuormituksen ulkopuolista aikaa eli 90 % kokonaisajasta.

3.1.2 Vakioitu testausmenetelmä

Suorituskyky on mitattava yhtenäisesti käyttämällä testikyselyitä. Testikyselyitä on lähetettävä vähintään 10 kappaletta tunnissa jatkuvasti koko palvelun elinkaaren ajan.

Testikyselyiden on pyydettävä 800x600 pikselin suuruisia ja 8-bittisiä kuvia, joiden tiedostomuoto on määrätty säädöksessä Technical Guidance for the implementation of INSPIRE View Services Version 3. Vertailukysely saa pyytää vain yhtä kuvatasoa kerrallaan. Kyselyssä suositellaan käytettäväksi vaihtuvia BBOX-parametreja.

Vastauksen tulee olla oikea ottaen huomioon palvelussa käytettävä lähtöaineisto ja palvelun ilmoittamat palvelun ominaisuudet pyynnössä käytetylle alueelle (mittakaava-alue). Tyhjä kuva ei ole kelvollinen vastaus, jos pyynnön alueella on tietoja ja mittakaavaväli on oikea. Vasteaika 5 sekuntia tarkoittaa aikaa ensimmäisen tavun lähettämiseen internettiin. Vähintään 90 % vasteajoista täytyy olla alle vaaditun 5 sekunnin eli 90 % parhaista tuloksista kuvaa palvelun normaalitilannetta.

Palvelun oletetaan käsittelevän kyselyn kokonaisuudessaan ennen kuin se lähettää ensimmäisen tavun. Palvelimen puolella verkon siirtoaika on merkityksetön verrattuna pyynnön prosessointiaikaan, mistä syystä ajan mittaamisen vastauksen viimeisen tavun lähetysaikaan katsotaan merkitsevän samaa asiaa.

3.2 Kapasiteetti

3.2.1 Toimeenpanosäännöissä määrätyt vaatimukset

Palvelun on pystyttävä vastaamaan vähintään 20 pyyntöön sekunnissa siten, että suorituskykyvaatimukset täyttyvät.

3.2.2 Vakioitu testausmenetelmä

Kapasiteetti on mitattava yhtenäisesti käyttämällä testipyyntöpaketteja. Palveluun on kohdistettava vähintään 20 pyyntöä sekunnissa koko 1 minuutin pituisen mittausjakson ajan. Mittaus on tehtävä vähintään kerran ennen palvelun avaamista tuotantoympäristöön ja sen jälkeen säännöllisin väliajoin niin, että kapasiteettivaatimusten täyttyminen voidaan taata.

Kapasiteettimittausten tulos tuotantoympäristössä voi olla epävarma koska normaalin käytön aiheuttama kuormitus vaihtelee. Siitä syystä kapasiteettimittaukset suositellaan tehtäväksi vain huoltokatkojen aikana.

Kapasiteettimittaus suositellaan tehtäväksi kuukausittain.

Testikyselypaketin rakenne: GetMap-kyselyillä on pyydettävä 800x600 pikselin suuruisia 8-bittisiä kuvia käyttäen säädöksissä määrättyjä tiedostomuotoja. Testipaketissa tulee olla 10 % Get View Service Metadata -kyselyitä ja 90 % Get Map -kyselyitä.

Palvelun tulee täyttää mittausten perusteella säädöksissä asetetut vaatimukset sekä suorituskyvyn että kapasiteetin suhteen kaikilla palvelun tarjoamilla operaatioilla.

3.3 Saatavuus

3.3.1 Toimeenpanosäännöissä määrätyt vaatimukset

Verkkopalvelun on oltava saatavilla 99 % ajasta.

3.3.2 Vakioitu testausmenetelmä

Saatavuus on mitattava yhtenäisesti käyttämällä testipyyntöjä. Palvelusta on tehtävä vähintään 10 testipyyntöä tunnissa jatkuvasti koko palvelun elinkaaren ajan. Samoja testipyyntöjä, joita käytetään tehokkuusmittauksiin, voidaan käyttää myös palvelun saatavuuden mittaamiseen.

Palvelun saatavuusmittaus perustuu vuoden pituiseen aikajaksoon, mikä merkitsee sitä, että suunnittelemattomia palvelukatkoja saa olla korkeintaan 3,63 vuorokautta vuodessa. Suunniteltuja palvelukatkoja, jotka johtuvat esimerkiksi järjestelmien huollosta, ei sisällytetä mittaustulokseen. Palvelukatko katsotaan suunnitelluksi, jos siitä on tiedotettu hyvissä ajoin eli vähintään viikko ennen katkoa esimerkiksi lähettämällä viesti palvelun rekisteröidyille käyttäjille.

Saatavuus lasketaan seuraavalla tavalla:

100% ↔ 365 x 24 - (suunnitellut palvelukatkot)

99% ↔ [365 x 24 - (suunnitellut palvelukatkot)] * 0.99

jne.

Suunniteltujen palvelukatkojen kestoksi suositellaan korkeintaan 10 tuntia kuukaudessa eli korkeintaan 120 tuntia vuodessa.

Seuraavassa taulukossa esitetään toimeenpanosääntöjen mukaiset pisimmät hyväksyttävät katkoajat palvelussa.

Saatavuus

Katkoja yht. / vko

Katkoja yht. / kk

Katkoja yht. / v

98.0 %

3.4 tuntia

14.55 tuntia

7.27 päivää

98.6 %

2.4 tuntia

10.19 tuntia

5.09 päivää

99.0 %

1.7 tuntia

7.27 tuntia

3.63 päivää

99.5 %

0.8 tuntia

3.64 tuntia

1.82 päivää

99.9 %

10 minuuttia

0.73 tuntia

8.73 tuntia

99.99 %

1 minuutti

4 minuuttia

52 minuuttia

99.999 %

6 sekuntia

26 sekuntia

5 minuuttia