JHS 182 ICT-palvelujen kehittäminen: Laadunvarmistus

Liite 3 Mittareita

  • Versio: 1.0
  • Julkaistu: 15.12.2011
  • Voimassaoloaika: toistaiseksi

1 Mittaristoista

Tämä liite listaa muutamia esimerkkejä laatumittareista.

2 Esimerkkejä laatumittareista

Alla on esimerkkejä käytössä olevista lopputuotteen mittareista ryhmiteltynä ISO/IEC 9126 -standardin mukaisiin pääluokkiin (standardista enemmän kappaleessa 6 ). Ryhmät 1 – 6 ovat ohjelmistotuotteen luokkia ja ryhmät 7 – 10 käytönaikaisia (= mitattavissa vain tuotantokäytössä) luokkia.

Laatukriteeri

Laatumittari

1: Toiminnallisuus (functionality)

Manuaalityön vähentäminen.

Manuaali- /automatisointikohteet -listaus ja seuranta, mittarina ”kyllä / ei”.

Päällekkäisen työn vähentäminen.

Päällekkäisen työn listaukset ja seuranta, mittarina ”kyllä / ei”.

Saman tiedon tallennuskertojen vähentäminen.

Tarkistuslistat ja seuranta, mittarina ”kyllä / ei”.

Tuote tai palvelu on tietoturvallinen.

Löydettyjen tietoturvahaavoittuvuuksien vakavuus ja määrä.

Katselmointihavainnot.

Auditointihavainnot.

Kattavuus (palvelulle asetetut vaatimukset täytetään).

Tarkistuslistat, mittarina ”kyllä / ei”.

Yhteentoimivuus.

Arkkitehtuurinmukaisuus, katselmointihavainnot.

2: Luotettavuus (reliability)

Luotettavuus (virheettömyys, oikeellisuus).

Oikeiden / virheellisten tapahtumien määrä.

Virheensietokyky.

Vikatilanteista toipumisen suunnitelma olemassa ja toimivuus testattu, mittarina ”kyllä / ei” (eri komponentit, kuten esim. tietoliikennekomponentit, levyt, yksittäiset palvelimet jne.).

3: Käytettävyys (usability)

Selkeys, helppokäyttöisyys.

Kyselyt, testaus, käyttövirheiden määrä testauksessa.

Kohderyhmien erot huomioitu (esim. kieli).

”Kyllä / ei”.

4: Tehokkuus (efficiency)

Kapasiteetti.

Tietoliikennekapasiteetti (päästä päähän), tietokantakapasiteetti, tallennuskapasiteetti, prosessorikapasiteetti, varmistuskapasiteetti, jne.

5: Ylläpidettävyys (maintainability)

Ylläpidettävyys.

Katselmointihavainnot.

Auditointihavainnot.

6: Siirrettävyys (portability)

Uudelleenkäytettävyys ja yleistettävyys.

Katselmointihavainnot.

Laajennettavuus, eli tukeeko rakenne uusien vaatimuksien toteuttamista.

Katselmointihavainnot.

7: Tehokkuus (effectiveness)

Vaikuttavuusvaatimus.

Panos / tuotos.

8: Tuottavuus (productivity)

Läpimenoaika.

Käsittelyaika.

Tuottavuusvaatimus.

Panos / tuotos.

Työn tuloksellisuuden parantaminen.

Resurssit / tuotos.

Saatavuus (oikea-aikaisuus, nopeus).

Käsittelyaika.

Palveluikkuna (=palvelun käytettävissä oloaika) vastaa asiakkaan tarpeita.

Käytettävissä oloaika, käyttökatkosten määrä ja kesto.

Palveluaikatavoitteen täyttyminen.

Käsittelyaika.

9: Turvallisuus (safety)

Taloudelliset menetykset.

Saamatta jääneet tuotot, maksetut korvaukset.

10: Tyytyväisyys (satisfaction)

Asiakaslähtöisyys.

Asiakastyytyväisyyskyselyt ja -mittaukset.

Työn mielekkyyden paraneminen.

Työtyytyväisyystutkimukset.

Helppokäyttöisyys.

Käyttäjäkyselyt.

3 Projektin mittareita

Alla on muutamia esimerkkejä kehitysprojektin mittareista. Näitä on hyvä seurata projektin aikana säännöllisesti, jotta mahdollisiin poikkeamiin voidaan reagoida.

  • Resurssit
  • Aika, pv.
  • Henkilöstö, htp.
  • Raha.
  • Tuotokset / dokumentit
  • Hyväksytyt toiminnalliset vaatimukset, kpl (vaatimusdokumentti, katselmointimuistio).
  • Suunnitellut testitapaukset, kpl (testaussuunnitelma, katselmointimuistio).
  • Suoritetut testitapaukset, läpi menneet testitapaukset, kpl (testiraportit, katselmointimuistio).
  • Suunnitteludokumentit, kpl.
  • Katselmoidut dokumentit, kpl.
  • Katselmoinnit (katselmointimuistiot), kpl.
  • Suunnitellut vs. toteuma

4 ITIL

ITIL-malli keskittyy palvelutuotantoon. Sen mukaan mittareita voi muodostaa esim. seuraavasti:

  • Talous
  • Palvelun liikevaihto.
  • Budjetti / todellinen kustannus.
  • Asiakas
  • Palvelun saatavuus asiakkaalle (päästä päähän -mittaus).
  • Palvelun laatu (reklamaatiot, käyttäjätyytyväisyys).
  • Palvelun suorituskyky.
  • Palvelukatalogin kattavuus vs. liiketoiminnan tarpeet.
  • Sisäinen
  • Palvelun toimitusajat - palvelutasojen saavuttaminen.
  • Prosessikyvykkyys.
  • Henkilöstön käyttöaste.
  • Oppiminen ja kasvu
  • IT-henkilöstön ja käyttäjien koulutustoteuma.
  • Uusien teknologioiden havaitseminen ja hyödyntäminen.
  • Ratkaisutietokantojen kehittäminen, hyödyntäminen.

5 JHS 174 ICT-palvelujen palvelutasoluokitus

JHS 174 ICT-palvelujen palvelutasoluokitus määrittää julkisessa hallinnossa käytettävien keskeisten jatkuvien ICT-palvelujen (palvelinten käyttöpalvelut, käyttäjätukipalvelut, tietoliikenteen peruspalvelut ja työasemapalvelut) palvelutasoluokat ja laatukriteerit. Taulukko 1 listaa JHS 174:n mukaiset tyypillisimmät palvelun laatumääreet. JHS 174 lähestyy palvelun laatua ostajan näkökulmasta, mutta samat laatumääreet sopivat hyvin tarjottavan palvelun laadulle.

Taulukko 1 Tyypillisiä palvelun laatumääreitä (Lähde: JHS 174)

Asiakastyytyväisyys

Mittaa asiakkaan tietohallinnon (tilaajan) avainhenkilöiden tyytyväisyyttä palveluun ja palveluyhteistyöhön.

Kapasiteetti

Hyvin laaja käsite. Voi tarkoittaa tietoliikennekapasiteettia (läpäisykyky), tallennuskapasiteettia, tietokantakapasiteettia, varmistuskapasiteettia, prosessorikapasiteettia, laitetilan laitepaikkakapasiteettia, laitetilan jäähdytyskapasiteettia tms. Jopa asiantuntijaresurssien minimimäärää voidaan pitää kapasiteettia koskevana laatumääreenä.

Katkojen maksimilukumäärä

Suurin määritellyllä tarkasteluvälillä palveluaikana tapahtuvien katkojen lukumäärä (tarkasteluvälin katkojen summa).

Koulutustaso, osaamistaso

Jatkuvien palveluiden ja asiantuntijapalveluiden toteuttajien koulutukselle ja osaamiselle (esim. sertifikaatit) voidaan asettaa minimiehtoja tai tavoitteita.

Käytettävyys, saatavuus

Kts. luku 3 Termit ja määritelmät. Erityisesti teknologia-alustan palveluissa käytettävä laatumääre.

Käyttäjätyytyväisyys

Mittaa loppukäyttäjien tyytyväisyyttä palveluun tai palvelukokonaisuuteen.

Maksimikatko

Kts. suosituksen luku 3 Termit ja määritelmät.

Palveluaika

Kts. suosituksen luku 3 Termit ja määritelmät. Hyvin yleinen laatumääre lähes kaikissa palveluissa.

Ratkaisuaika (palvelupyynnöt, häiriöt)

Kts. suosituksen luku 3 Termit ja määritelmät. Ratkaisuaika kuvaa, miten nopeasti häiriötä tai vikatilannetta koskeva tapahtuma tai palveluntuottajan itse havaitsema häiriö tulee saada korjattua ja tilanne normalisoitua

Ratkaisukyky

Kts. suosituksen luku 3 Termit ja määritelmät. Kuvaa, miten tehokkaasti palvelupyyntöjä vastaanottava taho pystyy itsenäisesti ratkaisemaan sille tulevia palvelupyyntöjä.

Reagointiaika (palvelupyyntöihin, häiriöihin)

Kts. suosituksen luku 3 Termit ja määritelmät. Reagointiaika koskee yleensä palveluntuottajan maksimireagointiaikaa häiriöilmoituksiin tai sen itse havaitsemiin vikatilanteisiin.

Suorituskyky

Hyvin laaja käsite. Voi tarkoittaa laitteiden tai jopa niiden osien (esim. prosessorin laskentateho) suorituskykyä tai kokonaisten järjestelmien tai niiden komponenttien suorituskykyä (kuinka monta sanomaa integraatioratkaisu välittää minuutissa tai miten nopeasti talousraportti muodostetaan tietystä aineistosta).

Tavoitettavuus

Kts. suosituksen luku 3 Termit ja määritelmät. Kuvaa, miten sujuvasti asiakas voi tavoittaa palveluntuottajan palvelupisteen.

Toimitusaika

Kts. suosituksen luku 3 Termit ja määritelmät. Erittäin yleinen laatumääre, joka täydentää jatkuvien ICT-palvelujen laatumäärityksiä. Esim. työaseman, toimituksen, yhdysliikenneavauksen, palvelimen asennuksen, dokumentaation, ylimääräisen varmuuskopion tai parametrimuutoksen toimitusaika. Käytetään useimmissa toimeksiannoissa (Request).

Alla on muutamia esimerkkejä ICT-tuotannon prosessien laatumittareista:

  • Palvelupyyntöjen käsittely
  • Ratkaisukyky puhelimitse: ensimmäisellä kerralla puhelimitse tulleiden palvelupyyntöjen ratkaisuprosentti.
  • Puheluiden lukumäärä / tukihenkilö / kk.
  • Keskimääräinen puheluun vastaamiseen käytetty aika.
  • Väärin eskaloitujen puhelujen osuus.
  • Neuvonnan osuus palvelupyynnöistä.
  • Osuus tapahtumista, joissa palvelupiste on ohitettu.
  • Ongelmanhallinta
  • Toistuvien ongelmien osuus kaikista ongelmista.
  • Ongelman korjaamisen aiheuttamien uusien muutospyyntöjen määrä keskimäärin.
  • Palvelutasonhallinta
  • Osuus palveluista, joille on määritetty palvelutasot.
  • Muutoksenhallinta
  • Hylättyjen muutospyyntöjen osuus kaikista muutospyynnöistä.
  • Ilman hyväksymistä toteutettujen muutosten osuus kaikista muutoksista.
  • Toteuttamista odottavien muutosten määrä.

6 Standardi ISO/IEC 9126

6.1 Yleistä

ISO 91261 -sarja määrittää ohjelmistotuotteelle kaksiosaisen laatumallin ja perusteet mallien mukaisille metriikoille. Sarja koostuu kansainvälisestä standardista 9126-1 ja kolmesta teknisestä raportista. Tekninen raportti 9126-2 määrittää ohjelmiston laadun mittaamiselle ulkoisia, 9126-3 sisäisiä ja 9126-4 käytönaikaisia mittareita.

Kuva 1 hahmottaa mittaristojen suhteita toisiinsa.

graphics1

Kuva 1: ISO9126 ja mittaristojen suhteet

Standardin ensimmäinen laatumalli määrittää kuusi luokitusta sisäisen ja ulkoisen laadun mittaristolle ja toinen malli neljä luokitusta käytönaikaiselle mittaristolle.

6.2 Luokittelu

Sisäinen laatu mitataan ohjelmiston vaatimusten, toteutetun toiminnallisuuden, funktioiden, testaussuunnitelmien jne. kautta. Puhtaasti sisäisiä metriikoita ovat esimerkiksi ohjelmakoodiin liittyvät mittarit, kuten koodirivien ja moduulien lukumäärä, koodin kompleksisuusmitat jne.

Ulkoinen laatu mitataan ohjelmistoa käyttäen, tyypillisesti ohjelmaa testattaessa. Ulkoisia mittareita ovat esim. testausaste, löydettyjen/korjattujen virheiden määrä sekä palautettavuus.

Käytön laatu mitataan toimintaympäristössä, ja metriikkoina on esim. tehokkuus, tuottavuus ja käyttäjätyytyväisyys.

Mittarit ovat joko perusmittareita (kerättyä dataa) tai johdettuja mittareita. Perusmittareita ovat esim. ohjelman koodirivien lukumäärä ja moduulien määrä. Johdettu mittari on esimerkiksi keskimääräinen moduulin rivimäärä, joka saadaan jakamalla koodirivien määrä moduulien määrällä. Johdettu mittari on myös ohjelmiston testausaste, joka saadaan jakamalla suoritettujen testien määrä kaikkien testien määrällä.

Sisäiset ja ulkoiset mittarit ryhmitellään seuraaviin kategorioihin ja alikategorioihin:

  • Toiminnallisuus (functionality), sisältäen
  • Soveltuvuus.
  • Tarkkuus.
  • Yhteentoimivuus.
  • Mukautuvuus (esimerkiksi mukautuvuus käytettyihin standardeihin).
  • Turvallisuus
  • Luotettavuus (reliability), sisältäen
  • Ohjelmiston "kypsyys".
  • Toipumiskyky.
  • Virheiden sietokyky.
  • Mukautuvuus luotettavuuteen.
  • Käytettävyys (usability), sisältäen
  • Opittavuus.
  • Ymmärrettävyys.
  • Käytettävyys.
  • Miellyttävyys.
  • Mukautuvuus käytettävyyteen.
  • Tehokkuus (efficiency), sisältäen
  • Ajan kulutus.
  • Resurssien kulutus.
  • Mukautuvuus tehokkuuteen.
  • Ylläpidettävyys (maintainability), sisältäen
  • Vakaus.
  • Analysoitavuus.
  • Muokattavuus.
  • Testattavuus.
  • Mukautuvuus ylläpidettävyyteen.
  • Siirrettävyys (portability), sisältäen
  • Sopeutuvuus.
  • Asennettavuus.
  • Vaihdettavuus (esimerkiksi päivittäminen seuraavaan ohjelmistoversioon).
  • Rinnakkaiselo.
  • Mukautuvuus siirrettävyyteen.

Käytönaikaisen laadun mittarit jaetaan seuraavasti:

  • Tehokkuus (effectiveness).
  • Tuottavuus (productivity).
  • Turvallisuus (safety).
  • Tyytyväisyys (satisfaction).

6.3 Tuotekehityksen vaihe ja metriikat

Metriikoiden soveltuvuus ohjelmistotuotteen kehityksen eri vaiheissa voidaan kiteyttää alla olevaan taulukkoon. Taulukko ei ota kantaa käytettyyn kehitysprosessiin.

Vaihe

Tuotokset

Metriikat

Vaatimusten analysointi

Käyttäjän laatuvaatimukset

Ulkoiset laatuvaatimukset

Sisäiset laatuvaatimukset

Sisäiset metriikat

Arkkitehtuurin suunnittelu

Arkkitehtuurisuunnitelma

Sisäiset metriikat

Ohjelmiston suunnittelu

Ohjelmiston toteutussuunnitelma

Sisäiset metriikat

Ohjelmointi ja testaus

Ohjelmakoodi

Testitulokset

Sisäiset metriikat

Ulkoiset metriikat

Ohjelmiston integrointi ja verifiointi

Ohjelmistotuote

Testitulokset

Sisäiset metriikat

Ulkoiset metriikat

Järjestelmäintegrointi ja järjestelmätestaus

Integroitu järjestelmä

Sisäiset metriikat

Ulkoiset metriikat

Installointi

Installoitu järjestelmä

Sisäiset metriikat

Ulkoiset metriikat

Hyväksyntä ja tuki

Toimitettu ohjelmisto

Käytön metriikat

Sisäiset metriikat

Ulkoiset metriikat

6.4 Perusmetriikat

Alla olevissa taulukoissa on listattuna teknisten raporttien ISO/IEC 9126-2, ISO/IEC 9126-3 ja ISO/IEC 9126-4 määrittämät perusmetriikat (base measure), jotka ovat mitattavia suureita. Näiden perusteella teknisiin raportteihin on määritelty yli 250 johdettua metriikkaa.

Esimerkkinä johdetusta metriikasta on testauksen vikatiheys, joka saadaan jakamalla löydetyt virheet suoritettujen testien määrällä.

Ulkoiset perusmetriikat (ISO/IEC 9126-2)

Measure Name

Unit of Measurement

1

Number of Functions

Function (number of)

2

Operation Time

Minute

3

Number of Inaccurate Computations Encountered by Users

Case (number of)

4

Total Number of Data Formats

Format (number of)

5

Number of Illegal Operations

Operation (number of)

6

Number of Items Requiring Compliance

Item (number of)

7

Number of Interfaces Requiring Compliance

Interface (number of)

8

Number of Faults

Fault (number of)

9

Number of Failures

Failure (number of)

10

Product Size

Byte

11

Number of Test Cases

Case (number of)

12

Number of Breakdowns

Breakdown (number of)

13

Time to Repair

Minute

14

Down Time

Minute

15

Number of Restarts

Restart (number of)

16

Number of Restoration Required

Restoration (number of)

17

Number of Tutorials

Tutorial (number of)

18

Number of I/O Data Items

Item (number of)

19

Ease of Function Learning

Minute

20

Number of Tasks

Task (number of)

21

Help Frequency

Access (number of)

22

Error Correction

Minute

23

Number of Screens or Forms

Screens (number of)

24

Number of User Errors or Changes

Error (number of)

25

Number of Attempts to Customize

Attempt (number of)

26

Total Number of Usability Compliance Items Specified

Item (number of)

27

Response Time

Second or Millisecond

28

Number of Evaluations

Evaluation (number of)

29

Turnaround Time

Second or Millisecond

30

Task Time

Minute

31

Number of I/O Related Errors

Error (number of)

32

User Waiting Time of I/O Device Utilization

Second or Millisecond

33

Number of Memory Related Errors

Error (number of)

34

Number of Transmission Related Errors

Error (number of)

35

Transmission Capacity

Byte

36

Number of Revised Versions

Version (number of)

37

Number of Resolved Failures

Failure (number of)

38

Porting User Friendliness

Minute

Sisäiset perusmetriikat (ISO/IEC 9216-3)

Measure Name

Unit of measurement

1

Number of Functions

Function (number of)

2

Number of Data Items

Item (number of)

3

Number of Data Formats

Formats (number of)

4

Number of Interface Protocols

Protocol (number of)

5

Number of Access Types

Access-Type (number of)

6

Number of Access Controllability Requirements

Requirement (number of)

7

Number of Instances of Data Corruption

Instance (number of)

8

Number of Compliance Items

Item (number of)

9

Number of Interface Requiring Compliance

Interface (number of)

10

Number of Faults

Fault (number of)

11

Number of Test Cases

Test-Case (number of)

12

Number of Restoration

Requirement (number of)

13

Number of Input Items Which Could Check for Valid Data

Item (number of)

14

Number of Operations

Operation (number of)

15

Number of Messages Implemented

Message (number of)

16

Number of Interface Elements

Element (number of)

17

Response Time

Second or Millisecond

18

Turnaround Time

Second or Millisecond

19

I/O Utilization (Number of Buffers)

Buffer (number of)

20

Memory Utilization

Byte

21

Number of Lines of Code Directly Related to System Calls

Line (number of)

22

Number of I/O Related Errors

Error (number of)

23

Number of Memory Related Errors

Error (number of)

24

Number of Items Required to be Logged

Item (number of)

25

Number of Modifications Made

Modification (number of)

26

Number of Variables

Variable (number of)

27

Number of Diagnostic Functions Required

Function (number of)

28

Number of Entities

Entity (number of)

29

Number of Built-in Test Function Required

Function (number of)

30

Number of Test Dependencies on Other System

Dependency (number of)

31

Number of Diagnostic Checkpoints

Checkpoint (number of)

32

Number of Data Structures

Data-Structure (number of)

33

Total Number of Setup Operations

Operation (number of)

34

Number of Installation Steps

Step (number of)

Käytön perusmetriikat (ISO/IEC 9126-4)

Measure Name

Unit of measurement

1

Task Effectiveness

(a given weight)

2

Total Number of Tasks

Task (number of)

3

Task Time

Minute

4

Cost of the Task

Dollar

5

Help Time

Second

6

Error Time

Second

7

Search Time

Second

8

Number of Users

User (number of)

9

Total Number of People Potentially Affected by the System

Person (number of)

10

Total Number of Usage Situations

Situation (number of)

graphics2

Alaviitteet

1) Valmisteilla oleva ISO/IEC 2502n ajanmukaistaa ISO/IEC 9126:n kuvaamaa mallia.