Tesztelés fehér doboz

Használhatósági tesztelés

A) Terhelésvizsgálat

Teljesítményfelmérés

Funkcionális tesztelés

Tesztelés szoftver

A tesztelés egy program (vagy programrész) végrehajtásának folyamata azzal a szándékkal (vagy céllal), hogy hibákat keressen.

Számos kritérium alapján szokás osztályozni a tesztelés típusait. Általában a következő tüneteket azonosítják:

I) Tesztobjektum szerint:

(egy szoftver és hardver rendszer vagy eszköz teljesítménymutatóinak és válaszidejének meghatározása vagy összegyűjtése külső megkeresésre, egy adott rendszer követelményeinek való megfelelés megállapítása érdekében)

b) Stresszteszt

(felméri a rendszer megbízhatóságát és stabilitását, ha a normál működés határait túllépik.)

c) Stabilitásvizsgálat

4) Felhasználói felület tesztelése

5) Biztonsági tesztelés

6) Lokalizációs tesztelés

7) Kompatibilitási tesztelés

II) A rendszer ismeretében:

1) Fekete doboz tesztelése

(olyan objektumot tesztelnek, amelynek belső szerkezete ismeretlen)

(a program belső felépítése ellenőrzésre kerül, tesztadatokat a programlogika elemzésével nyerünk)

III) Automatizálási fok szerint:

1) Kézi tesztelés

2) Automatizált tesztelés

3) Félautomata tesztelés

IV) A komponensek izoláltsági foka szerint:

1) Alkatrész (egység) tesztelése

2) Integrációs tesztelés

3) Rendszertesztelés

V) Tesztidővel:

1) Alfa tesztelés– egy program teljes munkaidős fejlesztők vagy tesztelők általi tesztelésének zárt folyamata. Egy alfa termék legtöbbször csak 50%-ban készült el, a programkód megvan, de a tervezés jelentős része hiányzik.

2) Bétatesztelés– szinte intenzív használat kész verzió programokat annak érdekében, hogy azonosítsa a működésében előforduló hibák maximális számát, hogy azokat a végső forgalomba hozatal, a tömegfogyasztó számára történő utólagos kiküszöbölése érdekében megszüntesse. A tesztelésre önkénteseket toboroznak a hétköznapi jövőbeni felhasználók közül.

A szoftverellenőrzés általánosabb fogalom, mint a tesztelés. Az ellenőrzés célja annak biztosítása, hogy az ellenőrzött tétel (követelmények vagy programkód) megfelel-e a követelményeknek, nem kívánt funkciók nélkül valósul meg, és megfelel a tervezési előírásoknak és szabványoknak ( ISO 9000-2000). Az ellenőrzési folyamat magában foglalja az ellenőrzéseket, a kód tesztelését, a teszteredmények elemzését, a problémajelentések generálását és elemzését. Így általánosan elfogadott, hogy a tesztelési folyamat az szerves része ellenőrzési folyamat.

Szentpétervár

Állami Elektrotechnikai Egyetem

MOEVM Osztály

fegyelem szerint

„Szoftver termékfejlesztési folyamat”

"Szoftver ellenőrzése"

Szentpétervár

Az ellenőrzés célja………………………………………………………………… 3. oldal

Bevezető megjegyzések……………………………………………………………….. 3. oldal

Speciális és általános célcélok…………………………………………….. 4. oldal

Várható gyakorlat a kitűzött célokhoz………………………………………… 4. oldal

SG1 Felkészülés az ellenőrzésre………………………………………………… 4. oldal

SG2 Vizsgák lebonyolítása (szakértői értékelés)…………………………… 7. oldal

SG3 ellenőrzés…………………………………………………… 9. oldal

1. függelék Az ellenőrzési folyamat automatizálási eszközeinek áttekintése……….. 11. oldal

Függelék 2. Alap modern megközelítések az ellenőrzéshez…………….. 12. oldal

Felhasznált irodalom jegyzéke………………………………………………………………….. 14. oldal

A kiválóság és érettség integrált modellje

Ellenőrzés (3. érettségi szint)

Cél

Az ellenőrzés célja az biztosítékot nyújt arra, hogy a kiválasztott köztes szoftver vagy végtermék megfelel a meghatározott követelményeknek.

1. Víz jegyek

A szoftvertermékek ellenőrzése az a késztermék vagy annak köztes változatainak ellenőrzése az eredeti követelményeknek való megfelelés érdekében. Ez nem csak magának a programnak a tesztelését jelenti, hanem a projekt, a felhasználói és műszaki dokumentáció stb. auditálását is.

A szoftverrendszer-ellenőrzés célja az életciklus egyes szakaszaiban esetlegesen előforduló hibák azonosítása és jelentése. Főbb ellenőrzési feladatok:

annak meghatározása, hogy a magas szintű követelmények megfelelnek-e a rendszerkövetelményeknek;

a rendszerarchitektúra magas szintű követelményeinek figyelembevétele;

megfelelés a forráskódban szereplő architektúrának és követelményeinek;

annak meghatározása, hogy a végrehajtható kód megfelel-e a rendszerkövetelményeknek;

a fenti problémák megoldására alkalmazott, műszakilag helyes és kellően teljes körű eszközök meghatározása.

Az ellenőrzés magában foglalja a késztermékek ellenőrzését és a közbenső termékek ellenőrzését az összes kiválasztott követelménynek megfelelően, beleértve a vevői követelményeket, a késztermékre vonatkozó követelményeket és az egyes összetevőkre vonatkozó követelményeket.

Az ellenőrzés eredendően egy inkrementális (növekvő) folyamat a kezdetektől fogva a teljes termékfejlesztés és a terméken végzett munka során. Az ellenőrzés a követelmények ellenőrzésével kezdődik, ezt követi az összes köztes termék ellenőrzése a fejlesztés és a gyártás különböző szakaszaiban, és a végtermék ellenőrzésével ér véget.

A közbenső termékek ellenőrzése fejlesztésük és gyártásuk minden szakaszában jelentősen megnöveli annak valószínűségét, hogy a végtermék kielégíti a vevő igényeit, a késztermék követelményeit és az egyes összetevőire vonatkozó követelményeket.

A folyamatok verifikációja és validálása lényegében összefüggő folyamatok, amelyek azonban eltérő eredmények elérésére irányulnak. Az érvényesítés célja annak bizonyítása, hogy a késztermék valóban megfelel eredeti céljának. Az ellenőrzés célja annak biztosítása, hogy a termék pontosan megfelel-e bizonyos követelményeknek. Más szóval, az ellenőrzés biztosítja, hogy „ Te jól csinálod", és az érvényesítés az, hogy " helyesen cselekszel”.

A költséghatékonyság és a teljesítmény felmérése érdekében az ellenőrzést a lehető legkorábban végre kell hajtani a releváns folyamatokban (például szállítás, fejlesztés, üzemeltetés vagy karbantartás). Ez a folyamat tartalmazhat elemzést, ellenőrzést és tesztelést (tesztelést).

Ez a folyamat az előadók különböző fokú függetlenségével hajtható végre. Az előadóművészek függetlenségének foka megosztható magában a szervezetben lévő különböző alanyok és egy másik szervezet alanyai között, a felelősségek elosztásának eltérő fokával. Ezt a folyamatot folyamatnak nevezik független ellenőrzés, ha a végrehajtó szervezet nem függ a szállítótól, fejlesztőtől, üzemeltetőtől vagy támogató személyzettől.

Szakértői értékelések (vizsgálat) fontos elemei a hitelesítésnek, mint a hibák hatékony kiküszöbölésének jól bevált eszköze. Ebből egy fontos kivonat a termék működő verzióinak, valamint az alkalmazott munkafolyamatok mélyebb megértésének és megértésének szükségessége, hogy azonosítsák a lehetséges hibákat, és szükség esetén lehetőség nyíljon a fejlesztésekre.

A vizsgálatok magukban foglalják a szakemberek által végzett munka módszeres vizsgálatát a hibák és egyéb szükséges változtatások feltárása érdekében.

A szakértői értékelés fő módszerei a következők:

ellenőrzés

végpontok közötti szerkezeti vezérlés

Az érvényesítés és az ellenőrzés két fogalmát gyakran összekeverik. Ezenkívül a rendszerkövetelmények érvényesítését gyakran összekeverik magának a rendszernek az érvényesítésével. Javaslom, hogy vizsgáljuk meg ezt a kérdést.

A cikkben egy objektum modellezésének két megközelítését vizsgáltam: egészként és szerkezetként. A mostani cikkben erre a felosztásra lesz szükségünk.

Legyen egy tervezett funkcionális objektumunk. Tekintsük ezt az objektumot egy másik funkcionális objektum tervezésének részének. Legyen egy leírás egy objektum felépítéséről úgy, hogy az tartalmazza az objektum leírását. Egy ilyen leírásban az objektumnak van egy leírása, mint egész, vagyis az objektum tervezésének keretein belül le vannak írva interfészei a többi objektummal való interakcióhoz. Adjuk meg az objektum mint szerkezet leírását. Legyen egy információs objektum, amely követelményeket tartalmaz egy objektum mint szerkezet leírásának kialakításához. Legyen egy olyan ismeretanyag, amely következtetési szabályokat tartalmaz, amelyek alapján az objektum mint struktúra leírása a tárgy egészének leírásából származik. A tudásanyag az, amit az intézetekben tanítanak a tervezőknek - sok-sok tudás. Lehetővé teszik az objektumra vonatkozó ismeretek alapján annak szerkezetét.

Szóval, kezdhetjük. Kijelenthetjük, hogy ha az objektum egésze helyesen van leírva, ha az ismeretanyag helyes, és ha a következtetés szabályait betartották, akkor az objektum tervezésének eredő leírása helyes lesz. Ez azt jelenti, hogy a leírás alapján egy funkcionális objektumot építenek ennek megfelelően valós körülmények művelet. Milyen kockázatok merülhetnek fel:

1. Helytelen ismeretek használata az objektumról. Lehet, hogy az emberek fejében lévő Tárgy modellje nem felel meg a valóságnak. Nem ismerték például a földrengések valódi veszélyét. Ennek megfelelően előfordulhat, hogy az objektummal szemben támasztott követelmények helytelenül vannak megfogalmazva.

2. Az Objektumról szóló ismeretek hiányos rögzítése - valami kimaradt, hibák történtek. Például tudtak a szelekről, de elfelejtették megemlíteni őket. Ez az objektumra vonatkozó követelmények nem kellően teljes leírásához vezethet.

3. Helytelen tudásanyag. Megtanítottak nekünk a tömeget előnyben részesíteni más paraméterekkel szemben, de kiderült, hogy növelnünk kell a sebességet.

4. Következtetési szabályok helytelen alkalmazása egy objektum leírására. Logikai hibák, valami hiányzik az objektum tervezési követelményeiből, megszakadt a követelmények követése.

5. A rendszertervezési megállapítások hiányos rögzítése. Mindent figyelembe vettek, mindent kiszámoltak, de elfelejtettek leírni.

6. A létrehozott rendszer nem felel meg a leírásnak.

Nyilvánvaló, hogy a projekt összes műterméke általában csak a projekt vége felé jelenik meg befejezett formájában, és akkor sem mindig. De ha feltételezzük, hogy a fejlesztés vízesés, akkor a kockázatok olyanok, mint ahogy leírtam. Az egyes kockázatok ellenőrzése egy konkrét művelet, amely nevet adhat. Ha valakit érdekel, megpróbálhatja kitalálni és hangoztatni ezeket a feltételeket.

Mi az ellenőrzés? Oroszul az ellenőrzés a szabályok betartásának ellenőrzése. A szabályokat dokumentum formájában állítják össze. Vagyis kell lennie egy dokumentumnak dokumentációs követelményekkel. Ha a dokumentáció megfelel a dokumentum követelményeinek, akkor átment az ellenőrzésen.

Mi az érvényesítés? Oroszul az érvényesítés a következtetések helyességének ellenőrzését jelenti. Vagyis léteznie kell egy olyan ismeretanyagnak, amely leírja, hogyan lehet a tárgyra vonatkozó adatok alapján leírást szerezni egy tervről. E következtetések helyes alkalmazásának ellenőrzése validálás. Az érvényesítés magában foglalja a leírás következetességének, teljességének és érthetőségének ellenőrzését.

A követelmények érvényesítését gyakran összekeverik az ezekből a követelményekből épített termék érvényesítésével. Nem szabad ezt csinálni.

egy csapatban kettőnél több ember van, óhatatlanul felmerül a kérdés a csapaton belüli szerepek, jogok és felelősségek elosztásával kapcsolatban. A konkrét szerepkört számos tényező határozza meg - a fejlesztésben résztvevők száma és személyes preferenciáik, az elfogadott fejlesztési módszertan, a projekt jellemzői és egyéb tényezők. Szinte minden fejlesztőcsapatban megkülönböztethetők az alább felsorolt ​​szerepkörök. Némelyikük teljesen hiányozhat, míg az egyének egyszerre több szerepet is betölthetnek, de a teljes összetétel alig változik.

Ügyfél (pályázó). Ez a szerepkör a rendszer fejlesztését megrendelő szervezet képviselőjét illeti meg. A pályázó interakciója általában korlátozott, és csak a projektmenedzserekkel és a tanúsítási vagy végrehajtási szakemberrel kommunikál. Jellemzően az ügyfélnek joga van megváltoztatni a termék követelményeit (csak a vezetőkkel együttműködve), elolvasni a tervezési és tanúsítási dokumentációt, amely a fejlesztés alatt álló rendszer nem műszaki jellemzőit érinti.

Projekt menedzser. Ez a szerepkör kommunikációs csatornát biztosít az ügyfél és a projektcsapat között. A termékmenedzser kezeli az ügyfelek elvárásait, valamint fejleszti és fenntartja a projekt üzleti környezetét. Munkája közvetlenül nem kapcsolódik az értékesítéshez, a termékre koncentrál, feladata a meghatározása, ellátása vevői követelmények. A projektmenedzser jogosult a termékkövetelményeket és a végtermékdokumentációt megváltoztatni.

Program menedzser. Ez a szerepkör irányítja a kommunikációt és a kapcsolatokat a projektcsapaton belül, koordinátorként működik, funkcionális specifikációkat dolgoz ki és kezel, karbantartja a projekt ütemezését és jelentéseket készít a projekt állapotáról, valamint kezdeményezi a projekt előrehaladása szempontjából kritikus döntéseket.

Tesztelés- a program végrehajtásának folyamata a hiba észlelése érdekében.

Teszt adat- a rendszer tesztelésére használt bemenetek.

Próbaper- a rendszer tesztelésére szolgáló bemenetek és a bemenetektől függően várható kimenetek, ha a rendszer a követelményspecifikációnak megfelelően működik.

Jó teszthelyzet- olyan helyzet, amelyben nagy a valószínűsége egy még fel nem ismert hiba észlelésének.

Sikeres teszt- egy teszt, amely egy még fel nem ismert hibát észlel.

Hiba- a programozó olyan tevékenysége a fejlesztési szakaszban, amely ahhoz vezet, hogy a szoftver belső hibát tartalmaz, amely a program működése során hibás eredményhez vezethet.

Elutasítás- a rendszer előre nem látható viselkedése, amely váratlan eredményhez vezet, amelyet a benne lévő hibák okozhatnak.

Így a szoftvertesztelési folyamat során jellemzően a következőket ellenőrzik.

Ellenőrzés és érvényesítés ( ellenőrzés és érvényesítés-V& V) célja az elemzés, a helyes végrehajtás, valamint a szoftver specifikációinak és vevői követelményeinek való megfelelésének ellenőrzése. A programok és rendszerek helyességének ellenőrzésére szolgáló módszerek a következőket jelentik:

• az ellenőrzés annak ellenőrzése, hogy a rendszer megfelelően, a specifikációinak megfelelően épül-e fel;
• Az érvényesítés a meghatározott rendszerkövetelmények megfelelő teljesítésének ellenőrzése.

Az ellenőrzés segít következtetést levonni a létrehozott rendszer helyességéről a tervezés és fejlesztés befejezése után. Az érvényesítés lehetővé teszi a meghatározott követelmények megvalósíthatóságának meghatározását, és számos műveletet tartalmaz a megfelelő programok és rendszerek beszerzéséhez, nevezetesen:

• ellenőrzési és ellenőrzési eljárások tervezése tervezési megoldásokés követelmények;
• a programtervezés automatizáltsági szintjének biztosítása CASE eszközökkel;
• a programok helyes működésének ellenőrzése tesztelési módszerekkel a céltesztkészleteken;
• a termék alkalmazkodása a működési környezethez stb.

Az érvényesítés ezeket a tevékenységeket az életciklus-fázisok specifikációinak és tervezési eredményeinek áttekintésével és ellenőrzésével hajtja végre, hogy megbizonyosodjon arról, hogy a kezdeti követelmények helyesen valósulnak meg, és teljesülnek a meghatározott feltételek és korlátok. A hitelesítés és érvényesítés feladatai közé tartozik a követelményspecifikáció teljességének, következetességének és egyértelműségének, valamint a rendszerfunkciók megfelelő teljesítésének ellenőrzése.

Az ellenőrzés és érvényesítés a következőktől függ:

• a rendszer fő összetevői;
• komponensek (szoftver, műszaki és információ) interfészei és objektumok interakciói (protokollok és üzenetek), amelyek biztosítják a rendszer elosztott környezetekben történő végrehajtását;
• az adatbázishoz és fájlokhoz (tranzakciók és üzenetek) való hozzáférés, valamint a különböző felhasználók adataihoz való jogosulatlan hozzáférés elleni védelmi eszközök ellenőrzése;
• a szoftver és a rendszer egészének dokumentációja;
• tesztek, vizsgálati eljárások és bemeneti adatok.

Más szavakkal, a programhelyesség fő szisztematikus módszerei a következők:

• igazolás szoftverösszetevők és követelmények specifikációinak érvényesítése;
• PS ellenőrzés a program adott előírásoknak való megfelelőségének megállapítása;
• tesztelés a szoftver kimeneti kódja a tesztadatokon egy adott működési környezetben a különféle hibák, rendellenes helyzetek, berendezés meghibásodások vagy a rendszer vészhelyzeti leállítása által okozott hibák és hibák azonosítására (lásd a 9. fejezetet).

Az ISO/IEC 3918-99 és 12207 szabványok ellenőrzési és érvényesítési folyamatokat tartalmaznak. Számukra célokat, célkitűzéseket és cselekvéseket határoznak meg, amelyek igazolják a létrehozott termék (beleértve a munka- és köztes termékeket is) az életciklus egyes szakaszaiban való helyességét és a követelményeknek való megfelelést.

Az ellenőrzési és érvényesítési folyamatok fő célja az, hogy ellenőrizze és erősítse meg hogy a végső szoftver megfelel a célnak és megfelel az ügyfél követelményeinek. Ezek a folyamatok lehetővé teszik az életciklus-szakaszok munkatermékeinek hibáinak azonosítását anélkül, hogy feltárnák azok előfordulásának okait, és megállapítható a szoftver specifikációhoz viszonyított helyessége.

Ezek a folyamatok összefüggenek egymással, és egyetlen fogalom határozza meg őket: „ellenőrzés és érvényesítés” (V&V 7).

Az ellenőrzés során a következőket hajtják végre:

• az egyes komponensek kimeneti kódba fordításának, valamint interfészleírásoknak a helyességének ellenőrzése a komponensek összekapcsolásának nyomon követésével a megadott vevői igényeknek megfelelően;
• a fájlokhoz vagy adatbázisokhoz való hozzáférés helyességének elemzése, figyelembe véve a használt rendszereszközökben elfogadott adatkezelési és eredmények átviteli eljárásokat;
• az alkatrészvédelmi berendezések vevői követelményeknek való megfelelőségének ellenőrzése és nyomon követésük.

A rendszer egyes elemeinek ellenőrzése után megtörténik azok integrációja, valamint az integrált rendszer ellenőrzése és validálása. A rendszert számos tesztkészlettel tesztelik, hogy megállapítsák ezeknek a csomagoknak a megfelelőségét és elegendőségét a tesztelés befejezéséhez és a rendszer helyességének megállapításához.

A formális verifikációról szóló nemzetközi projekt létrehozásának ötletét T. Hoar vetette fel, 2005 februárjában, Kaliforniában, az ellenőrzött szoftverekkel foglalkozó szimpóziumon vitatták meg. Ugyanezen év októberében, a zürichi IFIP konferencián egy 15 éves nemzetközi projektet fogadtak el, amelynek célja „a szoftverek helyességének ellenőrzésére szolgáló átfogó automatizált eszközkészlet” kifejlesztése volt.

A következő fő feladatokat fogalmazza meg:

• a programalkotás és -elemzés egységes elméletének kidolgozása;
• átfogó, integrált ellenőrző eszközkészlet felépítése minden gyártási szakaszhoz, beleértve a specifikáció kidolgozását és ellenőrzését, a tesztesetek generálását, a program finomítását, elemzését és ellenőrzését;
• formális specifikációk és ellenőrzött szoftverobjektumok tárának létrehozása különböző típusokés típusok.

Ez a projekt azt feltételezi, hogy az ellenőrzés a szoftverek létrehozásának és helyességének ellenőrzésének minden aspektusát lefedi, és csodaszer lesz a létrehozott programokban előforduló hibákkal kapcsolatos minden bajra.

A meghatározott programok bizonyítására és ellenőrzésére szolgáló számos formális módszer gyakorlati tesztelésen ment keresztül. Kész nagy munka nemzetközi bizottság ISO/IEC keretein belül ISO szabvány/ IEC 12207:2002 a szoftverellenőrzési és érvényesítési folyamatok szabványosításáról. A különféle programozási objektumok helyességének formális módszerekkel történő ellenőrzése ígéretes.

A repository a fejlesztéshez és teszteléshez, a kész komponensek, eszközök és módszer-előkészítések kiértékeléséhez használt programok, specifikációk és eszközök tárháza. A következő általános feladatokat látja el:

• ellenőrzött specifikációk, bizonyítási módszerek, szoftverobjektumok és kódmegvalósítások összegyűjtése összetett alkalmazásokhoz;
• különböző verifikációs módszerek felhalmozása, kialakítása olyan formában, amely alkalmas egy megvalósított elméleti ötlet felkutatására, további alkalmazásra történő kiválasztására;
• szabványos űrlapok kidolgozása különböző programozási objektumok formális specifikációinak megadásához és cseréjéhez, valamint eszközök és kész rendszerek;
• interoperabilitási és interakciós mechanizmusok fejlesztése a kész ellenőrzött termékek tárolóból új elosztott és hálózati környezetekbe történő átviteléhez új szoftverek létrehozása érdekében.

Ez a projekt várhatóan 50 éven keresztül fog kidolgozni. A korábbi projektek hasonló célokat tűztek ki: szoftverminőség javítása, szolgáltatási modellek formalizálása, bonyolultság csökkentése PIC használatával, hibakereső eszközök létrehozása a hibák vizuális diagnosztizálására és kiküszöbölésére stb. A programozásban azonban nem történt alapvető változás a vizuális hibakeresés terén sem. vagy elérése Jó minőségÁLTAL. A fejlesztési folyamat folytatódik.

Egy új nemzetközi szoftverellenőrzési projekt nemcsak tudást követel meg résztvevőitől elméleti szempontok programleírásokat, hanem magasan képzett programozókat is a következő években való megvalósításához.