Interpretation of MC simulation results (Stochastic methods)/cs

Validace a verifikace

Pro získání správných výsledků je důležité provést validaci a verifikaci výsledků. Provedení validace a verifikace výsledků jsou zásadní kroky, díky kterým se dozvíme, že je náš simulační model Monte Carlo věrohodný a užitečný. Validace ověřuje, že náš model reprezentuje reálný systém nebo problém, který se snažíme nasimulovat. A verifikace kontroluje, že je náš model implementován správně a neobsahuje žádné chyby nebo omyly. Validace a verifikace je důležitá. Pokud nedojde k provedení těchto dvou kroků je možné, že budou modely ukazovat zavádějící nebo nepřesné výsledky, které nějakým způsobem mohou ovlivnit rozhodnutí a výsledky projektu.

Jak validovat model?

Validace je subjektivní a opakující se proces. Validace zahrnuje porovnání předpokladů, vstupů, výstupů a chování našeho modelu s dostupnými daty a znalostmi, které jsou dostupné z reálného systému nebo problému. Pro validaci modelu můžeme použít různé techniky. Mezi takové techniky řadíme například analýza citlivosti, odborný posudek nebo historická data.

Analýza citlivosti zahrnuje změnu jedné nebo více vstupních proměnných a sleduje to, jak ovlivní výstupní proměnné. Díky tomu jsme schopni a může nám pomoct identifikovat nejvlivnější a nejisté faktory v našem modelu. Odborný posudek je konzultace s odborníky, kteří rozumí té dané problematice, zúčastněnými stranami nebo kolegy, kteří již mají zkušenosti nebo znalosti o reálném systému nebo problému. Historická data porovnávají výstupy, které nám dal náš model, se skutečnými nebo pozorovanými daty z minulosti. Na základě, kterých jsme schopni posoudit jak přesný a realistický jsou naše modelové předpovědi a předpoklady.

Jak verifikovat model?

Verifikace je objektivní a systematický proces. Verifikace zahrnuje testování a ladění implementace modelu a kódu. Pro verifikaci modelů můžeme použít logické a syntaktické kontroly. Tyto kontroly odhalí a opraví případné syntaktické chyby, překlepy nebo chybějící prvky v kódu. Testovat můžeme každý komponent nebo funkci modelu samostatně a nezávisle. Také můžeme testovat interakce a vazby mezi komponenty a funkcemi našeho modelu. Díky tomu ověříme model a zjistíme, zda funguje tak, jak má a jestli zobrazuje očekávané výsledky.

Nástroje pro validaci a verifikaci

Modely Monte Carlo lze validovat a verifikovat pomocí různých nástrojů a softwarů. Jedním takovým nástrojem je Excel. V Excelu lze provádět základní simulace Monte Carlo pomocí vestavěných funkcí a vlastností. Excel můžeme využít k vytváření a testování logiky modelu, vstupů a chování nebo také i k provádění analýzy citlivosti a porovnání výstupů modelu s historickými daty. Jako další nástroj pro validaci a verifikaci můžeme použít @RISK nebo Crystal Ball. Jedná se o specializované programy, které na rozdíl od Excelu, umožňují pokročilé funkce a vlastnosti pro simulaci Monte Carlo. Můžeme je využít pro vytváření a testování logiky modelu, vstupů, výstupů a chování, nebo k provádění analýzy citlivosti, expertního posouzení a porovnávání výstupů modelu s historickými daty. Oba dva zmíněné nástroje v sobě mají verifikační nástroje a na základě toho dokážou kontrolovat kód modelu a říct, jestli obsahuje chyby nebo ne.