Interpretation of MC simulation results (Stochastic methods)/cs

Zpracování a interpretace výsledků je velmi důležitá část simulace a neměla by být podceňována. V případě, že se v modelu vyskytují náhodné veličiny, tak to znamená, že i výsledky jsou náhodné veličiny. Výsledkem modelu je buď bodový nebo intervalový odhad. Intervalový odhad by měl být použitý spíše než bodový.

Validace a verifikace

Pro získání správných výsledků je důležité provést validaci a verifikaci výsledků. Provedení validace a verifikace výsledků jsou zásadní kroky, díky kterým se dozvíme, že je náš simulační model Monte Carlo věrohodný a užitečný. Validace ověřuje, že náš model reprezentuje reálný systém nebo problém, který se snažíme nasimulovat. A verifikace kontroluje, že je náš model implementován správně a neobsahuje žádné chyby nebo omyly. Validace a verifikace je důležitá. Pokud nedojde k provedení těchto dvou kroků je možné, že budou modely ukazovat zavádějící nebo nepřesné výsledky, které nějakým způsobem mohou ovlivnit rozhodnutí a výsledky projektu.

Jak validovat model?

Validace je subjektivní a opakující se proces. Validace zahrnuje porovnání předpokladů, vstupů, výstupů a chování našeho modelu s dostupnými daty a znalostmi, které jsou dostupné z reálného systému nebo problému. Pro validaci modelu můžeme použít různé techniky. Mezi takové techniky řadíme například analýza citlivosti, odborný posudek nebo historická data.

Analýza citlivosti zahrnuje změnu jedné nebo více vstupních proměnných a sleduje to, jak ovlivní výstupní proměnné. Díky tomu jsme schopni a může nám pomoct identifikovat nejvlivnější a nejisté faktory v našem modelu. Odborný posudek je konzultace s odborníky, kteří rozumí té dané problematice, zúčastněnými stranami nebo kolegy, kteří již mají zkušenosti nebo znalosti o reálném systému nebo problému. Historická data porovnávají výstupy, které nám dal náš model, se skutečnými nebo pozorovanými daty z minulosti. Na základě, kterých jsme schopni posoudit jak přesný a realistický jsou naše modelové předpovědi a předpoklady.

Jak verifikovat model?

Verifikace je objektivní a systematický proces. Verifikace zahrnuje testování a ladění implementace modelu a kódu. Pro verifikaci modelů můžeme použít logické a syntaktické kontroly. Tyto kontroly odhalí a opraví případné syntaktické chyby, překlepy nebo chybějící prvky v kódu. Testovat můžeme každý komponent nebo funkci modelu samostatně a nezávisle. Také můžeme testovat interakce a vazby mezi komponenty a funkcemi našeho modelu. Díky tomu ověříme model a zjistíme, zda funguje tak, jak má a jestli zobrazuje očekávané výsledky.

Nástroje pro validaci a verifikaci

Modely Monte Carlo lze validovat a verifikovat pomocí různých nástrojů a softwarů. Jedním takovým nástrojem je Excel. V Excelu lze provádět základní simulace Monte Carlo pomocí vestavěných funkcí a vlastností. Excel můžeme využít k vytváření a testování logiky modelu, vstupů a chování nebo také i k provádění analýzy citlivosti a porovnání výstupů modelu s historickými daty. Jako další nástroj pro validaci a verifikaci můžeme použít @RISK nebo Crystal Ball. Jedná se o specializované programy, které na rozdíl od Excelu, umožňují pokročilé funkce a vlastnosti pro simulaci Monte Carlo. Můžeme je využít pro vytváření a testování logiky modelu, vstupů, výstupů a chování, nebo k provádění analýzy citlivosti, expertního posouzení a porovnávání výstupů modelu s historickými daty. Oba dva zmíněné nástroje v sobě mají verifikační nástroje a na základě toho dokážou kontrolovat kód modelu a říct, jestli obsahuje chyby nebo ne.

Normální distribuce

Výsledky generované simulací monte Carlo budou tvořit normální distribuci, takže Gaussovu křivku.

Vzorec

X = hodnota proměnné nebo zkoumaných dat

F(x) = pravděpodobnostní funkce

μ = průměr

σ = směrodatná odchylka

Normální distribuce je rozdělení pravděpodobnosti, které je symetrické podle průměru. Ukazuje, že data, která jsou okolo průměru se objevují častěji než data, která jsou daleko od průměru.

V grafické podobě je normální distribuce zobrazena jako „zvonová křivka“ neboli také Gaussova křivka.

Nejvyšší bod na křivce ukazuje nejpravděpodobnější událost v řadě dat (průměr). Ostatní možné hodnoty jsou symetricky rozmístěné okolo průměru. Díky tomu je vytvořena klesající křivka na obě strany z vrcholu, distribuce symetricky klesá kolem průměru. Šířka grafu je definována směrodatnou odchylkou.

Jedná se o typ symetrického rozdělení. Symetrické rozdělení poznáme tak, že když graf rozdělíme napůl, vytvoří dva stejné zrcadlové obrazy.

Vlastnosti normální rozdělení

Normální rozdělení má několik důležitých vlastností a tyto vlastnosti ho definují. Jedná se o:

- Průměr – průměr všech dat v souboru (=PRŮMĚR(G:G) v Excelu)

- Medián (=MEDIÁN(G:G) v Excelu)

- Modus

- Směrodatná odchylka – kvantifikace variability rozptylu dat v souboru daných hodnost kolem průměru (=STDEV(G:G) v Excelu)

Empirické pravidlo

Toto pravidlo popisuje, kde se objeví většina dat v normálním rozdělení. Pro jednu směrodatnou odchylku od průměru je u normálního rozdělení 68,2 % hodnot. 95,4 % pozorování bude spadat do dvou směrodatných odchylek. A v rozmezí tří směrodatných odchylek bude 99,7 % hodnot.

Příklad

Například bychom chtěli zjistit jaké je rozložení lidské výšky. Z grafu níže vidíme, že průměrná výška populace je 175 cm. Do dat jsou započítáni muži i ženy. To znamená, že většina lidí odpovídá průměru, takže měří 175 cm. Dále z grafu dokážeme vyčíst, že existují nižší i vyšší lidé. Z výsledků vidíme, že 99,7 % lidí měří mezi 154 cm a 196 cm. Pouze 0,3 % lidí z celé populace jsou vyšší než 196 cm a nižší než 154 cm. Jedná se o poměrně vzácné lidi.

Výsledky

Výsledky simulace Monte Carlo jsou v tabulce a je potřeba je dále analyzovat. Pomocí Excelu je můžeme zpracovat/zanalyzovat. Jednou z možností je, že si vytvoříme histogram výsledků, který je častým výsledkem simulace. Histogram zobrazuje všechny možné výsledky a pravděpodobnost, že ke každému výsledku dojde. Dále můžeme pouze vytvořit průměr, jak uvidíme v ukázce později.

Histogram

Histogram je nezbytnou součástí, protože zobrazuje vizuální reprezentaci dat. Histogram je graf, který vytvoříme v Excelu pomocí grafu nazývaný histogram. Vybereme si vhodná data, které chceme zobrazit v grafu-> vložení -> vložit statistický graf – histogram.

Validace a verifikace

Pro získání správných výsledků je důležité provést validaci a verifikaci výsledků. Provedení validace a verifikace výsledků jsou zásadní kroky, díky kterým se dozvíme, že je náš simulační model Monte Carlo věrohodný a užitečný. Validace ověřuje, že náš model reprezentuje reálný systém nebo problém, který se snažíme nasimulovat. A verifikace kontroluje, že je náš model implementován správně a neobsahuje žádné chyby nebo omyly. Validace a verifikace je důležitá. Pokud nedojde k provedení těchto dvou kroků je možné, že budou modely ukazovat zavádějící nebo nepřesné výsledky, které nějakým způsobem mohou ovlivnit rozhodnutí a výsledky projektu.

Jak validovat model?

Validace je subjektivní a opakující se proces. Validace zahrnuje porovnání předpokladů, vstupů, výstupů a chování našeho modelu s dostupnými daty a znalostmi, které jsou dostupné z reálného systému nebo problému. Pro validaci modelu můžeme použít různé techniky. Mezi takové techniky řadíme například analýza citlivosti, odborný posudek nebo historická data.

Analýza citlivosti zahrnuje změnu jedné nebo více vstupních proměnných a sleduje to, jak ovlivní výstupní proměnné. Díky tomu jsme schopni a může nám pomoct identifikovat nejvlivnější a nejisté faktory v našem modelu. Odborný posudek je konzultace s odborníky, kteří rozumí té dané problematice, zúčastněnými stranami nebo kolegy, kteří již mají zkušenosti nebo znalosti o reálném systému nebo problému. Historická data porovnávají výstupy, které nám dal náš model, se skutečnými nebo pozorovanými daty z minulosti. Na základě, kterých jsme schopni posoudit jak přesný a realistický jsou naše modelové předpovědi a předpoklady.

Jak verifikovat model?

Verifikace je objektivní a systematický proces. Verifikace zahrnuje testování a ladění implementace modelu a kódu. Pro verifikaci modelů můžeme použít logické a syntaktické kontroly. Tyto kontroly odhalí a opraví případné syntaktické chyby, překlepy nebo chybějící prvky v kódu. Testovat můžeme každý komponent nebo funkci modelu samostatně a nezávisle. Také můžeme testovat interakce a vazby mezi komponenty a funkcemi našeho modelu. Díky tomu ověříme model a zjistíme, zda funguje tak, jak má a jestli zobrazuje očekávané výsledky.

Nástroje pro validaci a verifikaci

Modely Monte Carlo lze validovat a verifikovat pomocí různých nástrojů a softwarů. Jedním takovým nástrojem je Excel. V Excelu lze provádět základní simulace Monte Carlo pomocí vestavěných funkcí a vlastností. Excel můžeme využít k vytváření a testování logiky modelu, vstupů a chování nebo také i k provádění analýzy citlivosti a porovnání výstupů modelu s historickými daty. Jako další nástroj pro validaci a verifikaci můžeme použít @RISK nebo Crystal Ball. Jedná se o specializované programy, které na rozdíl od Excelu, umožňují pokročilé funkce a vlastnosti pro simulaci Monte Carlo. Můžeme je využít pro vytváření a testování logiky modelu, vstupů, výstupů a chování, nebo k provádění analýzy citlivosti, expertního posouzení a porovnávání výstupů modelu s historickými daty. Oba dva zmíněné nástroje v sobě mají verifikační nástroje a na základě toho dokážou kontrolovat kód modelu a říct, jestli obsahuje chyby nebo ne.