Metody pro interpretaci výsledků simulacích založených na Monte Carlu

Úvod

Metoda Monte Carlo je nástrojem pro vytváření kvalifikovaných odhadů na základě předchozích dat. Odhaduje s určitou pravděpodobností vývoj událostí, který nelze určit přímým výpočtem a pracuje s nahodilými proměnnými, kterým se říká pseudonáhodná čísla. Podstatou nástroje není fyzická aplikace, nýbrž metodika jak dosáhnout omezeného počtu odpovědí na jasně danou otázku. Příklad takových otázek může být následující formu: „Bude zítra pršet?“, „Je potřeba se na zítřejší prověrku učit?“ anebo „Zvýší se, a popřípadě o kolik, marže logistického podniku, pokud nahradíme holuby samořízenými vzdušnými droidy?“ Ačkoliv se můžou zdát některé otázky trochu zvláštní, jedná se o typ otázek, na kterou není možno nalézt jednoznačnou odpověď. Na dotaz, zdali bude zítra pršet, lze odpovědět: „S pravděpodobností 78% pršet nebude.“ Na dotaz lajdáckého studenta může simulace odpovědět, že pokud bude test vypsán kantorem A, s pravděpodobností 99% neuspěje. A právě interpretace výsledků je klíčová pro správné zacházení s rozhodnutím, které bylo simulací nalezeno jako nejvhodnější.

Proces sestrojení simulace

Vytváření simulace začíná otázkou, na kterou nelze přímo odpovědět. Tato otázka by měla být obsahově významná. Pokud toto platí, pak je třeba zjistit, zdali tento problém už nějaká simulace neřešila. Jestliže je nazelena simulace, která je schopna tuto otázku replikovat, pak není třeba simulaci modelovat. Pokud ovšem žádná taková simulace neexistuje, je třeba ji navrhnout a vytvořit.

Dále je nutno ověřit, zdali vytvořený model koresponduje s realitou. Toto je blíže popsáno v kapitole Validace. Dále se provádí kontrola verifikací. Verifikací se realizuje kontrola modelu na bázi vnitřní struktury, neboli zda se chování a operace v modelu shoduje s naší představou o chování navrhovaného modelu. Poté je třeba simulovat danou problematiku dosazením vstupních parametrů. Simulace na konci vypočte pravděpodobný výsledek. Aby byly výsledky simulace více relevantní, je třeba ji spustit vícekrát. Výsledky se zapisují a lze z nich pak vytvářet rozhodovací tabulky či grafy. O tomto tématu bude pojednáno v kapitole o interpretaci výsledků.

Verifikace

Jak bylo v úvodu kapitoly zmíněno, jedná se o proces kontroly metod simulace vzhledem k formální specifikaci simulace. Bez verifikace není možné považovat výsledky testů za spolehlivé. Provádí se pomocí skupiny logických oprací, jejichž cílem je ověření nebo vyvrácení navrženého modelu.

Validace

Je procedura, při které se kontroluje chování simulace vzhledem reálnému chování modelovaného příkladu. Zjednodušeně řečeno se ověřují data, která jsou použitá na vstupi i v modelu. Taková data, jejichž interval musí být v hodnotách reálného chování. Pokud projde model validací, pak se může říci, že je jeho datová základna správná.

Interpretace výsledků

Histogram

Rozdělení výše profitu

Tato metoda je pro interpretaci výsledků jednou z nejrychlejších pohledů na vývoj ze simulace Monte Carlo. Opakované testy, které jsou zapisovány do tabulkového editoru (např. Excel), lze jednoduše statisticky převést na graf. Aby byl graf co možná nejvhodnější, je třeba se držet následujících pravidel:

Osa x je převedena na konkrétní hodnoty

• Data, která se zde zobrazují, jsou reprezentovány svislou osou y
• Vodorovná osa x slouží pro jednotku parametru, kterou simulace sleduje
• Měřítko je třeba uzpůsobit, aby se výsledky nejevili příliš stejné, a aby byl vidět trend grafu

Následující příklad je výsledkem simulace metodou Monte Carlo.Zdroj 1 Zadání úlohy se týká zjednodušené předpovědi prodejů, kde každý krok simulace bude zaznamenáván do tabulky. Celé zadání si lze přečíst zde.) Společnost XYZ by chtěla vědět, jak bude na trhu výnosná s jejich novým produktem. Zároveň si uvědomuje, že je zde spousta parametrů předem neznámých jako nejistota velikosti trhu, náklady společnosti a její výnosy. Po namodelování této simulace jsou provedeny testy, jejichž výsledky ústějí v tabulku, která má 5000 řádků a je dostupná ke stažení na adrese http://www.vertex42.com/ExcelArticles/mc/SalesForecast.html. Z této tabulky je pak profit převeden do grafu.

Z histogramu lze vyčíst následující informace:

• Zdá se, že výnos bude většinou pozitivní
• Nejistota je poměrně velká a to v rozmezí -1000 až 3400
• Rozdělení neodpovídá dokonalému Normálnímu rozdělení
• V grafu nejsou extrémní hodnoty, výjimky apod.

Jak je v úvodu uvedeno, ačkoliv lze histogram použít pro takto zevrubná pozorování, spíše je třeba se zajímat o hodnotu. Obecně o to, jestli je vyšší nebo nižší než stanovená hodnota anebo se nachází v/mimo rozmezí ze stanoveného intervalu. V tomto případě byl dotaz formulován tak, že odpověď musí vypadat. Předchozí diagram zobrazoval na ose x jakési bary, které zastupují pouze „slepé“ pravítko. V následujícím obrázku jsou výsledky vyobrazeny tak, aby každý sloupec x měl reálnou hodnotu.

Metoda maximální věrohodnosti

Tato metoda se používá obecně v matematické statistice k odhadu neznámých veličin. Tyto odhady jsou založeny na již pozorovaných datech. Metoda maximální věrohodnosti Metoda maximální věrohodnosti označuje jednu z centrálních metod matematické statistiky. Úlohou matematické statistiky je, zjednodušeně řečeno, odhad neznámých veličin v závislosti na pozorovaných (experimentálních) datech. K odhadu je zapotřebí vytvořit pravděpodobnostní model skutečné situace a ověřit, zdali je tento model aplikovatelný ve skutečnosti. Jakým způsobem jsou data zpracována, může čtenář naleznout zde Zdroj 2. Důležité ovšem je, že tato metoda pomáhá naleznout odhad věrohodnosti dat, které jsou výsledkem simulace Monte Carlo. Aby však tato metoda fungovala, musí být model simulace a pravděpodobnostní model odrazem reality. Pokud je vágní či zkreslený, pak je odhadovaný vývoj odhadu nesoudržný s výslednými daty simulace. Dále je pro tuto metodu klíčové mít dostatečné množství dat.

Interval spolehlivosti

Intervaly spolehlivosti jsou spíše nástrojem než metodou statistické analýzy. Definují, s jakou pravděpodobností se vyzkoumaný jev objeví. Tímto se samozřejmě řídí i výsledné hodnoty MC simulace. Příkladem bude 95% interval spolehlivosti. Pokud je vybráno 100 náhodně zvolených hodnot, 95% z nich bude v definovaném intervalu. Aplikováno na výše uvedený příklad z byznysu. Pro 95% výsledků bude profit ležet v intervalu <-1000; 3000> $. V intervalu (0; 3000> bude ležet 70% výsledků. Dále už je rozhodování na odpovědné osobě, zdali chce připustit pro svou firmu 30% riziko nenávratnosti při uvedení nového produktu na trh. Proč využívat interval spolehlivosti v interpretaci výsledků metody Monte Carlo?

Kolmogorovův-Smirnovův test

Příklad Kolmogorovův-Smirnova testu pro 1 výběr

Příklad Kolmogorovův-Smirnova testu pro 2 výběry

Tato metoda , která je také součástí matematické statistiky, testuje, jestli 2 proměnné pramení ze stejného rozdělení pravděpodobnosti. Pro výsledky z metody Monte Carlo může být tato interpretace klíčová. Dále testuje, zda má jedna hodnota předpokládané rozdělení.

Test existuje ve 2 verzích.

Test pro 1 výběr

Testo test ověřuje druh hypotéz, které zkoumají, zda má výsledek testu (proměnná) určité rozdělení (např. normální).

Výběr dat, určený k testování teoretického rozdělení, se uvede hypotézou Failed to parse (MathML with SVG or PNG fallback (recommended for modern browsers and accessibility tools): Invalid response ("Math extension cannot connect to Restbase.") from server "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle H_{0}} . Ke vstupu je nutné zasadit k tříd výběru Failed to parse (MathML with SVG or PNG fallback (recommended for modern browsers and accessibility tools): Invalid response ("Math extension cannot connect to Restbase.") from server "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle k} testování a jaký je druh teoretického rozdělení ke každé třídě. Všechny tyto třídy testovaného výběru pak musí mít spočteny četnosti Failed to parse (MathML with SVG or PNG fallback (recommended for modern browsers and accessibility tools): Invalid response ("Math extension cannot connect to Restbase.") from server "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle n_{1i}} a stejně tak se spočítají četnosti i pro teoretické rozdělení Failed to parse (MathML with SVG or PNG fallback (recommended for modern browsers and accessibility tools): Invalid response ("Math extension cannot connect to Restbase.") from server "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle n_{2i}} . Vzorec pro četnost: Failed to parse (MathML with SVG or PNG fallback (recommended for modern browsers and accessibility tools): Invalid response ("Math extension cannot connect to Restbase.") from server "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle f_{i}={\frac {n_{i}}{N}}={\frac {n_{i}}{\sum _{i}n_{i}}}} .

Poté je třeba aplikovat kumulativní rozdíl četností pro Failed to parse (MathML with SVG or PNG fallback (recommended for modern browsers and accessibility tools): Invalid response ("Math extension cannot connect to Restbase.") from server "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle N_{1i}} a Failed to parse (MathML with SVG or PNG fallback (recommended for modern browsers and accessibility tools): Invalid response ("Math extension cannot connect to Restbase.") from server "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle N_{2i}} . Pro znázornění jak vypočítat Failed to parse (MathML with SVG or PNG fallback (recommended for modern browsers and accessibility tools): Invalid response ("Math extension cannot connect to Restbase.") from server "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle N_{ai}=\sum _{j=1}^{i}n_{aj}} , kde Failed to parse (MathML with SVG or PNG fallback (recommended for modern browsers and accessibility tools): Invalid response ("Math extension cannot connect to Restbase.") from server "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle a} představuje 1 nebo 2 v závislosti k hodnocení třídy výběru nebo k hodnocení třídy teoretického rozdělení.

Rozdíl je pak formulován následujícím vzorcem, jehož výslledek představuje hodnocené kritérium:

Failed to parse (MathML with SVG or PNG fallback (recommended for modern browsers and accessibility tools): Invalid response ("Math extension cannot connect to Restbase.") from server "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle D_{1}={\frac {1}{n}}\max _{i}|N_{1i}-N_{2i}|\} , kde Failed to parse (MathML with SVG or PNG fallback (recommended for modern browsers and accessibility tools): Invalid response ("Math extension cannot connect to Restbase.") from server "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle n} zastupuje celkový počet prvků výběru.

Výsledná hodnota Failed to parse (MathML with SVG or PNG fallback (recommended for modern browsers and accessibility tools): Invalid response ("Math extension cannot connect to Restbase.") from server "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle D_{1}} je srovnána s Failed to parse (MathML with SVG or PNG fallback (recommended for modern browsers and accessibility tools): Invalid response ("Math extension cannot connect to Restbase.") from server "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle D_{1max}} , což je krajní hodnota pro hladinu význmnosti, značená α. Pro celkový počet výběru Failed to parse (MathML with SVG or PNG fallback (recommended for modern browsers and accessibility tools): Invalid response ("Math extension cannot connect to Restbase.") from server "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle n\leq 40} je rozdělení k dispozici zde. Pokud je Failed to parse (MathML with SVG or PNG fallback (recommended for modern browsers and accessibility tools): Invalid response ("Math extension cannot connect to Restbase.") from server "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle n>40} , Failed to parse (MathML with SVG or PNG fallback (recommended for modern browsers and accessibility tools): Invalid response ("Math extension cannot connect to Restbase.") from server "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle D_{1max}} je nutné spočítat. K tomuto účelu se podle níže uvedené tabulky tato hodnota dopočítá.

Test pro 2 výběry

Test pro 2 výběry slouží ke srovnávání 2 výběrů rozdělení náhodných veličin.

V hypotéze Failed to parse (MathML with SVG or PNG fallback (recommended for modern browsers and accessibility tools): Invalid response ("Math extension cannot connect to Restbase.") from server "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle H_{0}} je uvedeno, že u obou výběrů dochází ke stejnému rozdělení. Srovnávání probíhá podobným způdobem jako u testu s jedním výběrem. V testu pro 2 výběry se porovnává rozdíl buď kumulativních četností, a to pro ( Failed to parse (MathML with SVG or PNG fallback (recommended for modern browsers and accessibility tools): Invalid response ("Math extension cannot connect to Restbase.") from server "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle n\leq 40} ) anebo se srovnává rozdíl 2 výběrů relativních kumulativních četností pro ( Failed to parse (MathML with SVG or PNG fallback (recommended for modern browsers and accessibility tools): Invalid response ("Math extension cannot connect to Restbase.") from server "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle n>40} ). Přitom platí, že Failed to parse (MathML with SVG or PNG fallback (recommended for modern browsers and accessibility tools): Invalid response ("Math extension cannot connect to Restbase.") from server "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle n_{1},n_{2}} představují sumy počtu elementů z výběru. výpočet kumulativních četností je uveden v kapitole Test pro 1 výběr. Pro relativní kumulativní četnosti platí následující formule: Failed to parse (MathML with SVG or PNG fallback (recommended for modern browsers and accessibility tools): Invalid response ("Math extension cannot connect to Restbase.") from server "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle F_{1i}={\frac {1}{n}}N_{1i}} , Failed to parse (MathML with SVG or PNG fallback (recommended for modern browsers and accessibility tools): Invalid response ("Math extension cannot connect to Restbase.") from server "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle F_{2i}={\frac {1}{n}}N_{2i}} . Hodnoceným kritérium je Failed to parse (MathML with SVG or PNG fallback (recommended for modern browsers and accessibility tools): Invalid response ("Math extension cannot connect to Restbase.") from server "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle D_{2}}  :

Failed to parse (MathML with SVG or PNG fallback (recommended for modern browsers and accessibility tools): Invalid response ("Math extension cannot connect to Restbase.") from server "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle D_{2}=\max _{i}|N_{1i}-N_{2i}|\} , Failed to parse (MathML with SVG or PNG fallback (recommended for modern browsers and accessibility tools): Invalid response ("Math extension cannot connect to Restbase.") from server "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle D_{2}=\max _{i}|F_{1i}-F_{2i}|\} .

Failed to parse (MathML with SVG or PNG fallback (recommended for modern browsers and accessibility tools): Invalid response ("Math extension cannot connect to Restbase.") from server "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle D_{2max}} se vypočítá k vybrané hladině významnosti podle tabulky:

Pro účely vyhodnocení výsledků a srovnávání s naměřenými hodnotami je vhodnější použít test pro 2 výběry proměnných a zobrazit je trendem vůči bodovému grafu. Pro ukázku jak může vypadat srovnání v testu pro 1 a 2 výběry na obrázku vpravo.

Forma výsledků

Porovnávání výsledků s intervaly, a rozhodování na základě zvolených podmínek je kritické ke konečnému rozhodnutí. Každá simulace musí ve výsledku zodpovědět určitou otázku. Je však nejisté, které hodnoty lze považovat za splněné a které nikoliv. Proto je třeba volit interval hodnotu nebo jednu hodnotu, se kterou se výsledek porovnává, obezřetně.

Interval

V kapitole Interval spolehlivosti bylo uvedeno, pro jaký interval je výsledek z dané spolehlivosti relevantní. Avšak lze vyhodnocovat i obráceným způsobem. Pokud je zadán interval, je třeba vypočíat, na kolik pravděpodobný bude je i výsledek ze simulace, tzn. na kolik bude pravděpodobné chování v realitě.

Hodnota

Pro hodnotu platí , že výsledek simulace se srovnává operátory větší a menší než.

Jiný pohled

Jakože výnosy porostou, ale realita bude spíše, pravděpodobnost že to krachne

Reference

http://www.kgs.ku.edu/Conferences/IAMG//Sessions/L/Papers/makino.pdf

1 http://www.vertex42.com/ExcelArticles/mc/MonteCarloSimulation.html

2 http://www.webpages.uidaho.edu/~stevel/565/literature/em.pdf