Metody pro interpretaci výsledků simulacích založených na Monte Carlu

Úvod

Metoda Monte Carlo je nástrojem pro vytváření kvalifikovaných odhadů na základě předchozích dat. Odhaduje s určitou pravděpodobností vývoj událostí, který nelze určit přímým výpočtem a pracuje s nahodilými proměnnými, kterým se říká pseudonáhodná čísla. Podstatou nástroje není fyzická aplikace, nýbrž metodika jak dosáhnout omezeného počtu odpovědí na jasně danou otázku. Příklad takových otázek může být následující formu: „Bude zítra pršet?“, „Je potřeba se na zítřejší prověrku učit?“ anebo „Zvýší se, a popřípadě o kolik, marže logistického podniku, pokud nahradíme holuby samořízenými vzdušnými droidy?“ Ačkoliv se můžou zdát některé otázky trochu zvláštní, jedná se o typ otázek, na kterou není možno nalézt jednoznačnou odpověď. Na dotaz, zdali bude zítra pršet, lze odpovědět: „S pravděpodobností 78% pršet nebude.“ Na dotaz lajdáckého studenta může simulace odpovědět, že pokud bude test vypsán kantorem A, s pravděpodobností 99% neuspěje. A právě interpretace výsledků je klíčová pro správné zacházení s rozhodnutím, které bylo simulací nalezeno jako nejvhodnější.

Proces sestrojení simulace

Vytváření simulace začíná otázkou, na kterou nelze přímo odpovědět. Tato otázka by měla být obsahově významná. Pokud toto platí, pak je třeba zjistit, zdali tento problém už nějaká simulace neřešila. Jestliže je nazelena simulace, která je schopna tuto otázku replikovat, pak není třeba simulaci modelovat. Pokud ovšem žádná taková simulace neexistuje, je třeba ji navrhnout a vytvořit.

Dále je nutno ověřit, zdali vytvořený model koresponduje s realitou. Toto je blíže popsáno v kapitole Validace. Dále se provádí kontrola verifikací. Verifikací se realizuje kontrola modelu na bázi vnitřní struktury, neboli zda se chování a operace v modelu shoduje s naší představou o chování navrhovaného modelu. Poté je třeba simulovat danou problematiku dosazením vstupních parametrů. Simulace na konci vypočte pravděpodobný výsledek. Aby byly výsledky simulace více relevantní, je třeba ji spustit vícekrát. Výsledky se zapisují a lze z nich pak vytvářet rozhodovací tabulky či grafy. O tomto tématu bude pojednáno v kapitole o interpretaci výsledků.

Verifikace

Jak bylo v úvodu kapitoly zmíněno, jedná se o proces kontroly metod simulace vzhledem k formální specifikaci simulace. Bez verifikace není možné považovat výsledky testů za spolehlivé. Provádí se pomocí skupiny logických oprací, jejichž cílem je ověření nebo vyvrácení navrženého modelu.

Validace

Je procedura, při které se kontroluje chování simulace vzhledem reálnému chování modelovaného příkladu. Zjednodušeně řečeno se ověřují data, která jsou použitá na vstupi i v modelu. Taková data, jejichž interval musí být v hodnotách reálného chování. Pokud projde model validací, pak se může říci, že je jeho datová základna správná.

Interpretace výsledků

Histogram

Rozdělení výše profitu

Tato metoda je pro interpretaci výsledků jednou z nejrychlejších pohledů na vývoj ze simulace Monte Carlo. Opakované testy, které jsou zapisovány do tabulkového editoru (např. Excel), lze jednoduše statisticky převést na graf. Aby byl graf co možná nejvhodnější, je třeba se držet následujících pravidel:

Osa x je převedena na konkrétní hodnoty

• Data, která se zde zobrazují, jsou reprezentovány svislou osou y
• Vodorovná osa x slouží pro jednotku parametru, kterou simulace sleduje
• Měřítko je třeba uzpůsobit, aby se výsledky nejevili příliš stejné, a aby byl vidět trend grafu

Následující příklad je výsledkem simulace metodou Monte Carlo.Zdroj 1 Zadání úlohy se týká zjednodušené předpovědi prodejů, kde každý krok simulace bude zaznamenáván do tabulky. Celé zadání si lze přečíst zde.) Společnost XYZ by chtěla vědět, jak bude na trhu výnosná s jejich novým produktem. Zároveň si uvědomuje, že je zde spousta parametrů předem neznámých jako nejistota velikosti trhu, náklady společnosti a její výnosy. Po namodelování této simulace jsou provedeny testy, jejichž výsledky ústějí v tabulku, která má 5000 řádků a je dostupná ke stažení na adrese http://www.vertex42.com/ExcelArticles/mc/SalesForecast.html. Z této tabulky je pak profit převeden do grafu.

Z histogramu lze vyčíst následující informace:

• Zdá se, že výnos bude většinou pozitivní
• Nejistota je poměrně velká a to v rozmezí -1000 až 3400
• Rozdělení neodpovídá dokonalému Normálnímu rozdělení
• V grafu nejsou extrémní hodnoty, výjimky apod.

Jak je v úvodu uvedeno, ačkoliv lze histogram použít pro takto zevrubná pozorování, spíše je třeba se zajímat o hodnotu. Obecně o to, jestli je vyšší nebo nižší než stanovená hodnota anebo se nachází v/mimo rozmezí ze stanoveného intervalu. V tomto případě byl dotaz formulován tak, že odpověď musí vypadat. Předchozí diagram zobrazoval na ose x jakési bary, které zastupují pouze „slepé“ pravítko. V následujícím obrázku jsou výsledky vyobrazeny tak, aby každý sloupec x měl reálnou hodnotu.

Metoda maximální věrohodnosti

Tato metoda se používá obecně v matematické statistice k odhadu neznámých veličin. Tyto odhady jsou založeny na již pozorovaných datech. Metoda maximální věrohodnosti Metoda maximální věrohodnosti označuje jednu z centrálních metod matematické statistiky. Úlohou matematické statistiky je, zjednodušeně řečeno, odhad neznámých veličin v závislosti na pozorovaných (experimentálních) datech. K odhadu je zapotřebí vytvořit pravděpodobnostní model skutečné situace a ověřit, zdali je tento model aplikovatelný ve skutečnosti. Jakým způsobem jsou data zpracována, může čtenář naleznout zde Zdroj 2. Důležité ovšem je, že tato metoda pomáhá naleznout odhad věrohodnosti dat, které jsou výsledkem simulace Monte Carlo. Aby však tato metoda fungovala, musí být model simulace a pravděpodobnostní model odrazem reality. Pokud je vágní či zkreslený, pak je odhadovaný vývoj odhadu nesoudržný s výslednými daty simulace. Dále je pro tuto metodu klíčové mít dostatečné množství dat.

Interval spolehlivosti

Intervaly spolehlivosti jsou spíše nástrojem než metodou statistické analýzy. Definují, s jakou pravděpodobností se vyzkoumaný jev objeví. Tímto se samozřejmě řídí i výsledné hodnoty MC simulace. Příkladem bude 95% interval spolehlivosti. Pokud je vybráno 100 náhodně zvolených hodnot, 95% z nich bude v definovaném intervalu. Aplikováno na výše uvedený příklad z byznysu. Pro 95% výsledků bude profit ležet v intervalu <-1000; 3000> $. V intervalu (0; 3000> bude ležet 70% výsledků. Dále už je rozhodování na odpovědné osobě, zdali chce připustit pro svou firmu 30% riziko nenávratnosti při uvedení nového produktu na trh. Proč využívat interval spolehlivosti v interpretaci výsledků metody Monte Carlo?

Kolmogorovův-Smirnovův test

Příklad Kolmogorovův-Smirnova testu pro 1 výběr

Příklad Kolmogorovův-Smirnova testu pro 2 výběry

ZDROJ 4

Tato metoda, která je také součástí matematické statistiky, testuje, jestli 2 proměnné pramení ze stejného rozdělení pravděpodobnosti. Pro výsledky z metody Monte Carlo může být tato interpretace klíčová. Dále testuje, zda má jedna hodnota předpokládané rozdělení. ZDROJ 3 Test existuje ve 2 verzích:

Test pro 1 výběr

Test pro 2 výběry

Pro účely vyhodnocení výsledků a srovnávání s naměřenými hodnotami je vhodnější použít test pro 2 výběry proměnných a zobrazit je trendem vůči bodovému grafu. Pro ukázku jak může vypadat srovnání v testu pro 1 a 2 výběry na obrázku vpravo.

Forma výsledků

Porovnávání výsledků s intervaly, a rozhodování na základě zvolených podmínek je kritické ke konečnému rozhodnutí. Každá simulace musí ve výsledku zodpovědět určitou otázku. Je však nejisté, které hodnoty lze považovat za splněné a které nikoliv. Proto je třeba volit interval hodnotu nebo jednu hodnotu, se kterou se výsledek porovnává, obezřetně.

Interval

V kapitole Interval spolehlivosti bylo uvedeno, pro jaký interval je výsledek z dané spolehlivosti relevantní. Avšak lze vyhodnocovat i obráceným způsobem. Pokud je zadán interval, je třeba vypočíat, na kolik pravděpodobný bude je i výsledek ze simulace, tzn. na kolik bude pravděpodobné chování v realitě.

Hodnota

Pro hodnotu platí , že výsledek simulace se srovnává operátory větší a menší než.

Jiný pohled

Jakože výnosy porostou, ale realita bude spíše, pravděpodobnost že to krachne

Reference

http://www.kgs.ku.edu/Conferences/IAMG//Sessions/L/Papers/makino.pdf

1 http://www.vertex42.com/ExcelArticles/mc/MonteCarloSimulation.html

2 http://www.webpages.uidaho.edu/~stevel/565/literature/em.pdf

3 http://telliott99.blogspot.gr/2012/04/ks-test.html

4 http://www.physics.csbsju.edu/stats/KS-test.html