Willkommen bei Stats by Randolph. Hier geht es zur Hauptseite mit weiteren Informationen und Inhalten.

Autor:innen dieser Seite: An den Inhalten dieser Seite haben mitgearbeitet: Valentin Koob, Eva Röttger und Markus Janczyk. Der Inhalt dieser Seite wird in der Lehre in den Studiengängen Psychologie von der AG Forschungsmethoden und Kognitive Psychologie an der Universität Bremen verwendet, steht aber allen Interessierten zur Verfügung. Rückmeldungen/Fehler/Vorschläge können gesendet werden an .

Versionshistory:

  • v1.2: modifizierte Simulation zur Grenzwertbetrachtung von Wahrscheinlichkeiten (30.11.2023)
  • v1.1: sprachlich korrigierte und leicht überarbeitete Version (14.9.2023)
  • v1.0: erste online-gestellte Version (31.8.2023)

8 Grundlagen der Stochastik

8.1 Einführung

Die Stochastik bezeichnet ein Teilgebiet der Mathematik, das sich mit der Beschreibung von zufälligen Vorgängen und deren Ausgängen beschäftigt. Stochastisch bedeutet dabei “zufällig”. Ein Ereignis wird als zufällig bezeichnet, wenn sein Ausgang grundsätzlich nicht vorhersehbar ist. Sie umfasst die Gebiete der Wahrscheinlichkeitstheorie und der mathematischen Statistik. In dieser Online-Reihe zur Statistik werden wir uns primär mit Verfahren beschäftigen, die auf Basis von Beobachtungsdaten Modellparameter und deren Verteilungen schätzen, um Aussagen über die Angemessenheit von Hypothesen zu treffen. Hierfür sind jedoch einige wahrscheinlichkeitstheoretische Konzepte notwendig, die wir zuerst behandeln wollen.

Erstaunlicherweise haben die meisten Menschen, auch wenn sie wenig Erfahrung mit der Stochastik haben, ein sehr gutes intuitives Verständnis von Wahrscheinlichkeiten (zumindest bis zu einem gewissen Schwierigkeitsgrad der gestellten Probleme). Stellen wir uns einmal vor, wir würden einen 6-seitigen Würfel werfen und müssten vorher angeben, mit welcher Wahrscheinlichkeit bzw. Chance wir eine 6 werfen werden. Die meisten Personen werden richtig antworten, dass die “Wahrscheinlichkeit ein Sechstel” (\(\frac{1}{6}\)) bzw. “eine Chance von 1 zu 6” beträgt – haben wir doch bereits als Kinder im Zuge von Gesellschaftsspielen mit den Eltern leidliche Erfahrungen mit dem Zufall machen müssen.

Um zu dieser Erkenntnis zu gelangen, machen wir uns in der Regel bewusst, dass es beim Würfelwurf sechs verschiedene Ausgänge geben kann, von denen alle gleich wahrscheinlich sind (sofern der Würfel nicht manipuliert ist). Sind wir nun an der Wahrscheinlichkeit eines bestimmten Ausgangs interessiert, so ist die gesuchte Wahrscheinlichkeit das Verhältnis der Anzahl der möglichen Ausgänge die zum fraglichen Ereignis passen (im Beispiel wäre dies 1, da die 6 auf dem Würfel eben nur einmal vorkommt) zur Gesamtanzahl der möglichen Ausgänge (im Beispiel wäre dies 6, da der Würfel sechs verschiedene Zahlen umfasst). Eine solche Situation wird in der Stochastik als Laplace-Experiment bezeichnet, und im Folgenden werden wir die formalen Grundlagen für diese und andere stochastische Situationen klären.

Interessanterweise erklärt eine solche Logik nur die Intuition hinter unserer Einschätzung von Wahrscheinlichkeiten, nicht jedoch die genaue Bedeutung der Wahrscheinlichkeit selbst. Grundsätzlich lassen sich zwei Arten von Wahrscheinlichkeitsbegriffen unterscheiden: der objektive und der subjektive Wahrscheinlichkeitsbegriff. Der entscheidende Unterschied liegt darin, wie wir zu einer Wahrscheinlichkeitsaussage über ein Ereignis gelangen. Bei dem sogenannten objektiven Wahrscheinlichkeitsbegriff hängt die Wahrscheinlichkeitsaussage nicht von einer einzelnen Person ab, sondern sie basiert auf einer frequentistischen Betrachtungsweise, die sich auf relative Häufigkeiten stützt. Das bedeutet, dass die Wahrscheinlichkeit für das Eintreten eines Ereignisses (zum Beispiel das Werfen einer bestimmten Zahl bei einem Würfelwurf) der relativen Häufigkeit dieses Ereignisses auf lange Sicht entspricht. Wenn wir den Würfel theoretisch unendlich oft werfen und bei jedem Wurf die entsprechende Augenzahl notieren würden, wäre die objektive Wahrscheinlichkeit für eine bestimmte Augenzahl identisch mit ihrer relativen Häufigkeit. Der subjektive Wahrscheinlichkeitsbegriff hingegen bezieht sich auf die persönliche Einschätzung der Wahrscheinlichkeit von Ereignissen und löst sich dabei von jeder Notwendigkeit eines beobachtbaren und wiederholbaren Prozesses. Zum Beispiel könnte es heißen: “Meine Freundin wird mich wahrscheinlich bald besuchen.”, oder, “Ich bin mir sicher, dass es Menschen auf dem Mars gibt”. Diesem und den folgenden Teilen legen wir den frequentistischen (objektiven) Wahrscheinlichkeitsbegriff zu Grunde.

8.2 Grundlagen

8.2.1 Das Zufallsexperiment

Im Zuge der Stochastik werden Zufallsvorgänge mathematisch beschrieben. In der Regel bezeichnen wir diese Zufallsvorgänge als sogenannte Zufallsexperimente. Obwohl eine exakte Definition nicht wirklich möglich ist, beschreiben wir hier ein Zufallsexperiment als einen Vorgang oder Versuch, der exakt festgelegte Bedingungen besitzt und unter diesen gleichen Bedingungen (im Prinzip) unendlich oft wiederholbar ist. Dabei sind zwar die möglichen Ausgänge bekannt, der Ausgang einer konkreten Durchführung des Zufallsexperiments ist jedoch nicht vorhersehbar. Ein Zufallsexperiment ist also eine Beschreibung eines stochastischen Versuchs. Klassische Beispiele hierfür sind das Werfen einer Münze, das einmalige Werfen eines Würfels oder das dreimalige Werfen eines Würfels. Im Bereich der Statistik sind weitere einschlägige Beispiele das Ziehen einer Person in eine Stichprobe oder das Ziehen einer möglichen Stichprobe aus einer Population.

Ein Zufallsexperiment besitzt also zwei Charakteristika:

  1. Man kennt die (Menge der) möglichen Ausgänge, …
  2. …weiß jedoch nicht, welches Ergebnis im Einzelfall eintritt (da dies vom Zufall abhängt).

Mathematisch kann man am Beispiel des Münzwurfs die möglichen Ausgänge eines Zufallsexperiments als Menge beschreiben:

\[\text{Menge der möglichen Ausgänge = }\{\text{"Kopf"},\text{"Zahl"}\}\]

Den Ausgängen, also den Elementen der Menge, werden nun Zahlen zugeordnet, die Wahrscheinlichkeiten darstellen.

Da wir ab nun die möglichen Ausgänge von Zufallsvorgängen/-experimenten als Mengen behandeln werden, wollen wir kurz die Mengentheorie und manche ihrer Rechenregeln behandeln.

8.2.2 Exkurs: Mengenlehre

Grundlegend sind Mengen Ansammlungen bzw. Zusammenfassungen von Elementen. Dabei kann die Anzahl der Elemente innerhalb einer Menge beliebig groß oder klein sein, das heißt, Mengen können null Elemente, eine abzählbare Anzahl an Elementen, oder sogar unendlich viele Elemente besitzen. Mengen werden i.d.R. mit Großbuchstaben, ihre Elemente mit Kleinbuchstaben bezeichnet. Möchte man die Elemente einer Menge explizit auflisten, so werden i.d.R. geschweifte Klammern benutzt.

Beispiel: Eine Menge \(A\), welche alle natürlichen Zahlen von 1 bis 5 beinhaltet, könnte so geschrieben werden:

\[A = \{1,2,3,4,5\}\] Dabei ist es wichtig zu beachten, dass eine Menge darüber definiert ist, welche Elemente sie beinhaltet, wobei eine Ordnung der Elemente bzw. das mehrfache Vorkommen von Elementen irrelevant ist. Hieraus folgt, dass bspw. die Menge \(A\) äquivalent zu den Mengen \(\{1,5,4,3,2\}\) oder \(\{1,1,5,4,3,2\}\) ist.

Um zu beschreiben, dass ein Element \(a\) in einer Menge \(A\) vorkommt, schreiben wir: \[a \in A \quad (\text{bspw. }1 \in A),\] bzw. wenn sie nicht vorkommt: \[ a \notin A \quad (\text{bspw. }6 \notin A) .\]

Es gibt eine Vielzahl unterschiedlicher Mengen, sodass manche von Ihnen ein besonderes Symbol erhalten. Beispiele für Mengen, die uns bereits begegnet sind oder im Folgenden häufiger begegnen werden sind die …

  • …Menge der natürlichen Zahlen: \(\mathbb{N}\)
  • …Menge der reellen Zahlen: \(\mathbb{R}\)
  • …leere Menge (welche keine Elemente besitzt): \(\emptyset\)

Neben der expliziten Auflistung von Elementen einer Menge (bspw. \(A=\{1,2,3,4,5\}\)) oder der Definition bestimmter Symbole für besondere Mengen (bspw. \(\mathbb{R}\)), gibt es weitere Arten eine Menge zu beschreiben. Die geläufigsten Varianten sind:

  • \(A=\{1,2,\ldots, 5\}\) (“\(\ldots\)” symbolisiert eine Fortführung der Folge)
  • \(A=\{x | x\in\mathbb{N}\text{ und }1\leq x \leq 5\}\) (der \(|\) Operator definiert Bedingungen rechts des Operators, die erfüllt sein müssen, damit \(x\) Teil der Menge \(A\) wird)

Arbeitet man mit mehreren Mengen (bspw. \(A\) und \(B\)), so lassen sich bestimmte Beziehungen zwischen diesen bzw. Mengenoperationen auf diesen Mengen definieren:

  1. Man sagt \(A\) ist eine Teilmenge von \(B\) (\(A\subseteq B\)), wenn jedes Element von \(A\) auch in \(B\) enthalten ist. Enthält \(B\) mehr Elemente als \(A\), so spricht man von einer echten Teilmenge.

  2. Die Schnittmenge von \(A\) und \(B\) (\(A\cap B\)) ist die Menge derjenigen Elemente, die sowohl in \(A\) als auch in \(B\) enthalten sind.

  3. Die Vereinigungsmenge von \(A\) und \(B\) (\(A\cup B\)) ist die Menge derjenigen Elemente, die in \(A\) oder in \(B\) enthalten sind.

  4. Die Differenzmenge von \(A\) und \(B\) (\(A\setminus B\)) ist die Menge derjenigen Elemente, die in \(A\) enthalten sind, aber nicht in \(B\).

  5. Wenn \(A\subseteq B\) ist, dann ist die Komplementärmenge von \(A\) bzgl. \(B\) (\(\bar{A}\)) die Menge \(B\), ohne die Elemente von \(A\) (\(\bar{A}=B\setminus A\)).

  6. Die Potenzmenge \(\mathcal{P}(A)\) ist die Menge, die alle Teilmengen von \(A\) enthält, inkl. \(A\) selber und der leeren Menge \(\emptyset\). Die Elemente der Potenzmenge sind also wiederum Mengen.

  7. Die Mächtigkeit (oder Kardinalität ) \(|A|\) gibt an, wie viele Elemente in \(A\) enthalten sind.

Zum besseren Verstädnnis betrachten wir nun ein paar Beispiele, wobei wir von beiden Mengen \(A=\{1,2,3,4,5\}\) und \(B=\{4,5,6\}\) ausgehen:

  1. \(A\) ist keine Teilmenge von \(B\), da nicht alle Elemente in \(A\) auch in \(B\) vorkommen (\(A\nsubseteq B\))
  2. \(A\cap B = \{4,5\}\)
  3. \(A\cup B = \{1,2,3,4,5,6\}\)
  4. \(A\setminus B = \{1,2,3\}\)

Sei nun \(A=\{1,2,3\}\) und \(B=\{1,2,3,4,5,6\}\), sodass \(A\) eine echte Teilmenge von \(B\) ist (\(A \subset B\)), dann wären die Komplementärmenge von \(A\) bzgl. \(B\) also \(\bar{A} = \{4,5,6\}\).

Für die eben beschriebenen Mengenoperationen gibt es zudem Rechenregeln, die konzeptuell denen für das Rechnen mit reellen Zahlen ähnlich sind:

  1. Kommutativgesetz:
    • \(A\cap B = B\cap A\)
    • \(A\cup B = B\cup A\)
  2. Assoziativgesetz:
    • \((A\cap B)\cap C = A \cap(B\cap C)\)
    • \((A\cup B)\cup C = A \cup(B\cup C)\)
  3. Distributivgesetz:
    • \((A\cup B)\cap C = (A \cap C)\cup(B\cap C)\)
    • \((A\cap B)\cup C = (A \cup C)\cap(B\cup C)\)

8.2.3 Zufallsergebnisse und -ereignisse

Die Mengenlehre bildet die Grundlage zur formalen Beschreibung eines Zufallsexperiments. Dabei werden alle möglichen Ausgänge eines Zufallsexperimentes als Ergebnisse bezeichnet, wobei ein Ergebnis oft als \(\omega_j\) (“klein Omega”) bezeichnet wird. Im Folgenden werden wir zunächst nur Fälle mit endlich vielen Ergebnissen betrachten. Die Menge, welche nun alle Ergebnisse enthält, heißt Ergebnismenge und wird mit \(\Omega = \{\omega_1,\ldots,\omega_n\}\) bezeichnet (“groß Omega”).

Beim einmaligen Werfen einer Münze mit den Ausgängen Kopf und Zahl (K bzw. Z) wäre die Ergebnismenge bspw. \[\Omega=\{K,Z\}\quad ,\] beim einmaligen Werfen eines Würfels hingegen \[\Omega=\{1,2,3,4,5,6\} \quad.\] Es kann vorkommen, dass ein Zufallsexperiment aus mehreren Teilprozessen besteht. Betrachten wir beispielsweise die Ausgänge beim zweimaligen Werfen einer Münze, wobei die beiden Münzen unterscheidbar sind, so besteht jeder Ausgang aus zwei Teilausgängen; dem Ausgang des ersten und dem Ausgang des zweiten Münzwurfs. Diese Teilausgängen werden dann in sog. n-Tupeln mit runden Klammern gelistet, wobei n für die Anzahl der Teilausgänge steht. Beim zweimaligen Münzwurf mit unterscheidbaren Münzen ist die Menge aller Ausgänge wie folgt darstellbar

\[\Omega = \{(K, K),\; (K, Z),\; (Z, K),\; (Z, Z) \} \quad ,\] wobei ein Element der Menge \(\Omega\) eine mögliche Kombination der beiden Teilausgänge zusammenfasst.

Die Ergebnismenge \(\Omega\) stellt die essenzielle Grundlage zur Beschreibung eines Zufallsexperiments dar. Auf dieser Menge bauen nun weitere Mengen bzw. Operationen auf.

Ein Ereignis ist eine Teilmenge der Ergebnismenge, welche somit einen Teil der möglichen Ergebnisse beinhaltet, \[A\subseteq \Omega,\] wobei die einelementigen Teilmengen \(\{\omega_1\},\ldots,\{\omega_n\}\) als Elementarereignisse bezeichnet werden. Man sagt, dass ein Ereignis \(A\) eingetreten ist, wenn das Ergebnis \(\omega_j\) eines Durchgangs des Zufallsexperiments in \(A\) enthalten ist, also \(\omega_j \in A\) ist.

Beispiele für mögliche Ereignisse beim einmaligen Werfen eines Würfels:

  • Das Ereignis “gerade Zahl”: \(A=\{2,4,6\}\).
  • Das Ereignis “Zahl kleiner als 3”: \(A=\{1,2\}\).
  • Das “sichere Ereignis”: \(A=\{1,2,3,4,5,6\}=\Omega\).
  • Das “unmögliche Ereignis”: \(A=\emptyset\).

Ereignisse fassen also alle möglichen Ergebnisse des Zufallsexperiments zusammen, die zum Eintreten des jeweiligen Ereignisses führen. Die Menge aller denkbaren Ereignisse ist also die Potenzmenge der Ergebnismenge: \[\mathcal{P}(\Omega)\]

8.3 Wahrscheinlichkeitstheorie - Grundlagen

Auf einer jeden Ergebnismenge \(\Omega\) eines Zufallsexperiments baut die Wahrscheinlichkeitstheorie auf. Schließlich ist Kennzeichen eines Zufallsexperimentes ja, dass man nicht weiß, welches Ergebnis (und damit auch Ereignis) eintritt. Die “Chance” des Eintretens eines Ereignisses \(A\) versucht man daher mit Zahlen zu beschreiben. Gehorchen diese Zahl einer gewissen Axiomatik, dann heißen sie Wahrscheinlichkeiten. Die Wahrscheinlichkeit des Eintretens von Ereignis \(A\) wird \(P(A)\) geschrieben.

8.3.1 Die Axiome von Kolmogorow

Diese auch als Wahrscheinlichk