Rappel
En statistique, tout se repose toujours sur une idée simple : soit un ensemble d’objet P appelé population, dont certains nombres de ses caractéristiques sont inconnus. Le but consiste à étudier la variabilité des caractéristiques propres à ces objets. Lorsque toute la population peut être étudiée, nous pouvons alors décrire les données observées, après études ,et résumer les informations contenues. Cela à l’aide de représentation graphique (camembert, histogramme . . . ) et des indicateurs statistiques (indicateur de dispersion, de tendance centrale . . . ). Le but est donc de décrire les données en forme plus lisible. Toutes ces méthodes relèvent de ce que l’on appelle la statistique descriptive. Mais lorsque toute la population est non observable, ce qui est dans la majorité des cas (faute de grandeur de la population, ou faute de moyen financier, …), l’étude ne pourra se limiter que sur un sous-ensemble d’objet de la population, appelé échantillon. Nous chercherons donc à déterminer les caractéristiques de la population, via ceux de l’échantillon, parinduction. Connaissant les caractéristiques de l’échantillon, on essaie d’évaluer celles de la population après observation de celles de l’échantillon. En d’autres termes, on estimera les propriétés inconnues de la distribution de la population en se basant sur les propriétés connues de la distribution d’un échantillon tiré de cette population. La statistique inférentielle, pour sa part, élabore ces méthodes afin de parvenir à un jugement ou à une décision au vu des résultats d’un échantillon.
Principe Bayésien
Avec l’approche fréquentiste, le paramètre inconnu θ est considéré non aléatoire, mais juste comme étant une simple variable, alors que dans cette nouvelle approche, l’idée même de base est de considérer le paramètre inconnu θ comme aléatoire et admettant une densité que nous noterons π(θ) appelé densité a priori.
Notion de coût, de décision et de risque
Le problème auquel on s’intéresse ici est celui d’un individu plongé dans un environnement donné (nature) et qui, sur la base d’observations, est conduit à mener des actions et à prendre des décisions qui auront un coût. Considérons donc les espaces suivants :
X : L’espace des observations.
Θ : L’espace des états de nature(l’espace des paramètres en statistique).
A : L’espace des actions ou décisions. On note a une action.
D : L’ensemble des règles de décision. On note δ une décision.
L’inférence consiste à choisir une règle de décision δ ∈ D concernant θ ∈ Θ sur la base d’une observation x ∈ X , x et θ étant liés par la loi f(x|θ). Ici, la règle de décision est un estimateur, l’action est une estimation (valeur de l’estimateur au point d’observation x). Pour choisir une décision, on construit une relation de préférence en considérant une mesure coût ou perte encourue lorsqu’on prend la décision δ(x) et que l’état de nature est θ.
Conclusion
Nous avons vu que l’approche bayésienne présente un avantage par rapport à son voisin, le fréquentiste, du fait qu’il peut contourner la nécessité des approximations asymptotiques, qui est la base même de l’approche fréquentiste. Grâce à la loi a priori, toutes les informations sont réunies dans la distribution a postériori. Et grâce à elle, on peut passer directement à l’inférence (estimation ponctuelle et région de crédibilité). Par contre, nous avons vu que ce privilège présente un grand problème. Le calcul de la loi a postériori,à cause de son dénominateur f(x) = RΘf(x | θ)π(θ)dθ , présente toujours de problème ce qui rend les méthodes bayésiennes mises de côté durant plusieurs années. Elle requiert des calculs d’intégrales, souvent impossibles à la main. Le but de cette étude est de présenter l’algorithme MCMC qui est un algorithme stochastique comme celui de Monte Carlo, mais le mieux adapté aux méthodes bayésiennes puisqu’on peut approximer directement la loi a postériori sans avoir à calculer son dénominateur. Cet algorithme fait le rapport entre deux a postériori de points distincts dans l’espace des paramètres à échantillonner. De ce fait, leur dénominateur commun se simplifie automatiquement. La forme complète de la distritubtion a postériori n’est donc plus nécessaire à trouver. Seulement qu’à un multiplicative près, grâce à la proportionnalité de l’a postériori et sa densité jointe : π(θ | x) ∝ f(x | θ)π(θ).
|
Table des matières
Introduction
I Rappel en inférence statistique
1 Concept de base
1.1 Rappel
1.2 Définitions
2 Estimation ponctuelle et région de confiance
2.1 Estimation ponctuelle
2.2 Qualités d’un estimateur
2.3 Vraisemblance et Information de Fisher
2.4 Estimateur du Maximum de Vraisemblance
2.5 Région de confiance
II Inférence bayésienne
1 Motivation du choix Bayésien
1.1 Principe Classique
1.2 Principe Bayésien
1.3 Exemple concluant le choix
2 Inférence bayésienne
2.1 Estimateur Bayésien
2.2 Fiabilité de l’estimateur bayésien
2.3 Région de crédibilité
2.4 Loi a priori
2.5 Exemple
III Chaîne de Markov
1 Notion de base
1.1 Définitions et propriétés
1.2 Evolution temporelle
1.3 Relation de Chapman-Kolmogorov
1.4 Propriété de Markov forte
2 Classification des états
2.1 Irréductibilité
2.2 Récurrence
2.3 Périodicité
3 Comportement asymptotique
3.1 Distribution stationnaire
3.2 Convergence
3.3 Réversibilité
IV Méthode numérique
1 Méthode de Monte-Carlo
1.1 Introduction
1.2 Approche théorique
1.3 Quelques méthodes générales
2 La méthode MCMC
2.1 Motivation
2.2 Approche théorique
2.3 Quelques différents algorithmes
2.4 Vitesse de convergence
3 Application
3.1 Mise en œuvre
3.2 Exemple d’application
Conlusion
Annexe A
Annexe B
Bibliographie
Télécharger le rapport complet
