Induction bayésienne et hypothèses irréfutables

Quelques réflexions épistémologiques... à suivre...

Introduction

J'ai réfléchi à la question de la rationalité de la méthode fortéano-conspiro-ufologique que Gérald Bronner appelle le mille-feuille argumentatif : tous les éléments sont de type très faible mais le poids que représente leur nombre ou leur persistance ou leur popularité est censé leur donner une crédibilité. Une version naïve de la preuve probabiliste des OVNI a été publiée dans le journal du MUFON, déjà discuté dans le fil sur les arguments probabilistes.

Il est pourtant possible de raisonner rigoureusement de manière probabiliste sur la base de données incertaines par l'induction bayésienne. Par exemple l'argumentation exposée dans l'article de Jean Bricmont "Est-il rationnel de croire aux visites d’extraterrestres ?" écrit sous forme philosophique peut être réécrit sous forme bayésienne. http://www.pseudo-sciences.org/spip.php?article834  "Croire" signifie simplement accorder une probabilité subjective élevée.

Le problème avec la manière bayésienne de raisonner n'est pas tellement la probabilité subjective a priori, plus ou moins arbitraire, mais le calcul du facteur de Bayes, également subjectif, qui dépend des connaissances préalables et du choix de ce qui est considéré comme un élément à prendre en compte pour renforcer ou affaiblir une hypothèse.

Exemple : les "magiciens" tirent des lapins des chapeaux depuis fort longtemps (ou autre tour de "magie"). Si chaque lapin sorti du chapeau renforce la probabilité subjective de l'hypothèse "magie" pour quelqu'un qui ne connaît pas le "truc", l’événement n'a en revanche aucune influence sur le degré de croyance (= probabilité subjective) en la magie véritable pour celui qui sait que le tour peut être réalisé sans difficulté par un illusionniste.

Cela illustre que la seule manière de ne pas aboutir à une conclusion fausse en accumulant les probabilités subjectives correspondant aux observations extraordinaires difficilement explicables dans le contexte d'une information ou connaissance insuffisante serait de s'assurer qu'il n'y a aucune possibilité d'autre explication, ce qui est généralement impossible si on n'a pas la prétention d'omniscience et on sort alors du cadre des probabilités pour rentrer dans le domaine des certitudes factuelles, rarement accessibles.

Il y a deux manières de s'en sortir.

1) Refuser de prendre en considération les éléments douteux ou sans lien logique avec l'hypothèse comme données exploitables. Tenir compte des faits et pas de leur interprétation. L'inférence bayésienne est aussi objective qui les données et connaissances qui sont prises en compte : garbage in garbage out.

et

2) Tenir compte de tous les éléments y compris négatifs, comme l'absence de preuves telles qu'on s'attendrait à en trouver si l'hypothèse était vraie. L'absence de "preuve" est, dans ce cas, la "preuve" de l'absence, ce qui peut être démontré mathématiquement très facilement. "Preuve" au sens d'élément qui renforce une hypothèse, "evidence" in English, pas au sens de la logique.

Je reviens à la méthode fortéenne dite du "mille-feuille argumentatif"... est-elle rationnelle ou irrationnelle ? Les fortéens et les conspirationnistes qui collectionnent ce qu'ils perçoivent comme des anomalies qui contredisent les sciences "officielles/mainstream" pour les premiers, les thèses officielles pour les seconds ont-ils raison de le faire ?

Un argument pour, un argument contre :

1) Comme le montre le théorème de Bayes la probabilité qu'une théorie soit vraie ou approximativement vraie au moins dans la limite des cas où il est possible de la tester est très peu sensible à la confirmation et très sensible à l'infirmation.

Si on est indécis au départ (P=0,5) et que l'on cherche à se convaincre que tous les cygnes sont blancs après avoir observé de nombreux cygnes et avoir estimé que la probabilité que tous les cygnes ne soient pas blancs est inférieure à 1 sur 100 (disons), observer un cygne blanc de plus ne changera que très peu la probabilité subjective que tous les cygnes soient blancs.

La formulation du théorème de Bayes la plus adaptée pour calculer cette probabilité est :
P(H|e) = 1 / (1 + (P(~H)/P(H))(P(e|~H)/P(e|H)))

P(H) est la probabilité subjective de l'hypothèse "tous les cygnes sont blancs"
P(~H) est la probabilité subjective de l'hypothèse "tous les cygnes ne sont pas blancs"
e est l'événement pris en compte pour mettre à jour la probabilité subjective de H, P(H|e), après l'observation.

Partant de la probabilité à priori P(H) = 0,5 la probabilité a posteriori est : P(H|e) = 1 / (1 +  (P(~H)/P(H))(P(e|~H)/P(e|H))) = 1 / (1 + 0,99/1) = 0,5025 et des brouettes, ou moins, selon la valeur qu'on veut bien accorder à P(e|~H), ici 0,99 ou plus.

Par contre l'événement e' de l'observation d'un cygne non blanc est beaucoup plus importante car elle change radicalement la probabilité subjective en la ramenant à zéro ou presque si l'observation est considérée comme crédible.
P(e|~H) = 0,01
P(e|H) = quasiment 0, disons 0+
P(H|e') = 1 / (1 + 0,01 / 0+) = 0+

La "théorie" du Cygne Noir de Nassim Nicholas Taleb est une réflexion sur l'importance de tels événements imprévisibles dont la probabilité ne doit pas être sous-estimée sous prétexte qu'ils ne rentrent dans aucun modèle.

Ce qui compte pour savoir si un événement renforce ou affaiblit une hypothèse c'est de savoir si le facteur de Bayes P(e|~H) / P(e|H) est supérieur ou inférieur à 1. On voit facilement d'après la formule ci-dessus que P(H|e) < P(H) [e affaiblit H] équivaut à P(e|~H) > P(e|H) [la probabilité de e sachant ~H est supérieure à la probabilité de e sachant H].

Pour réfuter probabilistiquement de manière crédible une hypothèse H il ne suffit pas d'avoir une assez bonne probabilité P(e|~H), ce qui n'a que peu d'intérêt parce qu'il est toujours possible de faire coller une hypothèse alternative ~H ad hoc même fausse à des éléments sélectionnés, c'est surtout une probabilité P(e|H) plus faible qu'il faut avoir, la formule étant plus sensible à la division par cette probabilité, surtout quand elle s'approche de zéro. Autrement dit sortir un argument de possibilité (probabilité indéfinie non nulle) pour certains éléments en faveur de l'hypothèse alternative ~H ne suffit pas il faut aussi prouver l'impossibilité de l'hypothèse H pour ces mêmes éléments, c'est à dire l'existence d'une véritable anomalie.

2) Cependant, ce qui tient lieu d'élément fortéen de preuve est typiquement non seulement faible (non reproductible, invérifiable) mais peut aussi n'être qu'illusion, tromperie ou interprétation fallacieuse, dont la valeur subjective n'existe qu'en proportion de l'ignorance et de la crédulité. Pas plus que le lapin sortant du chapeau (prétendument vide) ces éléments ne sont garantis être la preuve de quoi que ce soit d'autre que de la volonté de croire. L'observation alléguée d'un événement n'est pas la garantie que cet événement s'est effectivement produit. Il est si tentant de prendre en compte des faits qui n'en sont pas, seulement des interprétations, quand on n'a rien d'autre... Il est toujours possible d'accumuler ce type de "preuves" pour une classe de phénomènes qui n'existe tout simplement pas. De nombreux exemples historiques existent dans la sociologie et les sciences.

Ma conclusion provisoire : la "méthode fortéenne" est rationnelle (au sens bayésien) pour l'étude du paranormal non testable, c'est à dire hors parapsychologie, mais la fragilité des données (témoignages, suppositions) résultant d'une "chasse à l'anomalie" rend ses résultats subjectifs et peu fiables. L'interprétation qui en est faite vire facilement au dogme, il s'agit alors d'une rationalité "circonscrite" (comme la caractérise Wiktor Stoczkowski) qui tourne en rond dans un piège cognitif : une débauche de biais de sélection, d'interprétation et de confirmation, le refus d'accepter toute explication en dehors d'un paradigme anomalistique ou d'un autre et de voir les conséquences qui ne correspondent pas au dogme.

nablator a écrit:Ma conclusion provisoire : la "méthode fortéenne" est rationnelle (au sens bayésien) pour l'étude du paranormal non testable, c'est à dire hors parapsychologie, mais la fragilité des données (témoignages, suppositions) résultant d'une "chasse à l'anomalie" rend ses résultats subjectifs et peu fiables. L'interprétation qui en est faite vire facilement au dogme, il s'agit alors d'une rationalité "circonscrite" (comme la caractérise Wiktor Stoczkowski) qui tourne en rond dans un piège cognitif : une débauche de biais de sélection, d'interprétation et de confirmation, le refus d'accepter toute explication en dehors d'un paradigme anomalistique ou d'un autre et de voir les conséquences qui ne correspondent pas au dogme.

Du Bourdais et du Parmentier et du Sider en somme.

No comment.

Du point de vue probabiliste, le principal problème des hypothèses irréfutables c'est qu'elles ont tendance à avoir une probabilité très faible du fait qu'elles étalent leur distribution de probabilité de manière à ce que tout soit possible. La somme de cette distribution étant toujours 1 sur l'ensemble des événements imaginables, moins une distribution est "pointue" et plus elle est faible.

La probabilité, c'est comme la confiture quand on n'en a qu'une quantité limitée ; plus on l'étale et moins il y en a à un endroit donné de la tartine.



La force d'un modèle n'est pas dans sa capacité à tout expliquer mais dans son incapacité à tout expliquer, paradoxalement.

nablator a écrit:Du point de vue probabiliste, le principal problème des hypothèses irréfutables c'est qu'elles ont tendance à avoir une probabilité très faible du fait qu'elles étalent leur distribution de probabilité de manière à ce que tout soit possible. La somme de cette distribution étant toujours 1 sur l'ensemble des événements imaginables,

Ce qui nous ramène, selon Christophe, à la définition des deux catégories de gens, qui, à l'exclusion de toutes les autres, devaient posséder les aventures de la famille Fenouillard:
1) ceux qui sont dentistes
2) ceux qui ne le sont pas
 

...Je suis statisticien et probabiliste et je ne comprends absolument pas le contexte!

La forme bayesienne s'applique avec bonheur et intérêt en médecine (étude épidémiologique, efficacité de tests ADN, de tests HIV, parfois en criminalité), en dehors c'est de la corde raide.

Pour ce qui est Cygnes...

http://www.dinosoria.com/oiseaux/cygne-cou-noir.jpg

Jeansériel a écrit:...Je suis statisticien et probabiliste et je ne comprends absolument pas le contexte!

Le théorème de Bayes a des implications profondes dans le domaine du raisonnement probabiliste (quel que soit le contexte) et donne un sens précis, mathématique, aux "recettes de cuisine" zététiques qui sont souvent critiquées par ceux qui s'imaginent que ce sont des énoncés dogmatiques sans justification réelle. Par exemple le rasoir d'Occam (inapplicable en ufologie selon ton ami Jacques Vallée, pseudonyme : Sériel) a une justification bayésienne : http://en.wikipedia.org/wiki/Occam%E2%80%99s_Razor#Mathematical

Le texte de Jean Bricmont sur la rationalité de croire aux visites d'extraterrestres est un exemple d'application, comme la citation suivante :

It is not unscientific to make a guess, although many people who are not in science think it is. Some years ago I had a conversation with a layman about flying saucers — because I am scientific I know all about flying saucers! I said “I don’t think there are flying saucers”. So my antagonist said, “Is it impossible that there are flying saucers? Can you prove that it’s impossible?” “No”, I said, “I can’t prove it’s impossible. It’s just very unlikely”. At that he said, “You are very unscientific. If you can’t prove it impossible then how can you say that it’s unlikely?” But that is the way that is scientific. It is scientific only to say what is more likely and what less likely, and not to be proving all the time the possible and impossible. To define what I mean, I might have said to him, "Listen, I mean that from my knowledge of the world that I see around me, I think that it is much more likely that the reports of flying saucers are the results of the known irrational characteristics of terrestrial intelligence than of the unknown rational efforts of extra-terrestrial intelligence." It is just more likely. That is all.

Richard Feynman, The Character of Physical Law (1965)

Je ne dis pas que c'est facile de calculer la probabilité de l'HSP ou de l'HET, mais il y a moyen de s'en approcher, même si ce n'est que dans des cas particuliers. Dans un domaine parascientifique où il est impossible de travailler sur des faits suffisamment sûrs, vérifiés, répliqués, les seules méthodes applicables sont probabilistes.

Je m'intéresse plus généralement au traitement des hypothèses non réfutables. On trouve des choses amusantes là-dessus sur le web. La non réfutabilité n'empêche pas de déterminer qu'une hypothèse est très improbable. Par exemple cette discussion de l'argument du "fine tuning", etc. : http://www.talkreason.org/articles/super.cfm

Fascinant.

nablator a écrit:Fascinant.

  

PhD McCoy a écrit:...

Arrête, j'ai le vertige !

Bravo pour Sériel...  Je pensais que quelqu'un le remarquerait plutôt...
Pour ce qui est des implications des inférences bayésiennes, j'ai 35 de route et d'utilisation quasi quotidienne. Ceci dit je comprends mieux le sens de ton intervention.
En ce qui concerne le rasoir d'Ocam, tu auras peu de succès chez les statisticiens et obédiences connexes. Ce qui nous permet d'accepter ou de refuser une hypothèse, c'est très souvent le grand nombre et la qualité de l'échantillon.

...Si l'inférence bayésienne vous intéresse je vous conseille le livre de C.P. Robert le choix bayésien. Dans l'affirmative je puis vous scanner la table des matières et pdfiser quelques chapitres. Enfin si ma secrétaire est bien lunée...parce que ces temps...

Je l'ai, merci, et j'ai déjà suffisamment de documentation pour l'instant, que j'ai lues il y a quelques mois.

Jeansériel a écrit:Enfin si ma secrétaire est bien lunée...parce que ces temps...

A ce propos... tu nous avais promis quelque pages de scans manquantes... il y a quelques... euh... années...

..J'en ai une étagère pleine...et ce serait bien si je faisais un tri...

Pour le bouquin "Cash Landrum" j'y pensais également...sur la lancée ce serait possible...faut que je l'invite à déjeuner...

Illustration ufologique prise au hasard (il y en a beaucoup) à propos de la nécessité de prendre en compte les éléments négatifs ou absents quand on admet l'importance des éléments positifs ou présents.

http://www.cerpi-officiel.be/Petit-Rechain/reponse-du-cerpi-a-m-jean-michel-abrassart.html

L'accusation de double standard (d'avoir "accordé aveuglément crédit à Patrick Maréchal" tout en "doutant de la totalité des témoignages relatifs à la Vague Belge") provient en fait d'une incompréhension de ce que j'ai évoqué rapidement plus haut : l'absence d'un élément e, quand e est censé prouver (ou tout du moins renforcer, subjectivement) l'hypothèse H, diminue la probabilité subjective de H. On ne peut pas à la fois accepter l'un (e renforce H) et refuser l'autre (l'absence de e affaiblit H). On ne peut pas avoir le beurre, l'argent du beurre, etc. L'élément e manquant pour la VOB est un témoignage jugé crédible (pas discrédité par le photographe lui-même, donc) associé à une photo également jugée crédible (pas un trucage évident). Le double standard est du côté de ceux qui ont considéré que la photo du Petit Rechain associée au témoignage initial de PM était un élément important et qui maintenant essayent de minimiser l'importance des aveux de PM.

En plus clair ça serait "j'ai du mal à admettre m'être vautré, planté ?..."     

NEMROD34 a écrit:En plus clair ça serait "j'ai du mal à admettre m'être vautré, planté ?..."     

En clair ce serait "face je gagne, pile tu perds".