Arguments probabilistes

J'avais rédigé il y a quelques jours pour le forum AboveTopSecret une petite bafouille contre les arguments probabilistes qu'on entend sans arrêt, et puis je ne l'ai pas postée.

Après avoir déjà tenté vainement d'en parler à propos de l'équation de Drake, je me suis dit que la différence qu'il y a entre possible, probable, et certain est mal comprise, et que ça mérite un fil de discussion. Aussi je préfère qu'on en parle ici, c'est plus convivial.

L'argument est énoncé comme une évidence : par exemple "il y a des milliards de milliards de planètes dans l'univers donc on peut être certain que la vie intelligente existe ailleurs" ou bien "les millions de témoins d'ovnis ne peuvent pas TOUS se méprendre, être victime d'illusions ou hallucination ou faire des canulars, donc certains ovnis sont d'origine extraterrestre".

Il y a même une forme élaborée qui consiste à calculer la probabilité qu'un million d'observation d'ovni soient toutes des méprises/illusions/canulars/hallucinations (que nous appellerons dorénavant MICH) à partir de la probabilité qu'une observation soit un MICH. Cette probabilité n'est pas connue, mais on sait qu'elle est forte, de l'ordre de 95% à 97% au moins même selon les ufologues non sceptiques comme Kevin Randle. Par sécurité, on va supposer que cette probabilité est extrêmement forte, on prend ainsi en compte tous les cas possibles de MICH, y compris ceux qui ne sont pas détectés par les enquêtes.

Même si l'on prend une probabilité très proche de 1, comme 99,9995%, le calcul de la probabilité composée qu'un million de cas soient tous des MICH est seulement 0,6%, donc très faible !

0,999995^1000000 = 0,006 = 0,6%

On en déduit donc qu'il est quasiment certain (à 99,3%) que des extraterrestres nous visitent !




Ce qui est trompeur c'est la "LOI" des grands nombres, et les certitudes qui en découlent.

Ce raisonnement est tellement faux, qu'il faut le laisser macérer dans son jus jusqu'à demain.



En anglais approximatif ça donnait :

There was an argument in an old MUFON journal that UFOs (meaning alien spacecraft) must be real, because each and every witness testimony can't be delusional, fake, or a misinterpretation. This is based on the probability of compound events. If the probability of being wrong is p, the probability of a n witnesses all being wrong is p^n. Whatever the value of p, p^n becomes very small quickly as n increases.

Even if the probability of the average witness to be wrong is as high as 99.9995%, the probability of a million witnesses to be wrong is lower than 1%.

0.999995^1 000 000 = 0.006 = 0.6 %

Therefore the probability of aliens zipping around in the sky is 99.3%, nearly a certainty.

It's a good looking argument, but unfortunately it's completely wrong.

Why ?

Bonjour

AMHA, c'est biaisé au départ. Exemple : "les millions de témoins d'ovnis ne peuvent pas TOUS se méprendre, être victime d'illusions ou hallucination ou faire des canulars, donc certains ovnis sont d'origine extraterrestre".

Or, ce qui est plus juste serait de dire : Dans les nombreux témoins de phénomènes non identifiés, il y a des méprises, des illusions, des hallu, des canulars. Il y a peu d'enquêtes* approfondies par rapport au nombre de cas allégués, donc on ne peut tirer aucune conclusion.

* Les enquêtes sont peu nombreuses par rapport au nombre de cas allégués pour diverses raisons mais surtour de nos jours, en raison des témoignages sur le net, anonymes pour la plupart, invérifiables donc.

Oui, c'est la plus grosse erreur, on part de la conclusion dans le calcul. Puisqu'on suppose une probabilité de MICH inférieure à 1, c'est qu'il est certain qu'il existe une catégorie autre que les MICH, que nous appellerons EL pour Extraterrestres et Lémuriens, pour faire le modèle MICHEL.

La probabilité de peut être estimée qu'à partir d'une statistique fiable. Comme on n'a pas cette statistique fiable, on ne peut rien en déduire.

Je vois au moins deux autres erreurs :

-l'estimation de probabilité (une estimation d'une probabilité n'a pas la même valeur qu'une probabilité obtenue par une statistique). C'est le cas de l'équation de Drake, où il reste de nombreuses inconnues, même pas bornées par un majorant/minorant. C'est le glissement entre hypothétique et probable. Il ne suffit pas de spéculer pour promouvoir une hypothèse en probabilité.

-l'argument probabiliste est faux à la base, parce que même une chose probable n'est pas certaine d'arriver. C'est le glissement entre probable et certain sur un grand nombre. On ne peut pas appliquer un argument probabiliste à un test qui ne dépend que de l'existence d'un seul cas hors MICH, soit il existe, soit il n'existe pas, et la probabilité estimée n'y change rien.

Je ne le trouve pas dans la liste des sophismes :
http://fr.wikipedia.org/wiki/Sophisme

Ca existe en anglais : Appeal to probability
http://en.wikipedia.org/wiki/Appeal_to_probability

Eya,


C'est en effet parce que l'on pose à l'avance, ce que l'on veut conclure, et qu'on ne connait pas ! Puis on le "calcule"

Cette probabilité n'est pas connue, mais on sait qu'elle est forte, de l'ordre de 95% à 97%.

Les probabilités, il n'y a rien de mieux pour justifier ce qu'on veut à partir de n'importe quoi. Et ça passe comme une lettre à la poste.

Pour ne pas taper que sur les tenants d'hypothèses imaginatives, le mauvais emploi des probabilités se trouve aussi chez les sceptiques.

Exemple : Michael Shermer affirme que

... whatever actual aliens from another planet will look like, it most definitely will not be that they are bilaterally symmetrical bipedal primates, which only happened once on this planet in two billion years of biological evolution and hundreds of billions of different species.

http://www.skeptic.com/eskeptic/07-07-18

Traduction :

Quel que soit l'aspect des extraterrestres, nous pouvons être surs que ce ne seront pas des primates bipèdes bilatéralement symétriques, ce qui n'est arrivé qu'une seule fois sur cette planète en 2 milliards d'années d'évolution biologique et des centaines de milliards d'espèces différentes.

Une statistique défavorable, basée sur l'évolution sur une planète est généralisée abusivement en improbabilité de l'apparition d'une forme de vie similaire sur d'autres planètes (malgré l'universalité très probable des "briques" moléculaires de la vie, et l'évolution convergente constatée de nombreuse fois), puis en impossibilité. Comme si tout ce qui est improbable pouvait être définitivement exclu.

Je suis très d'accord avec ce que pointe du doigt Rosetta : le fameux "résidu".

De l'inexpliqué donc.

Par exemple, dans l'expertise d'accidents automobiles, aéronautiques, maritimes etc, il y a des "collèges d'experts".

Parfois pas.

Parfois, l'enquête est impossible (débris trop calcinés, manque de débris pour modéliser, etc).

Parfois aussi (ou donc), le "collège" va se placer dans un "constat d'ignorance" : on ne peut pas expliquer ce qui s'est passé, impossible d'avoir certains paramètres.

De là, il va y avoir un résidu "inexpliqué".

A partir de celui-ci, on peut invoquer les extraterrestres ?

Je veux dire que le résidu devrait rester un constat d'ignorance avant tout, sur lequel on peut s'en aller aux hypothèses bien entendu.

Mais transformer ce constat d'ignorance en la validation de son hypothèse, est un peu "facile"...

Tout à fait. C'est l'argument d'ignorance (on ne sait pas ce que c'est donc c'est extraterrestre) avec un emballage pseudo-probabiliste. Je n'arrive pas à remettre la main dessus, c'était dans le MUFON journal. Rédigé de manière très longue et faussement savante, ça peut faire illusion. L'argument était présenté sous forme d'évidence : les sceptiques n'ont aucune chance à long terme parce que l'accumulation des cas diminue la probabilité qu'ils soient tous explicables. Chaque cas doit être expliqué prosaïquement pour qu'ils aient raison, alors qu'il suffit d'une seul cas extraordinaire pour qu'ils aient tort. Suit le calcul bidon, qui aboutit à une quasi certitude illusoire.

J'essaye de trouver un exemple facile à comprendre pour illustrer l'absurdité du raisonnement probabiliste mais je n'ai pas d'idée.

Hum, je me ne rappelle plus bien de mes "cours".

Je vois au moins deux autres erreurs :

-l'estimation de probabilité (une estimation d'une probabilité n'a pas la même valeur qu'une probabilité obtenue par une statistique). C'est le cas de l'équation de Drake, où il reste de nombreuses inconnues, même pas bornées par un majorant/minorant. C'est le glissement entre hypothétique et probable. Il ne suffit pas de spéculer pour promouvoir une hypothèse en probabilité.

En gros, l'abus probabiliste est le suivant (de deux sortes je crois) :

Une méthode (Bayes) consiste à partir d'une probabilité a priori de calculer une probabilité a posteriori.

Bien évidemment le "biais" est ici la décision de cette probabilité a priori : qui décide ? Pourquoi ?

C'est je crois un peu l'exemple de Randle de faux raisonnement. Il décide de 97 % de MICH, et "joue" avec les grands nombres, pouvant même pousser à 99,99%.

Une autre est le principe de banalité mélangé au non étonnement. Pareil, je croise 3 "trucs" et j'en déduis que ce que j'observe est banal. Et donc que ces "trucs" sont très courants. Le problème est qu'il faut que ces trois "trucs" aient été tiré aléatoirement, ce que je ne peux pas toujours contrôler.

L'exemple "connu" est le suivant : la Terre est habitée, et imaginons que nous sachions que Mars Jupiter et Saturne ne le soient pas. Je peux en déduire que 25 % des planète de l'univers sont habitées.

Si j'ajoute Vénus en imaginons qu'on soit assuré qu'elle n'est pas habitée, ma probabilité chute, puis Neptune, puis x, y z df grtyuiopp...

Si on découvre que Mars est "habitée", ma probabilité augmente à l'inverse.

De là, on a une "fourchette" qui peut aller de l'infiniment petit 0.00000000000000000000000001%, de planètes habitées soit la Terre seule, à infiniment grand.

Quoi qu'il en soit, on reste dans un constat d'ignorance, et l'on ne peut trancher.

Par "conviction", je peux choisir un extrême ou l'autre (nous sommes seuls, nous ne sommes pas seuls, ie), et me "targuer" de faire des probabilités pour asseoir ma démonstration...

Alors que dans un cas, j'ai décidé a priori, et dans l'autre, je crois banals les exemples de mon échantillon, alors qu'il n'est pas aléatoire et que je ne peux le contrôler.

Kri§tinne a écrit:Alors que dans un cas, j'ai décidé a priori, et dans l'autre, je crois banals les exemples de mon échantillon, alors qu'il n'est pas aléatoire et que je ne peux le contrôler.

Oui, échantillonnage pas aléatoire ni représentatif, et puis un nombre insuffisant d'échantillons pour tenter d'extrapoler à une probabilité avec une quelconque précision.



En fouillant dans le MUJ j'ai trouvé ce que je cherchais :
Probability theory and the UFO Reality

It is an elementary principle of probability theory that if one knows the probability (call it P 1) of one event and also the probability (call it P2) of another (independent) event, then the probability that both events will occur is P1 times P2. ;
Thus, for example, if one witness reports an unusual aerial event and another witness independently reports another such event, and if the probability in each case is 0.95 (i.e. 95%) that the event is mundanely explainable, then the probability that both events are mundanely explainable is (0.95)(0.95) = 0.9025. The likelihood, then, that at least one of the two events is not explainable is 1 - 0.9025 = 0.0975, or not quite 10%; less than impressive.

http://www.theblackvault.com/encyclopedia/documents/MUFON/Journals/2002/February_2002.pdf
Ensuite ils calculent la probabilité pour 20000 cas, et font le même calcul pour la probabilité de l'apparition de la vie sur au moins une planète parmi un milliard.



Autre argument probabiliste, un article de Stanton Friedman en août 2007, p. 14.

Statistical cross-comparisons between KNOWNS and UNKNOWNS showed that on the basis of six different characteristics such as apparent size, color, shape, speed, etc., the probability that the UNKNOWNS were just missed KNOWNS was less than 1%.

http://www.theblackvault.com/encyclopedia/documents/MUFON/Journals/2007/August_2007.pdf

Hmmm... je serais curieux de voir cette étude. C'est dans Project Blue Book Special Report 14.
http://www.experiencefestival.com/a/Project_Blue_Book_-_Project_Blue_Book_Special_Report_No_14/id/1866469

In all six studied sighting characteristics, the unknowns were different from the knowns at a highly statistically signficant level: in five of the six measures the odds of knowns differing from unknowns by chance was only 1% or less. When all six characteristics were considered together, the probability of a match between knowns and unknowns was less than 1 in a billion.

Houla. L'analyse des 6 caractéristiques ensemble montre qu'il y a moins d'une chance sur un milliard que les causes inconnues soient des causes connues non identifiées.



Est-ce que le fait que les cas non résolus ont des caractéristiques différentes des cas élucidés prouve qu'ils sont de nature différente ? Est-ce-que cela n'indiquerait pas tout simplement qu'il y a des catégories qui ne peuvent être cernées par leurs caractéristiques mesurables, comme les canulars ? Quels sont les caractéristiques physiques d'un canular ??? Ca m'a tout l'air d'un argument basé sur un calcul bayesien à la noix.

nablator a écrit:Est-ce que le fait que les cas non résolus ont des caractéristiques différentes des cas élucidés prouve qu'ils sont de nature différente ?

Justement, les auteurs qui se sont penchés sur la question ont plutôt conclu le contraire, en parlant "d'indiscernabilité OVI/OVNI".

Je me demande si vouloir réfuter mathématiquement un raisonnement probabiliste n'est pas une perte de temps, à partir du moment où l'on sait que la prémisse est fausse. En effet, supposer que la probabilité de "MICH" est très élevée mais inférieure à 1 implique que l'on connaisse la véritable nature du résidu inexpliqué, alors que ce n'est pas le cas et qu'il peut très bien être formé de MICH lui aussi.

Cortex a écrit:Justement, les auteurs qui se sont penchés sur la question ont plutôt conclu le contraire, en parlant "d'indiscernabilité OVI/OVNI".

Apparement ceux qui ont fait l'étude pour le projet Blue Book ne sont pas d'accord. Ca ne m'étonne pas trop, tout dépend des caractéristiques étudiées, de comment on les regroupe par classes, etc. C'est quand même à vérifier. Par contre la conclusion est très surprenant. Pas étonnant que Stanton Friedman la cite. C'est prouvé, le reliquat ne peut pas être de même nature que le reste !

Je me demande si vouloir réfuter mathématiquement un raisonnement probabiliste n'est pas une perte de temps, à partir du moment où l'on sait que la prémisse est fausse. En effet, supposer que la probabilité de "MICH" est très élevée mais inférieure à 1 implique que l'on connaisse la véritable nature du résidu inexpliqué, alors que ce n'est pas le cas et qu'il peut très bien être formé de MICH lui aussi.

Tout à fait, c'est clair. Mais l'argument ci-dessus est différent, il se base sur 6 caractéristiques, j'imagine le temps, la distance, la couleur, etc...

Hmmm... je serais curieux de voir cette étude. C'est dans Project Blue Book Special Report 14.

Le "type" semble faire dire ce que le rapport ne dit pas, et explique très bien (le rapport)...

Elle est en ligne, je crois, si c'est l'étude de Battelle. J'ai le papier sous les yeux. Donnerai le lien demain.

Ils calculent des chi2, c'est à dire regarder si les fréquences différent d'un échantillon à l'autre, et que ceci est dû au hasard ou non (pour faire court, il est tard !).

Par exemple "nombre d'objets" .
1 : 329 "expliqués" versus 297 "inexpliqués"
2 : 39 versus 37
3 à 10 : 46 versus 70
11 ou plus : 10 versus 25
pas donné : 10 versus 5

significatif : les échantillons différent et cette différence n'est pas due au hasard.

Mais

Le rapport explique justement et bien pourquoi il ne faut pas en conclure "bêtement" qu'il s'agit là d'une preuve d'engin ET



===> Les "inexpliqués" peuvent être des "expliqués" (que l'on a pas réussi à expliquer - le fameux résidu -), mais en différente proportion en ce qui concerne les fréquences de ces caractéristiques.

Par exemple, pour la "forme".

S'il y a plus (+) de ce qui est en fait des méprises d'avions dans les inexpliqués, qu'il y a d'avions expliquant des cas, les distributions diffèrent.

etc.

C'est ce que Cortex signalait plus haut.

Pareil, si on a expliqué énormément de cas où la couleur était "verte" (c'est le cas dans le rapport), et qu'il y a très peu de cas "couleur verte" inexpliqués, les échantillons diffèrent.

etc.

En d'autres termes, il suffit que tous soient des MICH, mais distribuées différemment, entre ceux "expliqués" et "inexpliqués", en ce qui concerne les 6 caractéristiques, pour que les chi2 soient significatifs.

Par exemple, pour les "expliqués" de durée très courte (5s), on arrive facilement à en expliqué beaucoup par des phénomènes astro (bolides), si un n'est pas expliqué, inférieur à 5s en durée, la distribution est très très significativement différente par un chi2.

Etc.

Plus le facteur humain :

Si pour la vitesse, les témoins surestiment, on ne pourra expliquer. De là, les distributions seront significativement différentes ( à cause du fait que l'homme n'est pas un instrument de mesure fiable de la vitesse).

Sorry, j'ai peut être mal écrit, tard et sort de le resto de le quartier ^^

Bien, merci. Je vais lire ça tranquilo d'ici quelques jours. Indiscernabilité ou pas, c'est une bonne occasion de le tester avec ces statistiques. Les rapports étaient ici, mais les liens sont morts :
http://www.bluebookarchive.org/download.aspx

Il y a des images de bonne qualité (mais pas de PDF) ici :
http://www.footnote.com/image/11884638/Special/

...there was a low probability that the distribution of KNOWNS and UNKNOWNS by these caracteristics were the same.

http://www.footnote.com/image/11884638/Special/#11884683

Les études, ensuite, sur chacune des caractéristiques montrent que les cas OVNI ne sont pas corrélés statistiquement aux cas OVI.

Cortex : quelle est l'étude qui a conclu à l'indiscernabilité entre OVI et OVNI ? J'aimerais bien comparer la méthode de calcul, parce que pour l'instant je ne comprends pas comment une telle conclusion est possible à partir des données de Blue Book.

Je suis dessus aussi .

Attention encore une fois à "la mise en garde" de Battelle dans blue book (p 76 de ton lien ou 68 BB).

Les OVNI peuvent être des OVI, mais en différentes proportions que les OVNI devenus OVI.

Si on a identifié, par exemple 74 cas d'OVNI en forme d'avion comme étant en fait des avions (devenus OVI donc), et que 12 cas restant inexpliqués (OVNI) décrits comme ressemblant à des avions, sont en fait des méprises avec des avions également (OVI), les Chi2 vont être significatifs, puisqu'on travaille sur les fréquences.

Petit "synopsis" en cours.

1. Couleur :

La distance calculée (26.15) étant supérieure à la distance critique (20.1), il y a lieu de mettre en doute la dépendance entre les deux groupes sur ce critère couleur, avec un risque de se tromper égal à 1 %.

Problème : la couleur verte contribue à 10.13 de la distance calculée (130 OVI versus 14 OVNI "verts").

beaucoup d'OVNI "verts" (130) ont été identifiés comme OVI, très peu de "verts" reste OVNI. Si ces "rares" cas (14) sont en fait des OVI, il n'y a plus de raison de mettre en doute la dépendance des deux groupes pour le critère "couleur".

On notera également que "couleur non établie" contribue pour 2.37, "autres" pour 6.02, soit 8.39 points pour des couleurs...que l'on ne connait pas...

2. Nombre :

La distance calculée (40.73) étant supérieure à la distance critique (13.1), il y a lieu de mettre en doute la dépendance entre les deux groupes sur ce critère "nombre d'objet", avec un risque de se tromper égal à 1 %.

3.10 objets ou supérieurs contribuent à 35.02 points.

3. Forme :

La distance calculée (29.05) étant supérieure à la distance critique (16.8), il y a lieu de mettre en doute la dépendance entre les deux groupes sur ce critère "forme", avec un risque de se tromper égal à 1 %.

Problème : "rocket et aircraft" contribue pour 8.45, "méteor et comets" pour 7.14. Si ces OVNI sont en fait des OVI "rocket, aircraf meteor ou comet", il n'y a plus lieu de juger de l'indépendance des deux distributions pour ce critère.

4. Durée :

La distance calculée (49.49) étant supérieure à la distance critique (18.5), il y a lieu de mettre en cause la dépendance entre les deux groupes sur ce critère "durée", avec un risque de se tromper égal à 1 %.

Problème : les observations d'une durée de 5s ou moins contribuent à 21.39 points, 61s à 5 mn à 16.50, car 259 cas (5s et moins) sont OVI contre 27 OVNI seulement, 269 versus 99 pour la seconde catégorie. Si les premiers sont en fait des "bolides" (ie "étoiles filantes"), les seconds des objets prosaïques comme les 269, il n'y a plus de doute sur la dépendance entre les deux "populations".

Je n'ai pas encore lu, mais pour comprendre le principe, la distribution est supposée connue à partir des statistiques, et approchée par une courbe genre gaussienne, c'est ça ? C'est ce qui permet de calculer la probabilité ?

Là déjà je ne comprends pas la logique. La durée peut être courte ou longue, selon les conditions d'observation, la distance, la vitesse. Il n'y a pas de "bonne" durée pour un avion par exemple.

Je n'ai pas encore lu, mais pour comprendre le principe, la distribution est supposée connue à partir des statistiques, et approchée par une courbe genre gaussienne, c'est ça ? C'est ce qui permet de calculer la probabilité ?

Là déjà je ne comprends pas la logique. La durée peut être courte ou longue, selon les conditions d'observation, la distance, la vitesse. Il n'y a pas de "bonne" durée pour un avion par exemple.

Le but est de déterminer si les "unknown" ont des critères-propres.

Il faut pour cela que le collège d'expert n'ait commis aucune erreur à classer tel cas en unknown (ou known), ou que le classement "unknown" ne soit pas du à un manque de paramètres, un simple constat d'ignorance, etc .

En effet :

Le chi-deux permet à partir de deux populations (OVNI OVI ici) auxquelles est associé le même ensemble de critères qualitatifs, eux-mêmes divisés en plusieurs catégories, de tester si ces populations sont indépendantes ou non.

Ici donc de se dire que si OVI et OVNI présentent les mêmes fréquences critère/catégorie, l'une est dépendante de l'autre.

Dans le cas contraire, les population sont indépendantes (une ayant ses critères/caractéristiques propres).

A partir de là, on pourrait dégager un "portrait-robot" des unknown (dernière partie du rapport).

Le gros problème, et les auteurs attirent l'attention dessus, si par exemple beaucoup de cas expliqués sur un critère/catégorie (forme avion ie) et très peu d'inexpliqués même critère/catégorie, cela va avoir pour conséquence de participer largement à ce que l'outil montre des populations indépendantes sur ce critère "forme".

Cela gonfle l'indépendance donc et on risque la présence d'un "artefact" expérimental.

C'est à dire que si sur un critère, forme avion par exemple, il y a bcp d'OVI (known) par rapport à bcp moins d'OVNI (unknown) sur ce même critère, mais qu'en fait ces OVNI (classés unknown) sont des "known" en réalité (avions mal identifiés), cela a gonflé "artificiellement" la statistique.

Or, cet artefact ne peut pas être écarté d'un revers de la main, comme on en convient aisément je crois. D'ailleurs, les auteurs insistent particulièrement là-dessus.

D'ailleurs, tout au contraire, dans un cas comme celui-ci à "petit" résidu, il y a le grand risque ces OVNI soient en fait des avions, mais que les "experts" n'ont pas pu le déterminer.

Si cela avait été fait (déterminé comme étant des avions), ce critère-catégorie "forme-avion", contribuant pourtant largement à ce que les populations soient indépendantes (par le test), il n'y aurait plus d'indépendance entre les populations sur le critère de forme.

Je ne sais pas si c'est "clair" que ce biais possible pouvant expliquer l'indépendance des deux populations ?


(suite et fin)

5. Vitesse

La distance calculée (37.93) étant supérieure à la distance critique (15.1), il y a lieu de mettre en cause la dépendance entre les deux groupes sur ce critère, avec un risque de se tromper égal à 1 %.

Problème : > 400 mph contribue pour 21,37 points et vitesse non établie pour 7.16. Une absence de données pour 7.16 donc (!), et si surestimation de vitesses par les témoins pour 21 points...

En d'autres termes, c'est possiblement l'incapacité humaine à évaluer une vitesse, ou son absence dans le témoignage, mais encore le biais possible de surévaluations des vitesses par les humains, qui expliqueraient que les cas restent "unknown", et non les caractéristiques de vitesse réelle des objets...

Plus d'indépendance alors.

6.Luminosité.

Le chi-deux est non significatif (5.85 inférieur au seuil critique 11.1). Dépendance des deux populations.


Conclusion "personnelle":

La méthode consistait à regarder si les fréquences de certains critères, eux mêmes divisés en différentes catégories, entre les "OVI" et "OVNI" étaient dues au hasard ou non.

De là, si les fréquences sont similaires, il n'y aurait aucune raison de conclure que les critères des unknown s'écartent de ceux des known, les populations étant dépendantes l'une de l'autre.

Le problème majeur est le suivant :

Si beaucoup de cas sont expliqués, par exemple de classe "a" pour un critère "Y", et qu'il existe peu d'OVNI (cas inexpliqués) de la même classe et du même critère, la contribution au chi-deux est maximisée sur ce critère/classe.

Cela "gonfle" la statistique au risque méthodologique de devenir un artefact expérimental.

Ainsi, si (exagération) 100 cas OVI sur un critère, même classe, par exemple forme/avion, et 1 cas OVNI, même critère, même classe, ceci amène à penser que les deux groupes sont indépendants sur la forme ; et donc "forme-avion" est une caractéristique propre aux unknown dans le "portrait-robot" que l'on essaie de "dessiner".

OR, si ce cas OVNI est en fait un avion, mais que l'on a pas pu le déterminer, cette classe contribue de façon biaisée à la significativité du Chi-deux...

L'indépendance entre les deux populations peutdonc être imputable aux différentes proportions "d'unknown", qui seraient en fait des "known", par rapport aux "known", sur un même critère. C'est à dire qu'on serait en présence d'un artefact expérimental.

N.B1 : J'ai parfois remplacé "known" et "unknown" par OVI OVNI par confort (il y a a tout de même une nuance, known unknown étant bien meilleur et choisi par l'étude Battelle.)

NB 3 Par rapport à :

In all six studied sighting characteristics, the unknowns were different from the knowns at a highly statistically signficant level: in five of the six measures the odds of knowns differing from unknowns by chance was only 1% or less. When all six characteristics were considered together, the probability of a match between knowns and unknowns was less than 1 in a billion.

L'auteur ne rappelle pas les biais possibles et risques expliqués dans l'étude, question sur laquelle, tout repose.

Pour le passage en gras, heu, je me demande, comme toi, où il a lu cela, ou comment il a calculé cela ? En statistique non-paramétrique, les seuils sont souvent 5 % ou 1 % dans les tables. Alors au "miliard", un peu bizarre !

Mais j'ai une petite "piste", je crois :

A moins, je suppose, qu'il ait fait 1 chance sur 100 d'erreur 5 fois = 1 chance sur un milliard) (nombre à dix chiffres = 1 000 000 000), ce qui est absolument une erreur en stats que d'additionner les seuils ! Je suppose que c'est ce que cette personne a faite... Fort de café si c'est cela !


De plus, ajouter la 6eme variable "luminosité" devrait avoir pour conséquence de baisser le "didn't match", puisque ce critère amène à conclure que les deux populations sont dépendantes sur ce critère. Enfin bref, je ne comprends pas très bien ce "résumé".

En tout cas, ce "résumé" est totalement vidé des "recommandations", "bémols" et autres "mises en garde" statistiques présents pourtant au sein du rapport lui-même. "I want to believe ?"

Le chi-deux permet à partir de deux populations (OVNI OVI ici) auxquelles est associé le même ensemble de critères qualitatifs, eux-mêmes divisés en plusieurs catégories, de tester si ces populations sont indépendantes ou non.

OK. Je vais vérifier tout ça.
http://fr.wikipedia.org/wiki/Test_du_%CF%87%C2%B2

Pour le passage en gras, heu, je me demande, comme toi, où il a lu cela, ou comment il a calculé cela ? En statistique non-paramétrique, les seuils sont souvent 5 % ou 1 % dans les tables. Alors au "miliard", un peu bizarre !

Il a juste multiplié les 6 probabilités supposées (à tort) indépendantes, non ? On notera que Stanton Friedman n'a pas utilisé cette valeur peu sérieuse dans son article du MUJ.

nablator a écrit:Il a juste multiplié les 6 probabilités supposées (à tort) indépendantes, non ?

Vi, c'est ce que j'ai supposé en bas de la dernière reply. Snif, tu n'as même pas lu ma prise de tête du jour

:(MRDgreen):

A propos de l'indiscernabilité OVI/OVNI. J'ai le livre d'Allan Hendry The UFO Handbook, si c'est là-dedans, je vais le retrouver ce soir.

http://rr0.org/science/crypto/ufo/OVI.html

nablator a écrit:Cortex : quelle est l'étude qui a conclu à l'indiscernabilité entre OVI et OVNI ? J'aimerais bien comparer la méthode de calcul, parce que pour l'instant je ne comprends pas comment une telle conclusion est possible à partir des données de Blue Book.

Il ne s'agit pas d'une étude statistique. Il faudrait demander à DAR, qui a écrit le passage de Les OVNI du CNES consacré à cela (pp. 401-402), sur quelles sources il s'est appuyé précisément (sand doute Monnerie, Jimenez, et d'autres).

je ne comprends pas comment une telle conclusion est possible à partir des données de Blue Book.

Sorry d'insister, mais :

Ce n'est pas une "conclusion" du special report n°14, aucunement, et en aucune façon.

C'est prendre un "tableau" ou plusieurs, parce que "consonants" (les chi-deux sont significatifs), et décontextualiser ;

Alors que les statisticiens du rapport invitent à "comment lire" ces chi-deux, compte tenu de ce que j'ai essayé de résumer plus haut, et qui est enseigné.

Car tout repose sur les "cas" qui contribuent aux chi-deux...

Regarde "meteor or comet", dans "shape" (forme), p72 de ton lien footnote.

Il y a 55 "known" et... 4 unknown.

Si ces 4 sont en fait des "meteor or comet" prosaïques, le chi-deux va perdre 7.14points... Et ainsi de suite.


Donc tout le long, si les "experts" ont trouvé beaucoup de cas témoignés en "meteor or comet" et expliqué ces OVNI (55 sur 59, devenant "known" donc) et qu'ils sont dans un constat d'ignorance (inexpliqué et non pas inexplicable, NUANCE) pour très peu de cas (4/59), "meteor or comet" contribue énormément à faire que le chi-deux est significatif.

Mais si ces 4 cas avaient été expliqués, plus (plu)de significativité du chi-2.

En d'autres termes, plus (+) tu expliques de cas prosaïquement et plus (+) le résidu est petit ;

Mais, du coup, plus (+) ce résidu contribue à ce que le chi-deux soit significatif, d'autant plus, paradoxalement, qu'il est petit.

Et les deux populations deviennent "indépendantes".

Je dois être obtus (c'est même une certitude). En plus je n'ai pas lu le rapport N°14, donc je ne devrais pas commenter du tout...

Si le nombre d'inconnus est trop faible pour conclure (échantillon non significatif), comment se fait-il que la probabilité calculée que les UNKNOWNs soient des KNOWNs est si faible ? C'est le b-a-BA en statistiques qu'il est plus improbable qu'un grand nombre d'échantillons s'éloignent de la normale que quelque-uns. Comprends pas.

comment se fait-il que la probabilité calculée que les UNKNOWNs soient des KNOWNs est si faible ?

Ils ne calculent pas cela je crois ?

Ils regardent, par chi-deux, si les deux groupes "unknown" & "known" sont indépendants ou non, compte tenu de certains critères.

Si par exemple, il y a 100 cas réels "ronds" comme "known", et 1 cas "unknown" "rond" alors que l'on a dégagé toute explication prosaïque pour ce cas,

Cela permet de "dire" que "rond" est une caractéristique des "soucoupes volantes", "engin ET".

Si et seulement si.

En effet, tout cela dépend, donc, que ce cas "unknown" "rond" soit réellement un "unknown"...

Si c'est un objet prosaïque, parmi le nombre important de cas "rond" (où le critère rond était témoigné), et cas que l'on a expliqués prosaiquement,

Mais que celui-ci, on n'a pu l'expliquer par constat d'ignorance, alors qu'il est prosaïque en réalité,

==> pas de caractère "rond" propres aux unknown.

OR, c'est ainsi tout le long, que cette précaution ou risque d'en déduire ce qu'il ne faut pas, et les auteurs invitent à cette précaution justement.