Loi de Benford

Aller en bas

Loi de Benford

Message par Asperzebre le Mer 19 Oct 2016 - 20:28

J'ai une attirance presque irrationnelle pour les chiffres, tout ce qui tourne autour m'attire.
Je suis tombé par hasard il y a quelques années sur la loi de Benford:
https://fr.wikipedia.org/wiki/Loi_de_Benford

Je n'ai jamais fait attention au nom de cette loi, mais j'en avais retenu plusieurs choses intéressantes:
1) La loi en elle-même:
Il y a plus de nombres commençant par '1', que par '2', que par '3'...et ainsi de suite, les nombres commençant par '9' étant les moins nombreux.
Cette loi est très intéressante, car elle est contre intuitive: on penserait naturellement qu'il y a autant de nombres commençant par 1 que par 9.
2) Applications rigolotes de cette loi:
Cette loi est utilisée entre autres pour vérifier la validité de certains documents: un document présentant plus de nombres commençant par '9' que de nombres commençant par '1', est contraire à la loi de Benford, et il y a de grandes chances pour que les nombres de ce document soient faux (nombres choisis 'au hasard' par le créateur du document)...ça aurait des applications par exemple dans la lutte contre la fraude fiscale.
3) Démonstration de cette loi:
Cette loi a été observée (sur un nombre significatif de documents, suffisamment important pour exclure le facteur 'hasard'), mais il n'y a pas encore de démonstration existante (c'est en tout cas ce que j'avais lu à l'époque)

L'idée de démontrer cette loi m'a donc trotté dans la tête, pendant plusieurs années, jusqu'à ce que je me décide à m'y attaquer sérieusement, et j'ai réussi à produire ma propre démonstration de la loi Benford  Smile
Ma démonstration est une démonstration incomplète au sens mathématique (ma démonstration ne pourrait jamais être utilisée par un professeur d'université), mais elle est tout de même suffisamment complète pour 'prouver' que ce qu’énonce la loi Benford est tout à fait cohérent, et que ce que nous annonce notre intuition (il y a autant de nombres commençant par 1 que par 9) est faux.
Je l'ai faite en 2015, et l'ai gardée pour moi, ne voyant pas l'intérêt de la partager.

Aujourd'hui, pris de curiosité j'ai recherché cette loi, pour voir si la démonstration était toujours à faire, en me disant que je pourrais peut-être faire avancer la science en rédigeant ma démonstration de manière propre.
J'ai fini par en retrouver le nom, puis j'ai cherché ce que je trouvais à ce sujet sur internet, et e suis tombé sur des ébauches de démonstrations,assez proches de la mienne...tant pis, je ne ferais pas avancer la science aujourd'hui.
Mais je partage tout de même cette loi sur ce forum, juste parce que c'est une loi que je trouve très rigolote (oui je sais, c'est pas sensé être rigolo les chiffres, mais j'ai un humour un peu spécial), et j'espère que certains la trouveront intéressante et se creuseront la tête pour essayer de comprendre comment c'est possible qu'il y ait plus de nombres commençant par '1' que par '9' (sans regarder la 'réponse' sur internet, c'est encore mieux).


Dernière édition par Asperzebre le Jeu 20 Oct 2016 - 17:11, édité 1 fois (Raison : coquille)
Asperzebre
Asperzebre

Messages : 2009
Date d'inscription : 10/05/2016

Revenir en haut Aller en bas

Re: Loi de Benford

Message par Tchobo le Jeu 20 Oct 2016 - 14:03

Plop,

J'avais eu ce cas en classe préparatoire, mais je me rappelais que l'on parlais du dernier digit et non du premier chiffre.
Je kiffe les mathématiques, le problème c'est que ce genre de résultat anti intuitif m'énerve  et j'ai tendance à me dire "ils se sont plantés quand ils ont énoncé l'axiome".
Je vais laisser l'idée se balader quelques temps et on verra bien si j'ai une idée.

Edit : Est ce qu'on à le droit de dire un truc du genre :
Si on parle de nombres observés dans la vraie vie alors ils sont comprit entre 0 et une limite physique (par exemple si on parle de déclaration de revenus, ils sont compris entre 0 et L; L étant le maximum des déclarations observées sur la période).
=> Une fois qu'on a cela dit la démonstration me semble gagnée, puisque L ne sera pas toujours un chiffre s'écrivant 9999999 ou 99 ou 999.
Et seuls les nombres ne s'écrivant qu'avec le chiffre 9 permettent d'obtenir autant de nombre entre 0 et L commençant par chacun des dix chiffres connus.

Après on conclu en disant que dès que L ne s'écrit pas uniquement avec des "9", et bien les nombres commençant par "9" sont moins représentés que les autres.
Si "L" s'écrit en commençant par un "3" il y a autant de nombres commençant par "1" ou par "2", les nombres commençants par "3" sont un peu moins représentés, et ceux commençant par "4" ou plus sont clairement sous représentés.

Enfin comme il s'agit de statistiques, il n'y a pas un seul "L"; il y a le "L" de la déclaration de revenu, le "L" des nombres du loto (49 de mémoire), le "L" des notes obtenues au BAc (20), le L de la population des villes de France (env. 2 000 000 pour Paris), et ainsi de suite.

Ca me semblerait facile.

Rolling Eyes  Ensuite on y colle un log() parce quand on fait des stastiques on met des log() et des e() et voila Rolling Eyes

Tchobo

Messages : 5
Date d'inscription : 13/10/2016

Revenir en haut Aller en bas

Re: Loi de Benford

Message par Asperzebre le Jeu 20 Oct 2016 - 17:52

L'idée de base est là Smile

Avec tous les 'L' différents, on arrive en usage courant à avoir:
-des ensembles où il y a plus de 1 qu'autre chose
-des ensembles où il y a autant de 1 que de 2, mais moins de 3 et +
-des ensembles où il y a autant de 1, de 2 et de 3, mais moins de 4 et +
et ainsi de suite.
En regroupant tous ces ensembles, on arrive donc à avoir au total dans l'utilisation courante plus de nombres commençant par 1 que de nombres commençant par 2, plus de nombres commençant par 2 que de nombres commençant par 3, et ainsi de suite jusqu'à 9.
Ça c'est assez logique et facile à comprendre., mais tout le raisonnement est basé sur les différents ensembles 'L'

J'ai creusé un peu plus loin, et j'arrive à avoir la même conclusion si on ne se restreint plus à une limite.
Autrement dit, sans avoir besoin de passer par la notion de limites d'ensemble, je pense pouvoir montrer que si on tire un nombre entier quelconque aléatoire, il a plus de chances de commencer par 1 que par 2, plus de chances de commencer par 2 que par 3, et ainsi de suite.
Asperzebre
Asperzebre

Messages : 2009
Date d'inscription : 10/05/2016

Revenir en haut Aller en bas

Re: Loi de Benford

Message par Tchobo le Jeu 20 Oct 2016 - 21:21

Pas d'accord.

Sauf si tu dit que ton nombre aléatoire tu le tire parmis les nombre utilisés dans les différents ensemble avec une apparition pondérée par leur nombre d'apparition dans la vie de tous les jours.

Et c'est la que je me suis énervé en prépa car je pense sais qu'on tirait aléatoirement un nombre entre 0 et l'infini. Ce qui aurait ni queue ni tête

Tchobo

Messages : 5
Date d'inscription : 13/10/2016

Revenir en haut Aller en bas

Re: Loi de Benford

Message par Asperzebre le Jeu 20 Oct 2016 - 23:09

Non non, purement aléatoire dans l'ensemble des nombres entiers positifs Smile (le fameux 'N+*', avec deux barres verticales, que je ne sais pas faire sur l'ordi)

La notion d'infini est un obstacle à la compréhension, je te l'accorde.
Il y a une infinité de nombres commençant par '1', il y en au aussi une infinité commençant par '9'.
Ça peut sembler gênant de dire "l'infini est supérieur à l'infini".

J'aime bien dire 'l'infini est supérieur à l'infini', même si c'est probablement une formulation incorrecte en mathématique, je n'ai pas de meilleurs mots pour exprimer le concept.
Exemple tout bête: les multiples de dix comparés aux nombres entiers.
Soit N le nombre d'entiers, et D le nombre de multiples de 10.
Tous les multiples de 10 sont des entiers, et seul un nombre entier sur 10 est un multiple de 10.
Il y a donc environ 10 fois plus d'entiers que de multiples de 10, et on a N=environ 10D.
Pourtant N et D sont infinis.
Déclarer que N=10D revient à dire "une infinité égale 10 fois une autre infinité".

Une fois qu'on a franchi ce cap qui peut bloquer le raisonnement, et qu'on accepte de comparer des infinités entre elles, alors on peut montrer que l'infinité des nombres commençant par '9' est plus petite que l'infinité des nombres commençant par '1'.

J'explique le principe d'une démonstration par l’absurde, au cas où tu ne connaîtrais pas, si tu connais ce n'est pas la peine de perdre ton temps à lire la définition, tu peux passer direct à la démonstration.
Une démonstration par l'absurde consiste à démontrer indirectement qu'une chose est vraie (ou fausse), en partant du postulat contraire, et en prouvant que ce postulat implique des absurdités, et qu'il est donc faux.
Ici, je vais partir du postulat que notre intuition ne nous trompe pas, et qu'il y a autant d'entiers naturels commençant par '9', que par '1', et je vais en conclure une absurdité, qui va prouver que ce postulat est faux.

Démonstration par l'absurde:
Pour éviter une écriture fastidieuse, je vais noter pour la suite:
N(k)= le nombre de nombres entiers commençant par k.
E(k)= l'ensemble des nombres entiers commençant par k.

Regardons attentivement la logique que suit notre intuition pour nous dire que N(1)=N(9): Pour chaque nombre commençant par 1, il y a un 'équivalent' commençant par '9'.
1->9
10-19->90-99
100-199->900-999
et ainsi de suite.

Partons du postulat que cette logique est valide et 'prouve' que N(1)=N(9).

Nous pouvons applique exactement la même logique avec N(9) et N(10):
Pour chaque nombre commençant par '9', il y a un nombre 'équivalent' commençant par '10'.
9 ->10
90-99 ->100-109
900-999->1000-1099
et ainsi de suite.

Si notre intuition prouve que N(1)=N(9), alors elle prouve aussi que N(9)=N(10).

Notre postulat de départ implique deux choses:
A) N(1)=N(9)
B) N(9)=N(10)
Il implique donc N(1)=N(10).

Tout nombre commençant par '10', commence aussi par 1 (pas besoin de démonstration pour ça j'espère).
Donc E(10) est inclus dans E(1), et N(10)=N(1) si et seulement si E(10)=E(1)
Autrement dit, N(1)=N(10) si et seulement si il n'existe aucun nombre commençant par '1' et ne commençant pas par '10'.

Le postulat de départ qui nous permet d’affirmer que N(1)=N(9) implique donc que le nombre '1' n'existe pas, pas plus que les nombres 11-19, les nombres 111-199, et ainsi de suite.
On est arrivé à l'absurdité recherchée, on a donc prouvé que le postulat est faux Smile
Asperzebre
Asperzebre

Messages : 2009
Date d'inscription : 10/05/2016

Revenir en haut Aller en bas

Re: Loi de Benford

Message par Ryuzaki L le Jeu 27 Oct 2016 - 4:12

Asperzebre a écrit:

Partons du postulat que cette logique est valide et 'prouve' que N(1)=N(9).

Nous pouvons appliquer exactement la même logique avec N(9) et N(10):

Je m'excuse d'avance si je dis une bêtise, mais il me semble qu' ici, on ne peut pas vraiment dire qu'on applique la même logique. Ton raisonnement de départ fonctionne car 1 et 9 ont le même nombre de chiffre, ce qui n'est pas le cas de 9 et 10.

Cette loi est quand-même surprenante...

Mais j'ai une idée de démonstration.

(Ici je ne vais travailler que sur les entiers pour simplifier les calculs)
Si au lieu de réfléchir sur l'infini, je prenais d'abord un intervalle plus restreint: [1; 100] par exemple

on voit que dans cet intervalle, il y a 1, 10...19, 100 (soit 12 nombres commençant par 1) alors qu'on n'a que 2, 20...29 soit seulement 11 nombres commençant par 2.
Dans cet intervalle là on voit qu'il y a plus de nombre commençant par 1 que par 2 (et autant de nombre commençant par 2 que par 3 ou 4 ou 5 ou ...9).

Si on prend un autre intervalle un peu moins restreint, [1, 200] par exemple,
on voit que dans cet intervalle, il y a 1, 10...19, 100...199 (soit 111 nombre commençant par 1), 12 nombres commençant par 2: 2, 20...29, 200 et seulement 11 nombres commençant par 3 (3, 30...39).
Dans cet intervalle là on voit qu'il y a plus de nombre commençant par 1 que par 2 et plus de nombre commençant par 2 que par 3 et autant de nombre commençant par 3 que par 4 ou 5 ou... 9

Si on prend un autre intervalle encore moins restreint, [1, 300] par exemple,
on voit que dans cet intervalle, il y a 1, 10...19, 100...199 (soit 111 nombre commençant par 1), 111 nombres commençant par 2: 2, 20...29, 200...299 et seulement 12 nombres commençant par 3 (3, 30...39).

Dans cet intervalle là on voit qu'il y a autant de nombre commençant par 1 que par 2 et plus de nombre commençant par 2 que par 3 et autant de nombre commençant par 3 que par 4 ou 5 ou... 9.

Et si on élargit de plus en plus l'intervalle, on aura toujours
N(1)>=N(2)>=N(3)...N(8 )>=N(9)

(Ici >= signifie supérieur ou égal).

Et comme on n'a jamais fini d'élargir l'intervalle, on n'aura jamais N(1)=N(2)=...=N(9).


Je m'en suis rendue compte après coup, mais c'est presque le même raisonnement que Tchobo.
Ryuzaki L
Ryuzaki L

Messages : 607
Date d'inscription : 27/04/2016
Age : 26
Localisation : Mende

https://www.arbre-aux-enfants.com/

Revenir en haut Aller en bas

Re: Loi de Benford

Message par Ryuzaki L le Jeu 27 Oct 2016 - 4:39

J'avoue que l'idée de tirer aléatoirement 1 nombre sur une infinité de nombres est bizarre... chaque nombre aurait alors une chance sur infini d'être tiré, soit 0.

Et comment faire pour modéliser l'expérience(rentrer l'intervalle 0; infini) sur l'ordinateur?
Ryuzaki L
Ryuzaki L

Messages : 607
Date d'inscription : 27/04/2016
Age : 26
Localisation : Mende

https://www.arbre-aux-enfants.com/

Revenir en haut Aller en bas

Re: Loi de Benford

Message par boule-d-ombre le Jeu 27 Oct 2016 - 6:58

bonjour quand je lis ce principe je le trouve normal. apparemment vous partez dans des explications mathematique mais cette loi s applique beaucoup dans la vie de tous les jours vous faites plutot 10km ou 90? les prix les plus courants sont pas ceux qui commencent avec des 9 mais plus souvent avec de petits nombres. de meme dans les rapports il y a souvent des evolutions donc plus facilement de petits nombres au debuts des chiffres que des grands. enfin je suis peut etre a cote de votre sujet aussi
boule-d-ombre
boule-d-ombre

Messages : 1241
Date d'inscription : 02/01/2012

Revenir en haut Aller en bas

Re: Loi de Benford

Message par Asperzebre le Jeu 27 Oct 2016 - 10:58

Lawliet, ton raisonnement c'est le même que celui de Tchobo (comme tu l'as remarqué), et le même que mon raisonnement 'de base'.

Après j'ai rajouté un raisonnement supplémentaire, qui te semble douteux sur le fait que N(9) comporte 1 chiffre et N(10) en comporte 2.
Ça m'embête un peu, car je base tout mon raisonnement sur cette comparaison.

Pour moi, le '10' comme limite est une création de notre esprit.
Du coup, j'ai envie de te faire sauter cette barrière, je ne sais pas comment tu 'fonctionnes', j'ai deux 'méthodes' qui pourraient peut-être fonctionner.
1ère méthode: méthode imagée.
Pour illustrer l'idée que c'est notre esprit qui nous impose cette limite: j'attire ton attention sur le fait que cette limite serait 2 en binaire (noté 10), 16 en hexadécimal (noté 10 là encore)...bref le nombre 10 (noté 1010 en binaire et A en hexadécimal) n'a rien de particulier.

2ème méthode: méthode d'analyse du raisonnement.
J'aimerais que, sans t'occuper du reste du raisonnement, tu me dises ce qui te choque quand j'écris ceci:
Pour tout nombre dont l'écriture commence par la chaîne de caractères '9', il y a un équivalent commençant par la chaîne de caractères '10'
'9'->'10'
'9'0-'9'9 ->'10'0-'10'9
'9'00-'9'99->'10'00-'10'99
...
Pour ma part, il me semble que cette logique est strictement la même que celle comparant les nombres commençant par '1' et ceux commençant par '9'.

D'ailleurs je suis convaincu qu'il est possible de compléter la loi de Benford.
Celle-ci dit actuellement N(1)>N(2)>N(3)...>N(9)
Je rajouterais volontiers N(9)>N(10)>N(11)>N(12)....
Dans l'usage courant, il y aurait une limite au delà de laquelle ça ne fonctionne plus:on utilisera par exemple beaucoup plus volontiers le nombre 10^50 (un '1' suivi de cinquante '0') que le nombre 10^40+9120304572 (un '1' suivi de trente '0', suivi de '9120304572'), ce dernier nombre est pourtant beaucoup plus petit que le précédent et devrait être mieux représenté selon l'extension de la loi de Benford (je ne serais d'ailleurs pas du tout surpris d'être le tout premier humain à l'avoir utilisé un jour).

D'un point de vue purement mathématique par contre (si on s'intéresse uniquement aux nombres en eux-mêmes, pas à leur utilisation dans le langage courant), je pense que cette loi peut s'étendre à l'infini Smile
C'est une forte intuition, je pense pouvoir la 'prouver' avec le même genre de 'preuves' que j'ai exposé dans mon message précédent, mais pas avec des 'preuves' valides pour la communauté scientifique, je manque de vocabulaire mathématique pour exprimer mes concepts selon les normes attendues.


Dernière édition par Asperzebre le Jeu 27 Oct 2016 - 16:44, édité 1 fois
Asperzebre
Asperzebre

Messages : 2009
Date d'inscription : 10/05/2016

Revenir en haut Aller en bas

Re: Loi de Benford

Message par Invité le Jeu 27 Oct 2016 - 11:25

Loi à la c..., si je puis me permettre ! Ou alors c'est l'article de wikipédia qui est mauvais (j'ai bien fait de ne pas faire de don Razz !).

D'abord, je ne vois pas ce qu'il y a d'intuitif à ce qui est annoncé :
"Quand on étudie un ensemble de données, on pourrait s'attendre à voir les chiffres 1 à 9 apparaître à peu près aussi fréquemment sur le premier chiffre d'un nombre, soit 11,1% (1 sur 9) pour chacun. Or, contrairement à l'intuition, le 1er chiffre non nul le plus fréquent est 1, pour près du tiers des observations. Le chiffre 2 est ensuite lui-même plus fréquent que le 3… et la probabilité d'avoir un 9 comme premier chiffre significatif n'est que de 4,6 %."
Du reste, on a du mal à comprendre d'où sont tirées les données exactement : l'article fait référence à la "vraie vie" (c'est défini comment ?), à "de nombreuses sources de données [...] mais pas toutes" !!!
Bof...

L'aspect "intuitif" me paraît suspect à ce stade introductif. J'y vois plutôt une projection anthropomorphique : nous choisissons rarement les chiffres "au hasard", et tout un tas d'explications peuvent donner un sens à certaines observations. L'article cite les numéros de rue de son carnet d'adresse. Étonnant qu'on n'en trouve pas beaucoup commençant par 9 ? Il y a combien de rues dans une ville qui vont jusqu'au numéro 90 ??? Et s'ils le dépassent, vont-ils systématiquement jusqu'à 999 ou bien s'arrêtent-ils avant Wink ?

Quant à ma carte de crédit, sur ses 4 numéros, 2 commencent par 9 et aucun par 1 (ça laisse encore pas mal de combinaisons possibles avant que je me fasse pirater Wink). Ce qui ne va pas trop dans le sens de la loi. Mais je sais : c'est un cas particulier qui ne prouve rien, et de toute façon j'ai toujours été un cas particulier au cours de ma vie... Laughing
Bref, je n'ai pas envie d'aller plus loin que l'introduction de cet article, non pas parce que la "loi" est "fausse" (peut-on parler de "loi", au passage ??), mais en raison de la qualité de l'article. S'il y a d'autres sources mieux faites...

Invité
Invité


Revenir en haut Aller en bas

Re: Loi de Benford

Message par Ryuzaki L le Jeu 27 Oct 2016 - 13:59

Asperzebre a écrit:
Pour moi, le '10' comme limite est une création de notre esprit.
Du coup, j'ai envie de te faire sauter cette barrière, je ne sais pas comment tu 'fonctionnes', j'ai deux 'méthodes' qui pourraient peut-être fonctionner.
1ère méthode: méthode imagée.
Pour illustrer l'idée que c'est notre esprit qui nous impose cette limite: j'attire ton attention sur le fait que cette limite serait 2 en binaire (noté 10), 17 en hexadécimal (noté 10 là encore)...bref le nombre 10 (noté 1010 en binaire et A en hexadécimal) n'a rien de particulier.

Effectivement, ton raisonnement se tient.

Du coup cette loi fonctionnera-elle toujours en binaire(ou sur une autre base)? D'ailleurs a-t-elle été démontrée mathématiquement, de façon rigoureuse ou est-t-elle uniquement le fruits d'observations statistiques(car les nombres qu'on rencontre dans la vraie vie ne sont pas vraiment aléatoires)? J'ai cherché sur internet, mais je n'ai pas trouvé de démonstration satisfaisante.


Dernière édition par Lawliet Ryuzaki le Jeu 27 Oct 2016 - 15:39, édité 1 fois (Raison : erreur de frappe)
Ryuzaki L
Ryuzaki L

Messages : 607
Date d'inscription : 27/04/2016
Age : 26
Localisation : Mende

https://www.arbre-aux-enfants.com/

Revenir en haut Aller en bas

Re: Loi de Benford

Message par Stauk le Jeu 27 Oct 2016 - 15:36

Bon j'ai pas tout lu ... mais y a quand même quelques certitudes :

- J'ai lu en passant "nombre aléatoire pris parmi l'ensemble des entiers positifs". En mathématique on ne peut pas tirer de façon uniforme un tel nombre; Du coup il faut préciser ce qu'on signifie par cette expression : il y a forcément une loi non uniforme derrière le tirage d'un nombre aléatoire parmi l'ensemble des entiers positifs.

- La loi de Benford est clairement fausse dés lors qu'on se donne une loi uniforme sur un espace qui contient autant de chaque chiffre. En clair si tu tire au hasard de façon uniforme un nombre entre 0 et 9, tu vas bien avoir autant de chaque (en moyenne). Si tu tire au hasard entre 00 et 99 ... heu, non tu n'auras pas autant de chaque, mais c'est juste parceque 00 est considéré équivalent à 0. Du coup y a moins de 0, par contre tu vas avoir autant de 1 que de 9.


Maintenant si tu choisis une loi pour tirer au hasard, il faut préciser laquelle (ou lesquelles si c'est une classe de loi, ou préciser "toutes" si ce sont toutes les lois ).



- Si la loi de Benford s'applique, alors ça signifie que la manière d'écrire les nombres est non optimale : tout ensemble de nombre qu'on écrit de telle sorte que la loi de Benford s'applique peut être compressé (une fois parfaitement compressés il y aura autant de chaque symbole)



@Alexandre : est ce que tu as lu la page en Anglais (j'ai pas vraiment lu, mais il y a une lois qui dit que l'article en anglais est plus complet et cohérent et vérifié et relu que celui en français sur Wikipedia, quelque soit le sujet. Bon j'ai pas démonstration à vous fournir, mais dans la vrai vie, ça semble vrai !) https://en.wikipedia.org/wiki/Benford%27s_law
Stauk
Stauk

Messages : 6462
Date d'inscription : 16/01/2015

http://www.staukwood.com/

Revenir en haut Aller en bas

Re: Loi de Benford

Message par Pieyre le Jeu 27 Oct 2016 - 16:26

C'est un peu ce que je voulais dire. Je ne suis pas intervenu jusqu'à présent parce que je me plante souvent sur les problèmes faciles. Mais je vais essayer.

J'évacue la considération d'un ensemble infini de nombres, qui ne me semble rien apporter.

Si on tire un nombre au hasard entre 1 et 999...9 selon la loi uniforme, on a autant de nombres qui commencent par chacun des chiffres. C'est imparable.

Donc, dans les cas considérés, il ne s'agit pas de la loi uniforme.

Je peux trouver une loi qui donnera davantage de premier chiffre grand, ou pair, ou premier, ou tout ce qu'on voudra. C'est facile.

Alors où est le truc ? J'ai vu qu'il y avait une démonstration, mais je n'ai pas approfondi. C'est le principe qui m'importe d'abord, et le principe n'est pas clair. Plus précisément, je ne vois pas comment il ne pourrait pas y avoir une question psychologique dans tout cela.

Prenons un score. Dans la mesure où nous sommes habitués au système de notation décimal (ou de n'importe quelle base, c'est pareil), dès lors qu'on dépasse la puissance suivante de la base, c'est valorisant, donc on fait moins d'effort pour aller plus loin. Ainsi, quand tout le monde stagne entre 1 et 99, le premier qui atteint 100 s'estime être un Dieu, et alors 101, 200 ou 900, bof ! c'est un peu du même genre.

Ce qui serait intéressant sur le forum, où les scores sont assortis d'une qualification toutes les puissances de 10 ou les triples de puissances de 10, avec des intitulés plus ou moins valorisants, c'est qu'il y ait un certain ralentissement du nombre de contributions à partir du moment où l'on dépasse ces différents grades. Ainsi j'ai cru remarquer parfois que certains membres avaient du mal à atteindre 3000 (alors qualifiés de vieux de la vieille); mais, qu'une fois qu'ils le dépassaient, ils avançaient à nouveau à un bon rythme...


Dernière édition par Pieyre le Jeu 27 Oct 2016 - 17:07, édité 1 fois (Raison : orthographe)

Pieyre

Messages : 20530
Date d'inscription : 17/03/2012
Localisation : Quartier Latin

Revenir en haut Aller en bas

Re: Loi de Benford

Message par Stauk le Jeu 27 Oct 2016 - 16:43

Pieyre a écrit:Plus précisément, je ne vois pas comment il ne pourrait pas y avoir une question psychologique dans tout cela.
Il suffirait que la plus part des lois de tirages aléatoires donnent ce biais, pas forcément de problème psychologique.
Par exemple si on prend l'ensemble de lois qui donnent une distribution uniforme parmis l'ensemble 0...N ou N est lui même tiré aléatoirement uniformément de façon préliminaire parmi 0..9999.

Est ce qu'il existe alors une asymétrie en moyenne sur les chiffres qui apparaissent ?


Elle est où la nécessité du biais psychologique ?
Stauk
Stauk

Messages : 6462
Date d'inscription : 16/01/2015

http://www.staukwood.com/

Revenir en haut Aller en bas

Re: Loi de Benford

Message par Pieyre le Jeu 27 Oct 2016 - 17:17

En effet, je n'avais pas pensé à ça : il suffit qu'il y ait plusieurs niveaux de tirage.

Maintenant, il faudrait me présenter des exemples suffisamment courants de ce phénomène. Dans le cas que j'indiquais, celui du nombre d'interventions sur un forum, il n'y a pas de borne maximale a priori, même s'il y a bien, en fonction de la durée probable de ce genre d'initiative, une certaine moyenne de temps de vie, et une certaine limite à l'investissement des membres, ou leur tolérance par les autres membres, qui doit jouer.

Pieyre

Messages : 20530
Date d'inscription : 17/03/2012
Localisation : Quartier Latin

Revenir en haut Aller en bas

Re: Loi de Benford

Message par Asperzebre le Jeu 27 Oct 2016 - 17:25

Votre blocage est de ne voir que les ensembles allant de 0 à (10^n)-1.
Il y a autant de nombres commençant par 1 que par 9 entre 0 et 9
De même entre 0 et 99
De même entre 0 et 999...
Certes.

Cependant, j'aimerais comprendre ce que les nombres de la forme (10^n)-1 ont de si particulier pour que vous n'examiniez que ces cas de figures bien précis?
A part le biais psychologique (dernier nombre avant d'ajouter un chiffre supplémentaire), je ne vois pas.

Je me permet d'emprunter la signature de Stauk:
Nombre aléatoire (1,1000000) : 601849
Faisons maintenant un petit jeu avec ce nombre:
Je suis directeur d'une association, qui compte 601849 membres inscrits.
Chaque personne de l'association a un numéro de membre, allant de 1 pour le premier inscrit à 601849 pour le dernier.
Je décide d'organiser une loterie, un membre au hasard de l'association gagnera un voyage.
Quelle est la probabilité que son numéro de membre commence par '1'?
Quelle est la probabilité que son numéro de membre commence par '2'?
Quelle est la probabilité que son numéro de membre commence par '3'?
...
Quelle est la probabilité que son numéro de membre commence par '9'?

Les nombres 1 à 5 ont la même probabilité.
P(1)=P(5)=111111/601849
Le nombre 6 est le point de bascule, avec une probabilité plus faible.
P(6)=12951/601849
Les nombres 7 à 9 ont la même probabilité, inférieure à celle du nombre 6.
P(7)=P(9)=11111/601849
et on pourrait continuer avec 10,11,12 pour amuser à vérifier mon hypothèse d'extension de la loi de Benford.

Jusqu'à 59 on conserve la même probabilité que pour 9.
{9, 90-99, 900-999, 9000-9999, 90000-99999} pour le '9'
{59, 590-599, 5900-5999, 59000-59999, 590000-599999} pour le '59'
P(9)=P(10)=P(11).....=P(59) =11111/601849
On atteint ensuite le second 'point de bascule'
P(60)<P(59), et P(61)<P(60)
Puis on repart jusqu'au point de bascule suivant, et ainsi de suite:P(61)=P(62)=...=P(600)<P(601)<P(602)=P(603)=P(604)=...=P(6017)<P(6018)<P(6019)=P(6020)...

En fait, quel que soit l'ensemble de nombres de 0 à k qu'on prend, on retrouve ces points de bascules, à différents endroits en fonction de la valeur de k.
Le cas très particulier de k sous la forme (10^n)-1 place les points de bascule à 10, 100, 1000...mais ce n'est qu'un cas particulier, qui n'a pas plus de valeur que de prendre l'exemple d'un carré pour dire qu'un quadrilatère possède 4 angles droits.
Asperzebre
Asperzebre

Messages : 2009
Date d'inscription : 10/05/2016

Revenir en haut Aller en bas

Re: Loi de Benford

Message par Stauk le Jeu 27 Oct 2016 - 17:30

Pieyre a écrit:En effet, je n'avais pas pensé à ça : il suffit qu'il y ait plusieurs niveaux de tirage.
Maintenant, il faudrait me présenter des exemples suffisamment courants de ce phénomène. Dans le cas que j'indiquais, celui du nombre d'interventions sur un forum, il n'y a pas de borne maximale a priori, même s'il y a bien, en fonction de la durée probable de ce genre d'initiative, une certaine moyenne de temps de vie, et une certaine limite à l'investissement des membres, ou leur tolérance par les autres membres, qui doit jouer.

Si tu prends le nombre d'interventions sur un forum, je pense qu'on peut assez bien modéliser de fait par une variable aléatoire bornée. Toute la question est de savoir donc quelle est la loi qui donne cette borne. Mais quelque soit cette loi, la majorité des bornes possibles donnent lieu à une asymétrie du nombre de 1 et de 9. Le 1 est toujours plus nombreux. De même le 8 est plus nombreux que le 9, dans ce modèle borné.

On ne retrouve pas la loi qui est exprimée dans l'article wikipedia, mais on retrouve bien l’asymétrie, et la fréquence maximale de 1, qui va en décroissant jusqu'à la fréquence minimale des 9.

@Asperzebre : effectivement, je suis d'accord avec toi. C'est d'ailleurs pour ça que j'ai écrit exactement la même chose juste au dessus.
Stauk
Stauk

Messages : 6462
Date d'inscription : 16/01/2015

http://www.staukwood.com/

Revenir en haut Aller en bas

Re: Loi de Benford

Message par Asperzebre le Jeu 27 Oct 2016 - 17:55

oui Stauk j'ai vu Wink
Asperzebre
Asperzebre

Messages : 2009
Date d'inscription : 10/05/2016

Revenir en haut Aller en bas

Re: Loi de Benford

Message par Stauk le Jeu 27 Oct 2016 - 17:58

D'ailleurs y a la Lawliet qui a écrit exactement la même chose, encore plus au dessus Smile
Donc on est à peu près d'accord sur ce constat là, étant donné un ensemble entre 0 et N (tiré au hasard avec une loi naturelle quelconque), on a d'excellentes chances que si on s'amuse à compter le nombre de 1 et de 9, y ait plus de 1 que de 9. Par contre on s'attendrait à ce que la différence soit d'autant plus subtile, que la borne maximale est grande.

Ah oui .. mais la loi de Benford ne s'intéresse pas à tous les chiffres, mais seulement au premier. Clairement notre argument fonctionne en terme de différence d'apparition du premier chiffre. par contre j'imagine que le lissage du coup est beaucoup moins fort avec l'augmentation de la borne Max. On s'attendrait donc à ce qu'on soit assez proche du cas où

Max tiré parmi 1..9
Observé tiré parmi 1..Max

Par exemple si on fait l'hypothèse de l'équiprobabilité des deux tirages ... heu ... ça nous donne donc heu ... si on faisait ça en base 3 plutôt ?

Max tiré parmi 1..2
50% de chance d'avoir toujours 1
50% de chance d'avoir 50% de 1 et 50% de 2.
75% de 1
25% de 2.

Maintenant comment ça se lisse en fonction du nombre de chiffres de la borne max ? Si on suppose que seul le premier chiffre contraint par la borne max obéit à la règle ?  Bon on s'attendrait à ce que la règle s'applique pour tous les rangs considérés individuellement, mais avec des distribution dont les fréquences sont simplement dû à la borne Max.


Une question subsidiaire, si on ne prend plus uniquement une borne max, mais aussi une borne Min, est ce qu'on conserve la règle, ou est ce que c'est un autre chiffre qui devient plus fréquent ? Par exemple en base 10, mettons on se donne Min 0..9 et Max Min..9, quel sera le plus fréquent cette fois ci ?



Une vidéo à ce propos ( vers 4 minutes, ils reprennent le même argument que nous ...)


Dans la suivante, ils vérifient si la loi de benford est observée, sur trois variables (nombre de vues, nombre de commentaires et durée de la vidéo) sur leur chaîne.
Stauk
Stauk

Messages : 6462
Date d'inscription : 16/01/2015

http://www.staukwood.com/

Revenir en haut Aller en bas

Re: Loi de Benford

Message par JeanMath le Mer 25 Jan 2017 - 10:31

Nécromancie de topic ! Sujet fascinant, merci asperzebre.

Mon fuckin' cerveau a décidé de m'infliger la nuit blanche. Je vais donc lui faire payer, à ce bougre :

Sans transition, quelque chose de simple à formuler qui donne un bon angle de vue :
Définition 1 : PM(n), la proportion des nombres compris dans l'ensemble [1;M] commençant par le séquence de chiffres n.
Cette proportion est donc égale à la probabilité de piocher un nombre au hasard commençant par n dans [1;M] (si on applique une loi uniforme)

Déjà, j'vais prouver ceci :

"Pour tout M ∈ [1;+oo[, a < b => PM(a) ⩾ PM(b)"

Définition 2 : Soit QM(n) la quantité de nombres commençant par n dans l'ensemble [1;M], QM(n) = M * PM(n) (M fois la proportion dans [1;M])
Définition 3 : M=cN la concaténation des nombres c et N, on peut dire que le nombre M=cN est le nombre N auquel on a ajouté le préfixe c, par exemple : si c=56 et N=1234 alors M=561234

On peut alors trivialement formuler que QcN(c) = QbN(b)
En effet, l'un et l'autre correspondent au cardinal de E = [0;N] U {Ø}, indépendamment de c et b. Card(E)=N+2 (si N existe).

Or, si bN > cN, alors logiquement :
QbN(b) ⩾ QcN(b) (on s'attend à avoir autant ou + de nombres commençant par b si on va plus loin)

Donc, puisque QbN(b) = QcN(c) :
QcN(c) ⩾ QcN(b)

De façon symétrique, si maintenant cN > aN :
QcN(a) ⩾ QaN(a)
Et :
QcN(a) ⩾ QcN(c)

Ainsi, par combinaison :
  QcN(a) ⩾ QcN(c) ⩾ QcN(b)
=> QcN(a) ⩾ QcN(b) (on extrait l'élément QcN(c) désormais inutile)
=> QM(a) ⩾ QM(b) (cN=M, définition 3)
=> PM(a) ⩾ PM(b) (division par M de part et d'autre, or M * PM(n) = QM(n), définition 2)
Pour tout a, b, et M des entiers strictement positifs.

CQFD.

Ci dessous une illustration, j'ai tracé le graphique pour M ∈ [1;1999] des proportions respectives d'apparition de 1, 2 et 3 comme premier chiffre dans l'ensemble [1;M]
Soit PM(1) en jaune, PM(2) en bleu et PM(3) en rouge.



On observe bien que PM(1)  ⩾ PM(2)  ⩾ PM(3) ⩾ ...

PM(n) =
0 si  n > M
1/M si n0 > M ⩾ n
(M-n0+2)/M si n9 > M ⩾ n0
11/M si n00 > M ⩾ n9
(M-n00+12)/M si n99 > M ⩾ n00
111/M si n000 > M ⩾ n99
(M-n000+112)/M si n999 > M ⩾ n000
...
111...111/M si n000...000 > M ⩾ n999...99
(M-n000...000+111...112)/M si n999...999 > M ⩾ n000...000

Bon, j'ai l'intuition qu'avec cette piste, à coups de convergence à l'infini vers une fonction "fractale" et à coups de moyenne des valeurs de ladite fonction qui équivaut à une intégrale, puis moyenne de moyenne à mon avis, on peut retomber sur Log10(1+1/n). Et c'est facilement généralisable dans toutes les bases numériques. Je ferai ça, peut-être, quand j'aurai moins la tête dans le pâté.

Intéressante cette réflexion, ça sort des habitudes. Mélanger l'analyse, les statistiques, en voguant entre "mot" et "nombre". Quand la beauté abstraite nous taquine dans le réel...
JeanMath
JeanMath

Messages : 661
Date d'inscription : 04/12/2012
Age : 26
Localisation : Clermont-Ferrand

Revenir en haut Aller en bas

Re: Loi de Benford

Message par Asperzebre le Mer 25 Jan 2017 - 12:14

Ravi que le sujet t'ait intéressé.
Ton raisonnement est très proche de celui que j'avais, mais tu parviens à l'énoncer de manière propre mathématiquement parlant, ce qui me fait défaut.
Asperzebre
Asperzebre

Messages : 2009
Date d'inscription : 10/05/2016

Revenir en haut Aller en bas

Re: Loi de Benford

Message par Invité le Mer 25 Jan 2017 - 13:34

message censuré


Dernière édition par Roger le Dim 17 Déc 2017 - 1:49, édité 2 fois

Invité
Invité


Revenir en haut Aller en bas

Re: Loi de Benford

Message par Invité le Mer 25 Jan 2017 - 13:54



quand on introduit l'infini dans une équation, vous pouvez systématiquement oublier le signe égal dont la signification change en profondeur, faudra un jour expliquer cela

quand je lis ceci

"J'avoue que l'idée de tirer aléatoirement 1 nombre sur une infinité de nombres est bizarre... chaque nombre aurait alors une chance sur infini d'être tiré, soit 0."

c'est tout simplement faux

ce n'est pas zéro mais un nombre incroyablement petit et proche de l'infiniment zéro, mais pas zéro

nuance donc

quant à calculer des intervalles probabilistes il faudrait encore que vos mesures d'espace soient à densité constante, ce qui n'est pas démontré dans tous les cas, le hasard et une infinités de petits détails formalisés ou non dans des variables peut très bien faire basculer votre raisonnement abstrait à espace constant

dans la vraie vie strictement rien n'est constant

vue de l'esprit

et c'est très exactement ce que constate la loi de benford




Invité
Invité


Revenir en haut Aller en bas

Re: Loi de Benford

Message par Invité le Mer 25 Jan 2017 - 14:13

message censuré

Invité
Invité


Revenir en haut Aller en bas

Revenir en haut


 
Permission de ce forum:
Vous ne pouvez pas répondre aux sujets dans ce forum