Quis custodiet ipsos custodes?
L’actualité a récemment parlé des “fact-checkers” suite à la décision d’un réseau social bien connu d’arrêter leur utilisation.
Dans l’absolu, je suis favorable à savoir si ce que je lis est la vérité ou de la fiction. J’ai un a priori théorique favorable à la vérification des informations.
Mais la réalité est parfois loin de la théorie. Et pour parodier le titre de ce blog, qui vérifie la véracité des propos des vérificateurs de faits? Qui détient la vérité absolue? Les vérificateurs de faits sont-ils infaillibles et non biaisés? Non Biaisés, non seulement dans leur affirmations mais également dans le choix des affirmations qu’ils tentent de vérifier?
Mon expérience personnelle face à ces questions est plutôt négative. Là ou j’ai une compétence supérieure à la moyenne (mathématiques, finance, etc.), je trouve en général les vérificateurs pour le moins “économes avec la vérité”, pour ne pas dire à côté de la plaque, que ce soit par omission ou vraiment en propageant eux-même des "vérités alternatives".
J’ai lu hier un “faky” de la RTBF qui reprennait les paroles d’un homme politique belge bien connu et en faisait la vérification. L’homme en question et le sujet exact ne sont pas importants pour mon propos ici. Il suffit de savoir que la question portait sur la distribution des revenus et de l’impôt en Belgique et en particulier les “queues” de la distribution (le dernier décile, percentile 10%).
L’affirmation à vérifier est:
Les 10% des personnes les plus aisées en Belgique contribuent à 50% de l’impôt des personnes physiques
La première question est de savoir ce que veut dire “aisé” dans ce contexte. Les différents intervenants s'accordent à dire dans le contexte de cette phrase que c’est mesuré par la contribution à l’impôt des personnes physiques (IPP). Ensuite il faut une source de chiffres pour faire la mesure. Encore une fois il y a un accord sur la source, c’est Statbel.
De mon côté, je suis un peu surpris que la vérification porte seulement sur “lire” les chiffres et pas savoir d’où il viennent et s’ils sont crédibles. Dans mon métier, je fais parfois des validations de modèles. Si je me contente de simplement répéter des chiffres trouvés dans un articles, même des régulateurs, il y a peu de chance que ce travail soit considéré comme sérieux. On peut trouver sur mon blog professionnel un certain nombre d’analyses qui contredisent les affirmations des régulateurs dans le domaine financier.
Mais passons cette absence de curiosité et regardons les chiffres. Les chiffres publiés indiquent que la phrase est correcte, à l’arrondi aux 10% les plus prochent, si on considère dans la phrase que “personne” est synonyme de “déclaration à l'impôt”. Là encore le vérificateur est d’accord avec la phrase.
Mais ensuite le vérificateur veut analyser la véracité de la phrase si on comprend le terme “personne” comme individu physique. C’est pour moi une bonne idée d’étendre cette analyse pour fournir des faits supplémentaires.
Et c’est là que ça “part en couille” (ou en quenouille, c’est comme vous voulez)! Les chiffres qui permettraient d’analyser cette question ne sont pas disponibles auprès du fournisseur “Statbel”. Et le vérificateur explique clairement qu’il n’a pas accès à des chiffres pertinents. Qu'à cela ne tienne, si les chiffres ne sont pas disponibles, on va les inventer! On invente ce que le vérificateur appelle un "revenu équivalent" mais la source appelle “revenu disponible équivalent administratif”. Pour ma part le terme “administratif” me semble important. Ce "revenu équivalent est calculé en divisant le revenu total du ménage de toutes les sources par sa taille équivalente". La taille équivalente utilise une pondération des adultes et des enfants. La méthode exacte n’est pas importante, ce qui l’est pour le fait vérifié est que pour vérifier une affirmation à propos des éléments extrêmes d’une distribution on utilise les moyennes sur une partition de l’espace analysé (moyennes conditionnelles). Les chiffres obtenus préservent les moyennes (espérance conditionnelles itérées) mais n’ont plus aucun sens pour le but recherché d'analyse des extrèmes (percentiles)! A titre d’exemple, après avoir analysé la méthode de Statbel (ce que le vérificateur ne semble pas avoir fait), une personne qui est dans le 99ème percentile (revenu 166,838 EUR), qui est la seule à avoir un revenu dans un ménage avec un conjoint et 4 enfant (2 adolescents et 2 jeunes enfants) est classé avec cette méthode comme ayant un revenu de 46,343 EUR, équivalent au 7ème décile des ménages!
Pour faire une comparaison avec mon domaine d’expertise, si je dois créer un modèle de calcul de VaR (aussi basé sur un percentile) et que je mesure les prix tous les 2 jours et répartit les changements en “changements équivalents” par une moyenne et que je déclare que je mesure les changements quotidiens, je me fais virer tout de suite. Dans ce cas-ci mon erreur est environ (en utilisant la règle de la racine carrée du temps pour mesurer la volatilité d’une période plus courte) 40% (1 au lieu de √2).
Conclusion du vérificateur après tous ces détours: FAUX! C’est le seul résumé qui apparaît dans le titre de l’article.
Avec une telle vérification, je préfère me passer du vérificateur. La seule chose utile dans la vérification est les liens vers les chiffres et définitions originaux. Cela me permet de me faire une opinion (même si celle-ci est contraire à ce que le vérificateur voudrait me faire croire).
Résumé: En utilisant certaines définitions raisonnables, la phrase est vraie. En utilisant d’autres définitions raisonnables, on n’a pas assez d’informations pour conclure. En utilisant des définitions non-raisonnables relativement au sujet analysé, la phrase est fausse. Unique conclusion du vérificateur: FAUX!
D’autres “imprécisions” apparaissent dans le texte.
Le terme “personnes en Belgique” se transforme parfois en “Belges”.
La répartition par personne dans l'analyse “revenu équivalent” ne prend en compte que les personnes qui ont un revenu non-nul. Encore une fois, comment analyser les extrêmes d’une distribution en enlevant les extrêmes?
Droits d’auteur: le vérificateur indique que les droits d’auteurs ne sont pas soumis à l’IPP mais à un précompte libératoire. C’est également faux. Les droits d’auteur font partie de l’IPP. Ils sont soumis à un impôt et dans certaines circonstances sont ajoutés aux revenus du travail même s’ils sont considérés comme des revenus mobiliers.
D'autres médias ont fait les mêmes "vérifications", tous avec la même source (un homme politique d'un autre parti) et sans vraiment regarder le fond de la question. Aucun de ces média n'autorise des "community notes" qui seraient très utiles dans ce cas-ci.
2025-01-11: Une version précédente de ce post indiquait un revenu équivalent de 53,818 EUR dans l'exemple ci-dessus. Il s'agissait d'une erreur de "copier-coller".
Comments
Post a Comment