Re: [EGD-discu] Toutes les études ne se valent pas

[Chouhartem <chouhartem@xxxxxxxxx>]

Bonjour,

On 09/04/2019 16:14, Laurent wrote:

Le 08/04/2019 à 14:51, Marcel a écrit :

Finlande. C’était la même équipe du département d’informatique de l’école de Sciences de l’université (pubique) Aalto d’Helsinki.
https://userinterfaces.aalto.fi/how-we-type/
https://dl.acm.org/citation.cfm?id=2858233

Alors ça, c’est grandiose !!!
Merci Marcel !
L’AFNOR a confié la réalisation de son Azerty à ces fumistes !
« Oh tiens, des gens qui font des études bidon ! En plus ils ne parlent pas français. On va leur confier la réalisation de notre disposition pour le français. »

Du coup, je comprends mieux la « qualité » du résultat…
Et encore, la cohérence (regroupement des voyelles accentuées courantes, les chiffres et les quatre principaux opérateurs numériques accessibles directement quand on est en Verr. Maj.) doit certainement bien plus à Yves Neuville (voir sa version de 1985, dont les principes ont manifestement été repris pour la version finale de l’Azerty AFNOR — dommage qu’on tape plus de texte et moins de chiffres qu’en 1985), qu’à eux.

Cela dit, si on considère qu’on veut une disposition qui s’adresse aux gens qui ne tapent pas à dix doigts, on peut trouver une certaine logique à en confier la réalisation à une équipe qui ne croit pas à la frappe à dix doigts.

On peut donc dire aux gens « si vous voulez apprendre la dactylographie, passez directement au Bépo, l’Azerty n’a jamais été fait pour ça, l’AFNOR y a particulièrement veillé pour sa version ».

Bon, il y a une explication rationnelle : si on considère que d’un côté l’État se désengage financièrement de l’AFNOR (comme de tant d’autres choses…) et que de l’autre le gouvernement lui demande une norme, ce n’est pas illogique que l’AFNOR sous‐traite à une équipe qui lui propose de bâcler un truc gratuitement (juste pour avoir une publication ; dans beaucoup de pays les chercheurs sont évalués selon leur nombre de publications, certains considèrent que ça a un biais négatif sur leur qualité…). Vu comme ça, le gouvernement en a pour son argent, mais c’est dommage de faire des économies de bout de chandelle pour une norme destinée à toucher quasiment toute la population…

Je me permets de répondre à l’accusation de fumisterie fait sur un organisme de recherche publique.

Un premier point qui permet de repérer ce genre de comportement est le fait de publier dans des conférences/journaux de faible influence (parce que c’est plus facile de faire passer un article fumeux dans ce genre d’endroits), mais sur ce point, leur publication est passé à une conférence de première classe d’après le classement CORE (qui a aussi ses faiblesses) : http://portal.core.edu.au/conf-ranks/1053/
Et même dans le cas où les chercheurs ne souhaiteraient qu’augmenter leur compteur de publication, il n’en reste pas moins que c’est une conférence très sélective (d’après CORE, je ne suis pas du domaine), et que bâcler le travail n’est pas suffisant pour y avoir une publication.

Par contre, ça ne veut pas tout dire (par exemple, si le domaine est de niche (et je pense qu’ici c’est le cas), c’est plus facile de faire passer des choses un peu plus bancales par manque de personnes suffisamment “dans le domaine” pour pouvoir évaluer cela clairement). Et c’est là qu’effectivement, en jetant un œil sur le matériel fourni, ça a l’air clean : les données sont publiques (donc vérifiables), l’expérience a l’air d’être reproductible… Là où le bât blesse en revanche, c’est sur la fiabilité de ces données.

En effet, l’article indique dans la méthodologie : “Thirty typists participated in the study, spanning a wide range of typing performances, ages, as well as two languages.”. Et c’est là où je pense qu’il y a un souci, c’est que 30 personnes, sur une question avec autant de variabilité (ce que Laurent a souligné), ça ne me semble pas assez (mais je ne suis pas statisticien). Et si effectivement les auteurs donnent des écarts-types, rien n’est en revanche dit sur l’intervalle de confiance…

Mais bon, à leur décharge, je pense que c’est aussi une donnée un peu technique à évaluer étant donné qu’on ne sait pas (à ma connaissance), comment est distribuée la “technique de frappe” en fonction des individus. Ils ont fait de leur mieux (j’ose espérer) et proposent d’ailleurs sur la page “how we type” 300Go de matériel à analyser pour ceux qui souhaiteraient reproduire leur expérience…
Après effectivement, je pense que pour vérifier ou réfuter leurs résultats, il faudrait refaire des expériences similaires, mais ça demande pas mal de moyens, et peu de scientifiques sont intéressés par la question, n’est-il pas justifiable dès lors de demander à ceux qui y ont mis de l’intérêt (et ce malgré la non-fiabilité de leurs résultats en raison de la difficulté de l’expérience) ?

En attendant, le plus sage est d’attendre la vérification ou la réfutation de ces expériences par les équipes indépendantes (voire de le faire nous-même sur une base bénévole ? Est-ce utopique ?), et de rester sceptique jusque-là¹.

@+,
− Chouhartem

¹: https://www.youtube.com/watch?v=4EWKAoKGAyg ∥ https://www.youtube.com/watch?v=uYfsMdYfUvE