Nous connaissons tous les limites et les travers de l’évaluation par les pairs telle qu’elle existe aujourd’hui : des évaluateurs surchargés qui prennent parfois à peine le temps de relire correctement, des intérêts éditoriaux entrant en conflit avec les intérêts scientifiques (avec un biais en faveur des résultats “spectaculaires”), l’absence d’échange critique après les publications, l’impossibilité de répondre à des évaluations défectueuses, ….

Ce système, aujourd’hui, s’effondre sous son propre poids, et il est temps d’expérimenter autre chose. Voilà déjà quelques années que les mathématiciens, les ingénieurs, les biologistes, les physiciens et les chercheurs d’autres disciplines ont commencé à proposer des alternatives, avec par exemple arXiv, bioRxiv, PeerJ, engrXiv, PsyArXiv, SocArXiv, PubPeer, …

Le carnet de la SPSG veut à son tour contribuer à ces expérimentations, en proposant un dispositif original d’évaluation. Nous proposons un modèle hybride, entre la plateforme de prépublications (comme arXiv) et le modèle des revues à comité de lecture classique.

Chaque article publié pourra évidemment être commenté et critiqué, comme les prépublications postées sur PubPeer (et comme n’importe quel billet de n’importe quel carnet). Mais cela ne permet pas une évaluation systématique et experte des contributions. Pour garder les avantages d’une telle évaluation systématique et experte, sans se retrouver enferrer dans le schéma classique des revues académiques, nous proposons une modèle d’évaluation transparent et dynamique.

Dynamique : l’évaluation ne s’arrêtera pas avec les avis rendus par les premiers évaluateurs. Les auteurs auront la possibilité de répondre, et d’engager un échange avec les évaluateurs, et d’autres évaluations pourront venir et remettre en cause les premières. De nouvelles versions de l’article pourront être proposées, et des corrections y être apportées. Le statut même de l’article pourra varier au fil des évaluations, des réponses et des versions (voir ci-dessous l’explication de ce statut et de son évolution).

Transparente : ni les évaluateurs ni les textes évalués ne seront anonymes, et les évaluations seront publiques (de la même manière que les commentaires). L’anonymat des évaluateurs est justifié lorsque les enjeux sont tels que les auteurs pourraient faire pression sur les évaluateurs. Ce n’est pas (encore?) le cas avec ce carnet. L’anonymat des auteurs est justifié par la nécessité de préserver l’évaluation de la subjectivité de l’évaluateur. Mais cela ne vaut guère dans une si petite communauté que celle des philosophes des sciences de gestion, où il est très facile de mettre un nom sur un texte. En outre, cet anonymat est souvent devenu le moyen, pour l’évaluateur, de se dispenser des prudences et de la courtoisie qui devrait accompagner tout jugement. En rendant publiques les évaluations, nous espérons que cela incitera les évaluateurs à formuler des jugements objectifs et bienveillants sans être complaisants, et les auteurs à répondre de manière circonstanciée et courtoise.

Le processus sera le suivant :

Au moment de sa mise en ligne, un article a automatiquement le statut “non évalué”.

L’auteur de l’article peut demander au comité éditorial du carnet d’engager un processus d’évaluation par les pairs (en cas d’article ayant plusieurs auteurs, la demande d’un seul auteur est suffisante). Le comité éditorial se charge alors de solliciter de potentiels relecteurs (les membres du comité pourront eux-mêmes être relecteurs). N’importe quel chercheur ou enseignant-chercheur peut également solliciter le comité éditorial pour évaluer un article engagé dans un processus d’évaluation.

Chaque relecteur livre son évaluation en suivant une grille publiquement accessible. Si le travail évalué est de la plus haute tenue, ou s’il pourraient être publié dans des revues FNEGE de rang 1 voire 1*, l’évaluateur peut le signaler en lui accordant la note “A”. Le “ou” est important : il signale la possibilité de travaux de très grande qualité qui ne pourraient être publiés dans les meilleures revues de la FNEGE. Dans tous les cas, il est demandé à l’évaluateur, si possible, de suggérer des noms de revues où le texte évalué pourrait être soumis avec des chances raisonnables de publication. L’évaluation reçue est liée à l’article évalué.

Selon les évaluations reçues, le comité attribue un nouveau statut à l’article. Dès la première évaluation, l’article acquière le statut d’article “évalué”. S’il reçoit au moins 2/3 d’évaluation “A”, et que le comité éditorial juge que les critiques formulées par le troisième tiers ne l’emportent pas sur les éloges des deux premiers tiers, alors l’article acquière le statut “évalué A”. Ce statut peut être remis en cause pas une nouvelle évaluation.

A la réception d’une évaluation, l’auteur peut répondre aux relecteurs. Le comité éditorial peut, le cas échéant, juger que les réponses apportées sont satisfaisantes et rendent caduques les critiques visant l’article évalué. Il peut alors modifier le statut de l’article pour le passer en “évalué A”, sous réserve que les réponses apportées au relecteur soient intégrées à l’article (sous des modalités à discuter).

L’auteur peut également proposer une révision majeure de son texte, qui vient alors se substituer à l’ancienne version. L’ancienne version reste cependant accessible par un lien ajouté à la nouvelle version, ainsi que les évaluations de cette ancienne version. Dans ce cas le texte passe au statut “nouvelle version” et un nouveau cycle d’évaluation peut commencer  (il acquière le statut “évalué” à la première évaluation de ce nouveau cycle).

Ce processus ne s’arrête qu’à la demande de l’auteur (en cas d’article ayant plusieurs auteurs, la demande doit être faite par l’ensemble des auteurs accessibles).

À n’importe quel moment, l’article peut être retiré du carnet pour permettre sa soumission à une revue académique. Dans ce cas, l’article est remplacé par un résumé et, le cas échéant, par un lien vers l’article publié dans la revue académique concernée. En cas d´échec de la soumission, il peut être réintégré au carnet, soit dans sa version au moment du retrait (il retrouve alors son statut), soit dans une nouvelle version (il acquière alors le statut “nouvelle version”).

Au cours du processus d’évaluation, relecteurs et contributeurs doivent impérativement respecter une certaine éthique de la discussion.