Path: ...!feeds.phibee-telecom.net!2.eu.feeder.erje.net!3.eu.feeder.erje.net!feeder.erje.net!newsfeed.bofh.team!paganini.bofh.team!miakinen.net!not-for-mail
From: Olivier Miakinen <om+news@miakinen.net>
Newsgroups: fr.usenet.abus.d
Subject: [DOC] Le robot d'annulation miakibot
Date: Sun, 01 Sep 2024 07:30:02 +0200
Organization: There's no cabale
Message-ID: <oGQ_%.P$s.2@miakinen.net>
Mime-Version: 1.0
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit
Bytes: 14250
Lines: 282

        [DOC] Le robot d'annulation miakibot

Démarré en 2021, le robot d'annulation miakibot a pour tâche d'annuler
des articles manifestement abusifs sur Usenet-fr. Lors de sa création
il y avait encore quelques nettoyeurs ponctuels annulant des articles
au coup par coup, mais Xavier Roche ne maintenait déjà plus le
principal robot nettoyeur à savoir bleachbot.

Cette [DOC] se propose de rassembler toutes les informations utiles
à propos du fonctionnement de miakibot, en particulier les critères
d'annulation et le format des articles de cancel.

 [1] Les critères d'annulation
 [2] Caractéristiques techniques des articles d'annulation
 [3] Pourquoi des Cancels et pas des NoCeM ?
 [4] Ce robot n'a aucune légitimité, ses annulations sont abusives !

Première publication : le 1er février 2024
Dernière révision : le 1er août 2024

======================================================================
 [1] Les critères d'annulation
======================================================================

1.1. Publicités commerciales et assimilées

    Aussi appelées spams, les publicités commerciales sont toujours
    considérées comme indésirables sur Usenet-fr.

    Parmi les plus fréquentes on trouve des publicités pour :
    − des produits pharmaceutiques (viagra et drogues hallucinogènes)
    − des faux documents (passeports, permis de conduire, diplômes)
    − des faux billets ou fausses cartes de crédit

    Mais il y a aussi :
    − des propositions de prêts entre particuliers
    − des listes de manuels PDF à télécharger
    − des convertisseurs de fichiers Outlook (OST, PST, ...)

    Ces spams sont le plus souvent détectés par des séquences
    caractéristiques dans le champ Subject, souvent en anglais, même
    si on en trouve dans de nombreuses autres langues. Par exemple la
    présence d'au moins trois noms savants de produits pharmaceutiques
    illicites est un signal de spam sur ce type de produits. Je ne
    dresse pas ici la liste de tous les mots-clés repérés par le
    robot car il y en a beaucoup trop.

    La présence dans le champ Subject d'un nom de site spammeur ou
    (plus récemment) d'un numéro WhatsApp est aussi caractéristique
    de certains types de spams.

    Mais il y a aussi certains spammeurs qui répondent à un article
    précédent sans changer le champ Subject. Dans ce cas, c'est le
    champ From qui est utilisé pour les détecter et annuler leur
    publicité, puisque le champ Subject est alors quelconque.

    Un autre cas d'annulation décidé d'après le contenu du champ
    From est lorsque celui-ci contient le même genre de mots-clés
    que dans le champ Subject, du style buypharmaonline@example.com.

1.2. Diffamation et insultes

    Il y a quelques personnes publiques qui sont régulièrement
    diffamées, avec généralement dans le champ Subject leur nom
    accompagné d'adjectifs tels que pédophile ou assassin. Un
    cas particulièrement facile à détecter est celui où les
    insultes sont en italien et tout en majuscules.

    Le robot miakibot annule surtout ces articles récurrents d'après
    le champ Subject, puisque jusqu'à présent ce style de diffamation
    a toujours été principalement porté par ce champ d'entête. Mais
    voir aussi la section 1.4. avec le cas de mailkior.

1.3. Publicité /ou/ malveillance

    Le robot annule aussi tout article dont le champ Subject ne
    contient rien d'autre qu'une adresse de courriel. La plupart
    du temps il s'agit d'un spam et cette adresse est celle à
    laquelle le spammeur souhaite qu'on lui écrive. Mais il est
    aussi arrivé qu'il s'agisse d'un article malveillant et que
    l'adresse soit celle de la victime désignée par l'auteur de
    l'article.

    Alors même si le robot ne peut pas savoir s'il s'agit du premier
    cas (spam) ou du second cas (malveillance), il est légitime
    d'annuler ce genre d'article.

    Voici quelques exemples de spams trouvés sur fr.soc.feminisme
    (bien sûr j'ai modifié l'adresse pour ne pas propager le spam) :
     Subject: spammeur@fai.example.com
     Subject: Email: spammeurfedex@fai.example.com
     Subject: E-Mail: spammeurfinance@fai.example.com

1.4. Crosspost excessif ou suivi excessif

    Le robot annule tout article :
    − crossposté dans trois groupes ou plus, sans suivi ;
    − crossposté dans deux hiérarchies ou plus, sans suivi ;
    − ayant un suivi dans trois groupes ou plus ;
    − ayant un suivi dans deux hiérarchies ou plus.

1.5. Inondation (flood)

    Les spams sont déjà en eux-mêmes une forme d'inondation dans les
    groupes de discussion, et c'est déjà parce qu'ils ne respectent
    pas les thèmes de ces groupes qu'ils sont considérés comme un
    abus du réseau et donc annulables.

    Mais ces spams publicitaires ne sont pas les seuls articles à
    envahir les groupes de façon abusive. On peut distinguer en fait
    deux types de flood (et d'auteurs de flood) :
    − ceux qui ont quelque chose à dire et tiennent absolument à ce
      que ce soit répété le plus souvent possible, quoique parfois
      dans un ou deux groupes de discussion seulement (type 1);
    − ceux dont le but est principalement de foutre le bordel, en
      écrivant n'importe quoi dans le plus de groupes de discussion
      possible (type 2).

    Il est à noter que la FAQ actuelle intitulée « Les annulations
    légitimes sur fr.* » ne traite pas vraiment le cas du flood malgré
    les tentatives d'y faire figurer une définition correcte. Alors
    voici la définition que je prends en compte pour le robot.

    « Il y a flood lorsque plus de la moitié des articles d'un
     utilisateur donné sont hors thème dans le groupe ou les groupes
     où ils sont postés. Ce flood devient annulable sans hésitation
     lorsque la proportion d'articles hors thème atteint ou dépasse
     90 % de tous les articles publiés par cet utilisateur. »

    Actuellement, les utilisateurs dont les articles sont annulés
    pour flood sont les suivants.

    Annulation pour flood de type 1 :
    − Amine Moulay Ramdane (fr.soc.politique)
    − Andrea Sorrentino (fr.sci.maths)
    − Eric Hamery (seuls ses crossposts sont annulés)
    − Iván Valarezo (fr.soc.culture.chine et fr.soc.culture.japon)
    − mailkior (c'est aussi le plus souvent de la diffamation)
    - Pentcho Valev (fr.sci.physique et fr.sci.astrophysique)

    Annulation pour flood de type 2 :
    − Hikaru Makiba (ou Harakiri Bamako, etc.)
    − Zorro (ou bbessart, etc.)

    Rappel (en anglais) : <https://xkcd.com/1357/>

1.6. Test du robot

    Il est possible de tester le fonctionnement du robot en demandant
    à ce qu'un de ses propres articles soit annulé. Pour cela, il
    suffit d'écrire un article dans fr.test dont le titre (le champ
    Subject) contienne la chaîne « pour annulation par miakibot ».

    Après avoir vérifié dans control.cancel ou fr.usenet.abus.rapports
    que le robot a bien émis un article de Cancel, puis rafraîchi le
    contenu du groupe fr.test, selon que votre article a disparu ou
    est toujours là vous saurez si votre serveur de nouvelles accepte
    ou au contraire refuse les annulations du miakibot.

======================================================================
 [2] Caractéristiques techniques des articles d'annulation
======================================================================

2.1. Le champ Control

    C'est le seul champ d'entête indispensable pour caractériser une
    annulation. Son contenu est le mot « cancel » suivi du Message-ID
    (complet avec les chevrons < et >) de l'article à annuler.

    Certains articles d'annulation ne suivent aucune autre règle que
    celle du champ Control, mais le robot miakibot respecte en plus
    certaines conventions qui permettent d'authentifier ce robot.

2.2. Le champ From (et le champ X-Cancelled-By)

    Dans ses articles d'annulation, le robot n'usurpe pas l'identité
    de l'auteur de l'article annulé. Au contraire le champ From aura
    l'une des deux valeurs suivantes :
     « miakibot <miakibot@miakinen.net> » (annulation pour spam)
     « antiflood <antiflood@miakinen.net> » (annulation pour flood)

    Bien que ce ne soit pas indispensable, il ajoute exactement le
    même contenu dans un nouveau champ X-Cancelled-By.

    Quant au contenu du From de l'article à annuler, il est recopié
    dans un nouveau champ X-Original-From. Noter que c'est aussi le
    cas pour les champs Message-ID, Subject et Date devenant
========== REMAINDER OF ARTICLE TRUNCATED ==========