Hello @stephans @RenaudGarelli,
Cela fait un moment que je prévois de partager l’étude mais j’ai peu de temps en ce moment et je prévois d’accumuler un peu de contenu pour lancer une newsletter.
Merci pour les précisions Renaud, c’est très intéressant à comprendre, on voit que tu es bien calé sur le sujet 
As tu trouvé plutôt qu’ils détectaient des domaines catchall alors qu’ils ne l’étaient pas vraiment? Ou plutôt qu’ils rataient des domaines réellement catchall dans leur analyse?
Ils rataient des domaines réellement catchall en indiquant un résultat valide !
Pour vous répondre sur la méthodologie, dans les grandes lignes
- J’ai extrait 860 emails de notre outil de mailing qui avaient été contactés, pour lesquels je savais déjà lesquels étaient des bounces réels ou non (369 bounces, 491 valides)
- J’ai envoyé cette liste à 15 outils d’email vérification
- J’ai unifié leurs résultats en les catégorisants en 4 statuts possibles: valide, invalide, catchall, unknown
- J’ai comparé, pour chaque statut, le nombre de résultats ainsi que le % de bounces réels ou valides réels
- J’ai synthétisé les résultats dans un tableau avec, pour chaque catégorie, une note de 0 à 2
- 0 = mauvais, à éviter
- 1 = dans la moyenne des résultats
- 2 = résultats significativement meilleurs
Résultat sur les 3 meilleurs outils:
- Zerobounce: 6 points - valid 1, invalid 2, catchall 1, unknown 2
- Kickbox: 7 points - valid 2, invalid 2, catchall 2, unknown 1
- Datavalidation: 6 points - valid 2, invalid 1, catchall 2, unknown 1
Pour quantifier le fait que neverbounce n’était pas le meilleur dans la détection des catchall:
- Neverbounce en détecte 388 sur ma liste
- Kickbox et datavalidation en détectent respectivement 508 et 496
De ce fait, 13,8% des emails marqués « valides » par Neverbounce ont bouncé après envoi réel.
Le mot de la fin
La plupart des outils ont des résultats corrects, et feront le travail avec un taux de bounce potable si vos emails viennent de source fiables (email finders de type Hunter, Dropcontact, Snov…).
Mon problème de détection de catchall venait du fait que si aucun email finder n’avait trouvé le mail que je cherchais, je testais en force brut des patterns de mails sur un bouncer. Et dans ce cas on peut avoir beaucoup de bounces réels si le catchall n’est pas détecté.
@RenaudGarelli Au plaisir d’en rediscuter quand j’aurai un peu plus de temps et d’essayer ton outil pour comparer les résultats, même s’ils ne seront pas 100% fiables comme l’étude a été menée en début d’année dernière, la validité des mails a très certainement évoluée.
Pour conclure, on peut en effet utiliser des méthodologies de big data pour avoir une probabilité de la validité d’un mail catchall, Zerobounce le propose.
Je pense qu’une petite regex sur du scraping google peut suffir, même si les différentes méthodes énoncées par @RenaudGarelli semblent intéressantes mais ce n’est pas mon domaine d’expertise !