Comment créer son propre tool d'email verification?

Bonjour à tous, J’ai quelques questions de novice sur le principe de la validation d’emails.
J’ai récupéré une liste de leads à partir d’une recherche Sales Navigator, et je l’ai enrichie avec ColdCRM. (environ 760 mails trouvés sur une liste de 1200 leads). ColdCRM fait une qualification des emails en Extra Valide (27% du total), Valide (18%), et prédits (18,5%).

J’ai passé cette liste au travers de divers outils de validation, notamment Super email validator et Neverbounce. Les résultats diffèrent énormément, et sont souvent assez contradictoires avec la qualification de Cold CRM.

Bref, je suis plutôt perplexe: Qui faut-il croire? Est ce normal d’avoir un taux de déchet aussi élevé? (si je prends les résultats de Neverbounce, j’ai 270 emails valides en tout sur les 760 initiaux).

Merci par avance pour votre aide.

@RenaudGarelli je serai ravi de tester MailnJoy et d’en faire un retour sur le forum.

Bonjour Stephan,

Merci de ton message et de ton intérêt pour mailnoy :slight_smile:

Oui bien sûr je vais tacher de t’aider a y voir un peu plus clair.

Il y a globalement deux grandes familles dans les validateurs d’emails : ceux qui se basent sur une vérification réelle et actuelle (au moment de la validation) des emails (via des call SMTP direct aux serveurs destinations), et ceux qui se basent sur des données statistiques, issus du big data ou du scraping web.

La 1ere catégorie représente la majorité des validateurs d’email, (dont font partis neverbounce et mailnjoy par exemple), alors que la 2eme catégorie est moins présente car globalement moins fiable (au vu du fait que les emails changent vite et peuvent rapidement basculer de « valides » à « invalides » en l’espace de quelques mois à peine sans que l’outils ne le sache).
La « fraîcheur » des données issus du big data et du scraping est donc forcément bien moindre qu’au travers d’outils qui réalisent des vérifications systématiques au moment de la validation, d’où parfois de grandes différences dans les valeurs annoncées entre l’un et l’autre.
Cold-CRM est plutôt dans cette deuxième catégorie, et semble représenter une fiabilité bien moindre d’après mes propres essais et les retours des utilisateurs avec qui j’ai échangé, ton ressenti personnel allant également dans ce sens la.

Une parti des divergences que tu constate peut également être trouvé (mais dans une moindre mesure) entre différents outils de validation appartenant à ce que j’ai appelé ici la « 1ere catégorie » (donc par exemple entre neverbounce et mailnjoy) sur les emails dont on a pas une certitude qu’ils soient valides : je pense notamment aux emails dits « catchall », « jetables », « autogénérés », « role », etc… ces emails sont détectés avec + ou - de granularité selon les validateur d’emails ou qui peuvent notamment appartenir à X catégories en meme temps: par exemple un email peut être à la fois sur un domaine catchall (qui accepte donc TOUS les emails) et avoir été détecté comme issue d’un domaine « jetable »… comment le classer justement dans ce cas la?
Chez mailnjoy nous le classeront dans la catégorie la plus importante par rapport à son intérêt « commercial », qui est ici très faible… donc en « jetable » plutôt qu’en catchall.

Dans la même lignée, certains validateurs low cost ne savent classer qu’en 3 catégories « valides / invalides / unknown » et ne détectent même pas des emails catchall, les classant faussement en « valide » alors que ce n’est pas réellement le cas (puisque n’importe quelle adresse du domaine serait vue ainsi, même si elle ne correspondant a rien en fait derrière d’un point de vue utilisateur).
Il y a aussi des divergences sur tous les petits domaines B2B qui présentent pour certains des protections complexes et empêchent la bonne détection du statut de l’email, dont certains validateurs classeront dans une catégorie qui est fausse sans même réellement s’en rendre compte.

C’est donc un ensemble de divergences techniques déjà au niveau de la manière de valider les emails (en direct ou via analyses big data/scraping), puis ensuite sur la finesse et l’intelligence du moteur mis en place, qui pourront faire des divergences parfois fortes entre un validateur et un autre.

Dans ton cas de figure, que tu ai récupéré 760 emails de contacts avec Sales navigator et que cela aboutisse en fin de compte à peine 270 contacts valides (par neverbounce) me parait tout de même assez surprenant à première vue, c’est en dessous des ratios habituels de ce que j’ai l’habitude de voir.

Ce que je peux te proposer si tu le souhaite, c’est que tu essaye de valider cette même liste sur mailnjoy, et si tu veux bien me fournir en suivant les résultats que tu aura obtenus avec neverbounce et cold-CRM je peux pourrais les analyser et te dire plus précisément ce qu’il en est, et pourquoi il y aurait telle ou telle différence entre chacun d’entre eux.

Je t’envoi en suivant tes accès mailnjoy ainsi qu’un pack de découverte gratuit en guise de bienvenue :slight_smile:

A bientôt,

Renaud

@RenaudGarelli merci beaucoup pour toutes ses explications et pour le pack découverte.

Comme promis, un petit retour d’expérience:
1- Sur ma liste test, MailnJoy donne des résultats assez similaires à ceux de Neverbounce, mais avec une meilleure granularité sur le niveau de risque. Top! (si ça en intéresse certains, n’hesitez pas a me contacter en MP pour que je partage les détails)
2 - L’interface utilisateur a quelques petits défauts mineurs, mais qui sont en cours de correction/ amélioration
3 - Le service et suivi, de la part de Renaud, sont exceptionnels.
4 - La tarification est vraiment compétitive, même si je crois comprendre que c’est un prix de lancement qui ne durera pas.

J’espère que ce sera utile à la communauté.

1 J'aime

@stephans : merci beaucoup de ton retour, et très heureux de savoir que cette première expérience avec nous aura été positive pour toi! :slight_smile:

Je me permet de rebondir sur ta remarque sur la tarification pour donner quelques précisions: en effet actuellement les tarifs sont moindres de la part le peaufinage du front (et les quelques bugs mineurs que tu as justement notés :wink: ) , mais ils ne seront pas doublés à la fin de la période de beta-test pour autant : on veux clairement rester très compétitif par rapport aux autres solutions, donc il y aura un réajustement à la hausse c’est vrai, mais il ne sera pas si gros que ça au final :wink:

De plus nous prévoyons de proposer des abonnements mensuels d’ici peu, lesquels permettront encore de diminuer les coûts internes et les prix proposés pour ceux qui auront un roulement suffisant pour consommer des crédits sur une base régulière.

Au plaisir d’échanger avec toi en tout cas, n’hésite pas si tu a le moindre besoin! :slight_smile:

Renaud

1 J'aime

Hello @stephans, en effet, les résultats diffèrent en fonction des tools utilisés. Neverbounce n’est pas très bon dans la détection des catch-all. Je te conseille au choix:

  • Kickbox
  • Datavalidation
  • Zerobounce

J’ai mené une grande étude l’année dernière (plus de 10 outils comparés) et ils ont les meilleurs résultats.

1 J'aime

Merci @ClementAubry. Ton étude est-elle publique/ visible? Super intéressé par la méthodologie, si on peut y avoir accès. Et comptes-tu la mettre à jour pour couvrir les nouveaux venus comme MailnJoy?

Salut @ClementAubry,

Tout comme @stephans, je suis très intéressé par ton étude et plus particulièrement sur la méthodologie et les résultats obtenus! :slight_smile:

Je suis assez surpris de ta remarque sur neverbounce sur le fait qu’il se serait « pas très bon dans la détection des catchall », que veux tu dire par la?
As tu trouvé plutôt qu’ils détectaient des domaines catchall alors qu’ils ne l’étaient pas vraiment? Ou plutôt qu’ils rataient des domaines réellement catchall dans leur analyse?
Ou tout simplement qu’il détectaient les catchall de manière « standard », mais sans proposer d’outils spécifiques pour tenter de surclassifier ces catchall en différentes sous catégories ensuite? (via une analyse supplémentaire payante)

C’est vrai que c’est un sujet intéressant et qui pourrait presque a limite être décortiqué en détails dans un post a part entière :wink: , car plusieurs aspects techniques interviennent dans cette détection des catchall, et on pourrait même dire en fait qu’il existe « différents types » de domaines catchall :

  1. ce que j’appelle les « catchall pur » : lors de l’interrogation SMTP sur le destinataire, le serveur indique qu’il accepte toutes les adresses emails, et dans la réalité c’est le cas, et il n’y aura pas de bounce qd bien même on envoi sur sur une adresse au hasard (ni sur la sequence directe SMTP, ni a postériori après l’envoie du mail). La grand majorité des domaines catchal sont comme ça, ce qui limite le nombre de bounces lors d’envoi sur ces domaines la.

  2. les catchall sur la connection STMP seulement : ceux la sont identique aux catchall purs, renvoient bien un code retour 200 a la fin de l’envoi du message, mais ensuite une fois traité en interne, si l’email demandé ne correspondait a aucune adresse email, ils renvoient un bounce a l’emeteur. Ces serveurs sont en fait des serveurs en mode standards déguisés en catchall sur la sequence SMTP seulement, afin d’empêcher la personne de savoir si le user demandé existe ou pas. Yahoo et aol fonctionnent notamment sur ce principe la.

  3. les catchall RCPTO : ces domaines reprennent le fonctionnement du cas juste ci dessus, mais bloque durant la connexion STMP cette fois ci, plus précisément lors de l’envoi du payload de data, si le user demandé n’existe pas. En somme ils indiquent systématiquement que le user existe sur la phase RCPTO pour leurrer, et bloquent ensuite a la fin de la sequence SMTP si l’email n’est pas reconnu, ce qui abouti a ce niveau a une erreur 5xx en retour.

Les catchall 2) et 3) sont particulièrement délicats a détecter car ils nécessitent d’aller au dela d’une simple connexion « fantôme » (sans envoi de mail), et passent donc très souvent au travers des mailles du filet.

Pour ces derniers, la seule possibilité que je vois réside alors dans le fait de passer par X regroupement croisés qui permettent de pondérer positivement ou négativement l’adresse selon X critères annexes, qui permettent parfois d’avoir une estimation + juste (big data sur taux ouverture/click associés a ces adresses par un routeur email, métriques de correspondances aux réseaux sociaux/plateformes marchandes/age du domaine comme l’analyse unitaire « DEEP » chez mailnjoy, etc…).
C’est d’ailleurs un des aspects que nous réfléchissons a mettre en place par la suite aussi sur mailnjoy, car pour le moment nous n’offrons cette possibilité que sur les analyses unitaires/API dites « approfondies »

Je serais en tout cas très curieux moi aussi de voir ta méthodologie sur cette étude, et je vais pour ma part aller regarder de plus près les 3 validateurs que tu énonce ici pour faire mes essais comparatifs et voir ou ils se situent et ce qu’ils proposent spécifiquement sur les catchall.

Renaud

Hello @stephans @RenaudGarelli,

Cela fait un moment que je prévois de partager l’étude mais j’ai peu de temps en ce moment et je prévois d’accumuler un peu de contenu pour lancer une newsletter.

Merci pour les précisions Renaud, c’est très intéressant à comprendre, on voit que tu es bien calé sur le sujet :wink:

As tu trouvé plutôt qu’ils détectaient des domaines catchall alors qu’ils ne l’étaient pas vraiment? Ou plutôt qu’ils rataient des domaines réellement catchall dans leur analyse?

Ils rataient des domaines réellement catchall en indiquant un résultat valide !

Pour vous répondre sur la méthodologie, dans les grandes lignes

  • J’ai extrait 860 emails de notre outil de mailing qui avaient été contactés, pour lesquels je savais déjà lesquels étaient des bounces réels ou non (369 bounces, 491 valides)
  • J’ai envoyé cette liste à 15 outils d’email vérification
  • J’ai unifié leurs résultats en les catégorisants en 4 statuts possibles: valide, invalide, catchall, unknown
  • J’ai comparé, pour chaque statut, le nombre de résultats ainsi que le % de bounces réels ou valides réels
  • J’ai synthétisé les résultats dans un tableau avec, pour chaque catégorie, une note de 0 à 2
    • 0 = mauvais, à éviter
    • 1 = dans la moyenne des résultats
    • 2 = résultats significativement meilleurs

Résultat sur les 3 meilleurs outils:

  • Zerobounce: 6 points - valid 1, invalid 2, catchall 1, unknown 2
  • Kickbox: 7 points - valid 2, invalid 2, catchall 2, unknown 1
  • Datavalidation: 6 points - valid 2, invalid 1, catchall 2, unknown 1

Pour quantifier le fait que neverbounce n’était pas le meilleur dans la détection des catchall:

  • Neverbounce en détecte 388 sur ma liste
  • Kickbox et datavalidation en détectent respectivement 508 et 496

De ce fait, 13,8% des emails marqués « valides » par Neverbounce ont bouncé après envoi réel.

Le mot de la fin

La plupart des outils ont des résultats corrects, et feront le travail avec un taux de bounce potable si vos emails viennent de source fiables (email finders de type Hunter, Dropcontact, Snov…).

Mon problème de détection de catchall venait du fait que si aucun email finder n’avait trouvé le mail que je cherchais, je testais en force brut des patterns de mails sur un bouncer. Et dans ce cas on peut avoir beaucoup de bounces réels si le catchall n’est pas détecté.

@RenaudGarelli Au plaisir d’en rediscuter quand j’aurai un peu plus de temps et d’essayer ton outil pour comparer les résultats, même s’ils ne seront pas 100% fiables comme l’étude a été menée en début d’année dernière, la validité des mails a très certainement évoluée.

Pour conclure, on peut en effet utiliser des méthodologies de big data pour avoir une probabilité de la validité d’un mail catchall, Zerobounce le propose.
Je pense qu’une petite regex sur du scraping google peut suffir, même si les différentes méthodes énoncées par @RenaudGarelli semblent intéressantes mais ce n’est pas mon domaine d’expertise !

2 J'aime

Merci bcp de ce message détaillé @ClementAubry , tu a parfaitement répondu a mes questions! :slight_smile:
Content aussi que le petit point technique que j’ai fais sur les différents type catchall t’ai intéréssé :wink:

Ca rejoint au final pas mal ce que j’avais vu sur le fait que Neverbounce, bien qu’étant de bonne qualité d’ensemble, ne détecte pas tous les catchall et en classe certains en valide à la place. J’avais détecté que nous trouvions tjrs un % supplémentaire de catchall sur Mailnjoy, donc ça rejoint ton étude Clément!

D’ailleurs a ce sujet, @stephans , toi qui a pu valider ta liste entre Neverbounce et Mailnjoy dernièrement, est-ce que tu pourrais partager avec la communauté tes résultats sur le nombre de « valides » et de « catchall » respectifs déterminés sur les deux validateurs?

@ClementAubry : avec grand plaisir oui pour que tu bench également Mailnjoy et que tu puisse le comparer avec les autres de ton étude, tu me dira qd tu as plus de temps pour que je te créér des accès gratuits pour essayer tout ça :wink:

Renaud

2 J'aime

@RenaudGarelli @ClementAubry Voici le screenshot des résultats de mon test Neverbounce et MailnJoy:

1 J'aime

Merci à toi @stephans d’avoir pris le temps de mettre la comparaison de ton bench entre les deux outils :slight_smile:

Comme je le disais ci dessus, on voit bien dans ton exemple que :

  • Le taux de « valide » est plus elevé chez neverbounce (et par conséquent le taux de « catchall » plus faible)

  • mailnjoy a été capable de détecter + d’email catchall, et ne les a donc pas faussement classés en « valide ». Ca rejoint ce que tu disais @ClementAubry sur le fait que neverbounce n’est pas le meilleur validateur sur cette partie la :wink:

  • la granularité des résultats est bien plus fine chez mailnjoy, on a justement travaillé en ce sens pour permettre a chacun de mieux décider sur qui envoyer ou ne pas envoyer

Merci a vous deux pour ces éléments de comparaison utiles!

Renaud

Salut les growthhackers! :wink:

Je voulais vous dire qu’on a franchi le cap de l’inscription ouverte sur Mailnjoy, et donc pour ceux qui le souhaitent vous pouvez désormais vous inscrire tout seul et tester notre outils, donc n’hésitez pas :wink:

Les crédits offerts à l’inscription sont plus restreints désormais, mais ceux qui m’en feront la demande par MP ici, je pourrais vous en donner un peu plus pour essayer, suffit de venir me demander :slight_smile:

Renaud

L’outil semble prometteur je me suis inscrit et l’ai integré dans mon process de collecte de leads.

@nik merci de ton petit retour ça fait plaisir! :slight_smile:

J’espère que tu sera satisfait de son utilisation (en API j’ai cru comprendre) dans ton processus de collecte de leads, n’hésite pas a m’écrire si t’a la moindre question :slight_smile:

Renaud

@ClementAubry : tu m’avais dis y a quelques semaines que tu serais intéréssé pour tester mailnjoy et pouvoir ainsi comparer par rapport a ceux que tu deja essayé dans ton grand comparatif!

N’hésite pas a me demander quand tu as un peu de dispo, jte mettrai les crédits gratuits que tu veux pour essayer correctement et que tu puisse fasse un pti feedback pour la communauté :wink:

Merci à toi!

Renaud

Hello @RenaudGarelli merci pour ton message, j’ai très peu de temps en ce moment et l’étude étant assez vieille je me dis qu’il faudrait que je re-teste sur tous les outils.

Je te tiens au courant dès que j’ai un peu de bande passante :wink:

2 J'aime

Hello à tous,

Pour ceux qui ont appréciés les conseils donnés sur ce topic sur comment fonctionne l’email verification, je vous encourage vivement a écouter le podcast suivant ou j’ai été interviewé sur ces mêmes questions :slight_smile:

Vous y trouverez de nombreux détails techniques sur la validation par email, et son rôle dans l’écosystème de la délivrabilité Emailing en général, donc ça en vaut la peine :wink:

A bientôt,

Renaud

1 J'aime

@RenaudGarelli merci pour les explications, très très détaillées, en 1 post, j’ai l’impression de comprendre bien mieux ce secteur, très instructif, et qui plus est, ça donne bien envie de passer par ton API, donc go, c’est mis dans ma liste d’outils à intégrer pour mon outil interne de prospections. Et j’aime bien (même si c’est plus complexe à gérer, économiquement parlant) ce type de facturation de crédits valable à vie.

Une remarque quand même, il me parait opportun de rendre accessible (ou si c’est le cas, plus accessible) la FAQ qui répond à beaucoup de questions que j’allais te poser ici, lorsque l’on n’est PAS inscrit. Le fait de savoir que les crédits sont valables à vie, sont par exemple un argument commercial à mettre en avant (la phrase « Utilisez les crédits à votre rythme » signifie probablement ça, mais laisse quand même planer le doute). Idem sur l’existence d’une API qui me semble bien caché (si je ne l’avais pas lu ici, puis cherché dans la FAQ, pour comprendre que « check » en haut à gauche était cliquable pour passer en mode « dev », je serais surement passé à côté, et donc je n’aurai pas utilisé cet outil). Je suis de même, un peu septique sur le visuel, qui me parait un peu daté, très « techos » (je parle en connaissance de cause :smiley: )

Après, j’imagine que tes efforts sont plus concentrés sur la qualité de ton service pour le moment.

1 J'aime

@tonguide merci de ton message et ravi de voir que mes explications dans ce topic t’ont aidé a mieux comprendre le domaine de l’email verification! :slight_smile:

Tes remarques sont très pertinentes, et tu a tout a fait raison sur les différents points évoqués, on va améliorer tout ça c’est clair!

Merci à toi et a bientôt! :slight_smile:

Renaud

Salut à tous ceux qui ont eu le courage de lire ce thread jusqu’au bout !

J’ai eu l’occasion d’échanger avec Renaud qui a été de merveilleux conseils et de pouvoir tester son application, vous pouvez y aller les yeux fermé !

2 J'aime