Benchmark des principales solutions d'A/B Testing

Nous avons réalisé pour vous un benchmark complet de plusieurs solutions d’A/B Testing, qui permet d’y voir plus clair dans une industrie assez opaque et très concurrentielle. Le benchmark porte sur quatre solutions à la fois abordables financièrement parlant, abouties sur le plan fonctionnel et ne demandant que très peu de bagages techniques.

Kameleoon, A/B Tasty, Optimizely et enfin VWO sont conçus pour permettre aux équipes marketing / produit d’optimiser le contenu et l’ergonomie de leurs sites, sans difficultés. En travaillant sur ce benchmark, nous avons voulu montrer les points forts et points faibles de ces quatre logiciels, ainsi que leurs différences, en les comparant sur le plan technique et fonctionnel via quatre tests d’usage.

Si vous avez décidé de vous lancer dans l’A/B Testing et que vous êtes en recherche d’un outil adapté à vos besoins, cet article est fait pour vous.

Objectif et Méthodologie du benchmark des solutions d’A/B Testing

Kameleoon, A/B Tasty, Optimizely et VWO sont les acteurs de référence de l’A/B Testing en France. Sur le marché français, c’est Kameleoon et A/B Tasty qui se partagent à eux quatre l’immense majorité du marché français. Nous les avons comparé sur un plan aussi bien fonctionnel que technique, en ayant recours à quatre cas d’usage.

Comparaison fonctionnelle et technique de 4 acteurs majeurs de l’A/B Testing

A/B Tasty, Kameleoon, Optimizely et VWO sont les quatre solutions d’A/B Testing les plus utilisées en France. Elles partagent des points communs : elles sont toutes accessibles en mode SaaS et offrent la possibilité de réaliser facilement des A/B Tests, sans connaissances techniques. Le seul pré-requis technique est l’implémentation d’un script dans le code source de la page testée. Le paramètrage des tests et l’analyse des résultats s’effectuent ensuite depuis une interface intuitive. Enfin, ces quatre solutions ont toutes pour point commun de fonctionner côté client, et par conséquent sans modification d’URL visible pour l’utilisateur et sans impact SEO.

Commençons par une rapide présentation des quatre outils dont il va être question dans ce benchmark :

A/B Tasty est une entreprise française fondée en 2010. La startup parisienne a bouclé une levée de fonds de 5 millions d’euros en 2016 afin de renforcer la technologie de son produit et connaît une belle croissance depuis. Le prix minimal pour utiliser la solution est de 199 euros par mois (pour 50 000 visiteurs uniques testés) ou 249 euros sans engagement. Nous avons utilisé la version d’essai pour réaliser le benchmark.
Kameleeon est également une jeune pousse française, créée en 2009. Le prix de départ s’élève à 349 euros par mois, pour 100 000 visiteurs uniques testés. Kameleeon propose régulièrement des innovations technologiques et a défrayé la chronique il y a quelques semaines, en annonçant la sortie d’une solution miracle « anti-flickering », ce qui a suscité des réactions d’hostilité (de jalousie ?) de la part de ses concurrents (d’A/B Tasty en particulier…). Nous avons également eu recours à la version d’essai (forfait « Starter »).
Optimizely, d’origine américaine et lancé en 2010, s’impose aujourd’hui comme le leader mondial de l’A/B Testing. C’est la société qui détient le plus de parts de marché. Le prix minimal de la solution est très attractif : $49 pour la version premium. Nous avons utilisé la version d’essai.
VWO (Visual Website Optimizer) a également été lancé en 2010, par une société indienne, Wingify. Le prix minimal de la solution s’élève à $59 par mois. Nous avons utilisé la version d’essai du forfait standard pour ce benchmark.

Petite précision avant d’aller plus loin : nous nous sommes concentrés dans ce benchmark sur les fonctionnalités de testing. Certaines solutions proposent des fonctionnalités complémentaires – dont il ne sera pas question ici. Il ne s’agit donc pas d’une étude intégrale de l’ensemble des fonctionnalités de chaque solution.

Benchmark réalisé sous le prisme de 4 cas d’usage

Nous avons défini 4 cas d’usage et procédé à 4 tests, afin de pouvoir comparer de la manière la plus pertinente possible les fonctionnalités de testing proposées par les différentes solutions. Les quatre tests réalisés ont tous pour point commun d’être simples (une seule variation à chaque fois), côté client (sur des espaces non logués) et de ne pas nécessiter de tag transactionnel. Simples, ces tests n’en sont pas moins fidèles à la majorité des usages. En général en effet, un A/B Test porte sur une seule variation.

Tous les tests ont été réalisés sur le site lesmobiles.com, un site indépendant publiant des contenus éditoriaux (actualités, tests, dossiers…) sur l’univers de la téléphonie mobile. Le site totalise 4,250 millions de vues par mois, 2 millions de visites et 1,5 million de visiteurs uniques.

Voici une rapide présentation des quatre tests de testing effectués :

Le test 1 a consisté à modifier la couleur du bouton « Forum », présents sur toutes les pages du site en haut à droite. Dans la version de référence, le bouton est jaune. Problème : le jaune, sur lesmobiles.com, est la couleur associé au shopping. Pour la version alternative, nous avons choisi d’utiliser une couleur bleu claire. L’indicateur de performance à mesurer, dans ce test, est le taux de clic vers le forum.
Le test 2 a consisté à modifier le texte d’un bouton, sur une seule page (une fiche téléphone). Dans la version de référence de référence, le texte est « acheter ». Pour la version alternative, nous avons décidé d’utiliser le texte « Voir l’offre ». L’objectif à mesurer est le taux de clic sur le bouton.
Le test 3 a consisté à inverser les emplacements de deux blocs présents sur une page « actualités téléphone ». Sur ces pages, la publicité, qui est au coeur du modèle économique du site, n’est pas très performante. Nous avons décidé, pour la version alternative, de remonter les liens d’achat. Nous avons comparé la différence de taux de clic sur les boutons panier entre les deux versions.
Enfin, le dernier test a consisté à insérer un nouveau bloc sur toutes les pages « test téléphone ». Sur cette page, les liens de navigation contextuelle en colonne ne sont pas pertinents. Nous avons rajouté, pour la version alternative, un nouveau bloc « Suivez-nous », avec les liens de réseaux sociaux (Facebook et Twitter). Nous avons mesuré le taux de clic sur les boutons.

Contactez Cartelis
pour enfin capitaliser sur vos données clients.

Cartelis vous accompagne dans le cadrage et le déploiement d'une stratégie data et CRM vraiment impactante.

Analyse client, Choix des outils, Pilotage projet et Accompagnement opérationnel.

Prendre contact avec Cartelis

Synthèse du benchmark des solutions d’A/B Testing

Synthèse des tests réalisés

Le test 1 a pu être implémenté sans aucun soucis techniques avec les quatre solutions d’A/B Testing. Le test 2 a posé plus de difficultés sur VWO et Optimizely. Sur ces deux logiciels, les sélecteurs css doivent être créés manuellement. Le test 3 n’a pas pu être réalisé sur A/B Tasty et nous avons abandonné le projet de le faire sur Optimizely pour des raisons de trop grandes complexités. Le test 4 n’a pas pu être effectué sur Optimizely.

Comparaison des fonctionnalités des acteurs de l’A/B Testing

Encore une fois, nous n’avons pas testé toutes les fonctionnalités des quatre solutions en présence. Nous nous sommes attachés à tester les fonctionnalités de testing mises à contribution dans le périmètre de chacun des tests. Nous avons utilisé les versions d’essai des plans standards.

Commençons par les points communs. Les quatre solutions passées au crible de notre benchmark ont en commun de proposer un éditeur visuel simplifié (permettant de faire du testing sans connaissance technique), permettent de tracker les clics, proposent un mode de pré-visualisation, un historique des changements, des possibilités de ciblage de l’audience (avec critères multiples), offrent la possibilité de restreindre la part du trafic alloué à l’AB Test, disposent d’une fonctionnalité de planification et offrent un accès à l’historique des résultats.

Malgré leurs points communs, Kameleoon, A/B Tasty, VWO et Optimizely ne sont pas des produits identiques. Les différences en termes de fonctionnalités sont bien réelles. On remarquera notamment que :

VWO et Optimizely, contrairement aux deux autres logiciels, ne peuvent pas être chargés à la demande (via un raccourci clavier ou une extension Chrome).
La population du test est « visitor-based » (centrée sur les visiteurs) sur tous les logiciels, mais Kameleeon propose en plus une optique visit-based (centrée sur les visites).
Optimizely, contrairement aux trois autres acteurs, ne propose pas de fonctionnalité de capping.
A/B Tasty et Optimizely ne proposent pas de fonctionnalité d’estimation de la durée du test.
Il n’est pas possible, sur Optimizely, de créer des rapports avec résultats filtrés.
Sur A/B Tasty comme sur Optimizely, la ventilation des résultats n’est pas possible.
Enfin, lorsque vous crée un nouvel élément sur votre version alternative, celui-ci ne peut pas être tracké sur Optimizely (ou très difficilement…), mais peut l’être sur les trois autres logiciels.

Sur le plan de la richesse fonctionnelle, A/B Tasty et Optimizely sont les deux moins bons élèves. C’est VWO qui décroche la palme du meilleur rapport Richesse fonctionnelle / prix.

Comparaison des performances techniques des acteurs de l’A/B Testing

Pour comparer les performances techniques des quatre principaux acteurs de l’A/B Testing, nous avons pris en compte deux critères : le poids du script et le temps de chargement du script de testing.

Concernant le poids du script : le script d’Optimizely est le plus lourd (91 kb). Viennent ensuite celui d’A/B Tasty (82,3 kb), de Kameleoon (51,7 kb) et de VWO, le meilleur élève, avec un script de 40 kb. Sur ce point encore, Optimizely et A/B Tasty font moins bien que Kameleoon et VWO.

Concernant le temps de chargement du script, c’est encore VWO qui remporte la palme, avec un temps de chargement du fichier Javascript principal de seulement 29 ms (moyenne sur 10 requêtes), vient ensuite Optimizely (45 ms), Kameleoon (46 ms) et A/B Tasty (59 ms). Sur ce critère, Optimizely s’en sort plutôt bien, ce qui est d’ailleurs relativement étonnant étant donné le poids du script. Le résultat de VWO est cependant à nuancer car bien que le pois du script et le temps de téléchargement apparaissent comme les plus faibles pour cet acteur, il faut prendre en compte le fait que VWO charge à part les variantes, ce qui ralentit fortement la performance technique.

Conclusion du benchmark

Les quatre solutions leaders du marché ont leurs avantages et leurs inconvénients. Les tests réalisés par nos soins ont permis de bien les mettre en évidence. Mais commençons par rappeler très clairement que ce sont toutes de bonnes solutions d’A/B Testing, à la fois matures et dotées d’une vraie richesse fonctionnelle.

La question que vous êtes sans doute nombreux à vous poser si vous lisez cet article, peut se formuler en deux mots : « laquelle choisir ? ». Il y a plusieurs éléments à prendre en compte dans le choix de votre solution d’A/B Testing. Le premier concerne…la langue. Si vous n’êtes vraiment pas du tout à l’aise avec la langue de Shakespeare, Optimizely et VWO ne sont pas faits pour vous. Ces deux logiciels ne sont disponibles qu’en anglais (cela concerne aussi le service client). Même chose si les langages html et css vous sont aussi incompréhensibles que du chinois. Si vous utilisez VWO ou Optimizely, vous devrez notamment être familier avec les sélecteurs css (vous devrez les créer manuellement). Mieux vaut avoir une certaine maîtrise des langages informatiques… Entre VWO et Optimizely, nous aurions plutôt tendance à opter pour le premier, car plus simple d’utilisation et ayant obtenu de meilleurs résultats au cours des tests.

Dans nos tests, nous n’avons exploité que les fonctionnalités proposées dans les packs standards ou les versions d’essai. Les quatre solutions proposent des offres premium contenant des fonctionnalités supplémentaires. Vous devez aussi prendre en compte ces fonctionnalités « premium » dans votre choix, dans l’optique d’anticiper vos besoins futurs. A/B Tasty propose des fonctionnalités annexes intéressantes au niveau du tracking. Kameleoon repose sur des fondamentaux techniques solides permettant la réalisation de tests A/B plus poussés.

Finalement, dans le cadre de la réalisation de test simples, A/B Tasty et Kameleoon sont très proches : les deux solutions offrent chacune des fonctionnalités exclusives. Cela relève plutôt d’une question de goût et du budget.
Dans le cadre de tests plus complexes, Kameleoon nous semble plus pertinent du fait de son architecture technique plus performance et innovante (simplicité de mise en place de tests MVT, technologie anti-flicker, solution fonctionnant sur les nouveaux langages comme React, etc.)

Nous aurions donc tendance à plutôt vous recommander Kameleoon, qui a donné de meilleurs résultats dans le cadre de nos tests. Mais nous vous invitons à tester vous-même les logiciels afin de vous faire votre propre opinion.

Zoom sur les cas d’usage du benchmark

Comme indiqué au début de l’article, nous avons procédé à quatre tests afin d’évaluer les avantages et inconvénients, les points forts et les points faibles des quatre solutions d’A/B Testing leaders sur le marché français. Vous trouverez le détail du process des tests dans le document téléchargeable. Nous vous proposons ici un rapide résumé des résultats obtenus.

Modification de la couleur d’un bouton

Dans le premier test, il s’agissait de modifier la couleur du bouton « Le forum » (jaune ==> bleu clair), présent sur toutes les pages du site.

Kameleoon

Commençons par Kameleoon. Ce logiciel a le mérite d’être très intuitif et rapide à prendre en main, ce qui nous a séduit d’entrée de jeu. Nous avons pu changer la couleur du bouton en quelques clics, via le sélecteur de couleurs. Un historique des modifications permet à tout instant de vérifier ou corriger certaines manipulations. Le tracking des clics sur le bouton est accessibles facilement via un onglet contextuel. Une fois les éléments modifiés, le logiciel guide parfaitement l’utilisateur dans le paramétrage du testing. Concernant le ciblage, la richesse fonctionnelle de Kameleoon est vraiment impressionnante.

Une fois le test lancé, l’outil propose une vue d’ensemble qui permet d’accéder en un coup d’oeil aux résultats du testing, avec possibilité d’accéder aux résultats ventilés (par device par exemple). Très puissant ! Ce premier test nous a permis de prendre conscience des deux gros points forts de ce logiciel : son caractère très intuitif et sa puissance fonctionnelle (il est souvent difficile d’allier les deux…). Peu de choses à redire pour le coup. Seul petit défaut : l’absence remarquée de certains éléments au niveau du récapitulatif de la simulation (capping, vérification du tag…).

Découvrez notre guide complet sur l’art de mesurer la rétention de vos visiteurs ou clients.

A/B Tasty

Comparé à Kameleoon, le menu d’édition d’A/B Tasty apparaît beaucoup plus touffu, moins clair, même si on finit assez rapidement par s’y retrouver. Un exemple concret : nous avons mis du temps à comprendre qu’il fallait ajouter un nouveau ciblage pour ajouter une limitation à un nombre de pages vues. C’est assez peu intuitif, mais une fois qu’on le sait, tout devient très simple. On a regretté l’absence de possibilité d’arrêt automatique du testing une fois un seuil de pertinence atteint. Ce qui nous a étonné aussi et un peu dérouté au début, c’est l’absence de configuration des objectifs. On a fini par comprendre que les objectifs sont récupérés automatiquement des éléments de tracking, dans les résultats, et peuvent être ajoutés à posteriori, une fois le test lancé, ce qui se révèle très intéressant.

Le tableau de synthèse des résultats nous a globalement séduit. Il est très complet, en revanche les résultats ne sont pas tous visibles d’un seul coup d’oeil (survols de souris nécessaires). Contrairement à Kameleoon, les résultats ne peuvent pas être ventilés. C’est un des points faibles d’A/B Tasty. En revanche, mention spéciale pour la fonctionnalité de prévisualisation, bien conçue et très pratique.

Google Analytics ou SQL ? Découvrez à partir de quand il faut envisager de construire un dispositif Data Marketing sur mesure.

Optimizely

Optimizely, comparé aux deux précédentes solutions, est beaucoup plus austère dans son fonctionnement. Nous sommes invité, dès le début de la création du test, à remplir un formulaire. Assez original…L’ordre des étapes est lui aussi assez perturbant : on commence par définir le périmètre du test et la cible, avant de définir le contenu du test. Les options de ciblage sont satisfaisantes sans être particulièrement originales (ciblage comportemental + ciblage technique (devices…)).

Nous avons été assez perturbé par l’étape de définition des objectifs, qui vient juste après, très déstabilisante à première vue car elle intervient avant même d’avoir défini ce qu’on allait tester. Nous avons fini par comprendre que l’on pouvait définir le contenu du test avant les objectifs – moyennant quelques clics. Notre avis global pour ce premier test avec Optimizely : l’ordre des étapes est vraiment…bizarre et peu intuitif, ce qui nuit clairement à l’expérience utilisateur. Nous avons été impressionné en revanche par la vitesse de chargement de l’éditeur et son caractère très intuitif.

VWO

Avec VWO, on en revient à un process beaucoup plus classique. La succession des étapes est claire et intuitive. L’éditeur, quant à lui, est sobre, mais très limpide. On peut facilement tracker le nombre de clics sur le bouton, comme sur Kameleoon et A/B Tasty, avec cette fois la possibilité de choisir l’élément à tracker : le bouton ou le lien. Nous avons apprécié la fonctionnalité d’estimation de la durée du test, également disponible sur Kameleoon d’ailleurs. Le gros point fort de VWO : la fonctionnalité de heatmap, qui permet de cartographier les zones de clics (à la manière de CrazzyEgg). Mention spéciale pour le tableau récapitulatif, très complet. Nous n’avons pas vraiment pu identifier de points faibles de la solution pour ce premier test.

Modification du texte d’un bouton

Dans ce deuxième test, il ne s’agit plus de changer la couleur d’un bouton, mais son texte (on transforme « acheter » en « voir l’offre »). Pour ne pas se répéter inutilement, nous revenons uniquement sur les éléments nouveaux par rapport au premier test.