Tests A/B

Un test A/B mesure l’effet des différentes versions d’une promotion ou d’un élément de contenu sur les activités des clients dans la vitrine, par exemple sur la génération de commandes. Les tests A/B permettent de tester et d’optimiser les promotions et les éléments de contenu jusqu’à ce qu’ils donnent les résultats espérés.

Par exemple, supposons que vous envisagiez de lancer une promotion sur des articles sélectionnés pour stimuler les ventes en ligne, mais que vous n’êtes pas sûr d’utiliser une valeur de réduction de 10 % ou 20 % pour atteindre vos objectifs de chiffre d’affaires. Le test A/B permet de mettre en place un test simple dans lequel les deux réductions sont présentées aux clients de manière aléatoire. Durant les tests, le système conserve un registre détaillé de toutes les activités du client. À l’aide de ces données, vous pouvez évaluer en détail les deux versions de réduction, ce qui constitue une base solide pour votre décision.

Les possibilités offertes par le moteur de test A/B dans Intershop Commerce Management sont les suivantes :

• Test des promotions et des éléments de contenu

  Vous pouvez tester les promotions, les composants et les variantes de page. Après avoir évalué les résultats du test, vous pouvez ajouter des réductions testées à votre liste de campagne avec un simple clic.

• Groupes de test multiples

  Vous pouvez définir n’importe quel nombre de groupes de test, ce qui permet de simuler des scénarios de test simples et complexes.

• Stabilité des sessions et des cookies

  Le moteur de test s’assure que les utilisateurs utilisant la même session reçoivent les mêmes réductions et les mêmes versions de contenu. De plus, le système essaie d’installer un cookie afin d’identifier plusieurs sessions du même client pour les utilisateurs non inscrits. Si le client autorise les cookies, le système reconnaît les nouvelles sessions, sans augmenter le nombre de participants dans le sommaire du test. Si le client n’autorise pas les cookies, le système suppose que chaque nouvelle session provient d’un nouveau participant.

La configuration d’un test A/B implique les tâches principales suivantes :

• Création du test

  Outre le nom et la description, vous devez définir la date et l’heure de début et de fin pendant lesquelles vous voulez que le test soit exécuté.

• Déterminer des groupes cibles et des groupes de test

  Le groupe cible détermine quels clients participeront au test. Pour définir le groupe cible, vous pouvez sélectionner un ou plusieurs segments de clientèle, partenaires affiliés ou programmes partenaires. Les membres du groupe cible sont ensuite répartis proportionnellement sur deux ou plus groupes de test. Par exemple, dans le cas le plus simple, vous pouvez configurer deux groupes de test, avec 50 % du groupe cible attribué à chacun. Le groupe de test détermine quel promotion, élément de contenu ou variante de page sera présenté à chaque participant au test. Selon la répartition proportionnelle, le système attribue de manière aléatoire des clients appartenant aux groupes cibles sélectionnés à l’un des groupes tests.

  L’un des groupes de test sert de groupe de contrôle. La proportion du groupe de contrôle peut être définie manuellement, les attributions proportionnelles des autres groupes de test sont ensuite automatiquement ajustées pour atteindre 100%. Par exemple, lors de la configuration de deux groupes de test en plus du groupe de contrôle, en attribuant 50% du groupe cible au groupe de contrôle, l’attribution proportionnelle pour les groupes de test est automatiquement adaptée à 25%. En changeant l’attribution pour le groupe de contrôle de 50% à 40%, les attributions pour les groupes de test augmentent automatiquement à 30%.

  Il est également possible d’attribuer des URL aux groupes de test et de contrôle qui sont nécessaires pour le suivi des événements de clic.

  Remarque :

  Afin de pouvoir attribuer des segments de clientèle comme groupe cible, au moins un service de segmentation doit être configuré pour le canal de vente, voir Segments de clientèle.

• Attribuer des promotions et des éléments de contenu

  Pour chaque groupe de test, vous pouvez attribuer une ou plusieurs réductions ou éléments de contenu. Notez que vous ne devez pas nécessairement définir une promotion pour tous les groupes de test. Vous pouvez, par exemple, comparer un groupe de test qui bénéficie d’une certaine réduction (via une promotion) à un groupe de contrôle qui ne bénéficie d’aucune réduction.

• Activer le test

  La dernière étape de la configuration d’un test A/B est de l’activer.

• Consulter les résultats des tests

  Après l’expiration de la durée de vie de la session et l’exécution de la tâche « UpdateTrackEvents », vous pouvez voir les premiers résultats du test. Pour plus de détails sur ces paramètres, contactez votre administrateur système. Les résultats sont régulièrement actualisés au cours du test.

  Les résultats des tests peuvent être consultés via un tableau récapitulatif affichant les résultats les plus importants en un coup d’œil, ou via des répartitions détaillées des différentes activités des clients que le système suit.

Pour plus de détails sur les tâches liées aux tests A/B, voir Gestion des tests A/B.

Le succès des tests A/B dépend largement de la planification et de l’exécution minutieuses des tests. Les tests A/B étant une procédure de marketing bien établie, il est fortement recommandé de consulter la documentation existante à ce sujet. En particulier, les questions suivantes sont importantes :

• Définir ce qui doit être testé

  Avant de mettre en place un test, vous devez définir clairement l’ensemble des questions auxquelles vous voulez que le test réponde. Sachez qu’un simple test A/B est approprié pour tester l’effet d’un seul facteur, tel que la « valeur de la réduction ». Un test A/B n’est pas approprié pour tester l’effet de plusieurs facteurs à la fois, ou de l’interaction entre des facteurs. Si vous avez besoin de tester l’effet de plusieurs facteurs, vous devriez envisager d’effectuer plusieurs tests A/B.

• Utilisez une conception de test simple

  La conception du test se rapporte au nombre de différentes remises et versions de contenu nécessaires pour le test et, par conséquent, au nombre de groupes de test. Assurez-vous que les différentes réductions ou versions de contenu ne varient qu’en fonction du facteur dont l’effet est à mesurer. Par exemple, si vous voulez savoir si une réduction de 10% ou de 20% est plus efficace pour stimuler les ventes, modifiez uniquement la valeur de la réduction et laissez tout le reste identique. Plus vous introduisez de différences, plus les résultats du test sont difficiles à interpréter.

• Définir les critères de réussite

  Pendant le test, Intershop Commerce Management enregistre plusieurs variables différentes, qui vont du nombre de sessions au nombre de commandes générées. Avant d’exécuter un test, vous devez définir clairement les variables sur lesquelles vous devez vous concentrer pour mesurer le succès.

• Utiliser une taille d’échantillon appropriée

  La taille de l’échantillon correspond au nombre de participants dont vous avez besoin pour pouvoir tirer des conclusions définitives sur les résultats du test. Si la taille de l’échantillon est trop petite, vous risquez de ne pas remarquer des effets ou de mal interpréter les différences accidentelles. Si la taille de l’échantillon est trop grande, chaque différence peut sembler significative. Une façon simple d’estimer la taille de l’échantillon est d’effectuer un pré-test dans lequel tous les groupes de test sont exposés aux mêmes réductions et aux mêmes versions de contenu. Une fois que les résultats des variables d’intérêt correspondent entre eux, la taille de l’échantillon est susceptible d’être suffisante.