À propos de l’évaluation du rendement lors des Boomerangs

Pin It

Comme suite à mon billet Les boomerangs d’hier soir, une discussion passionnante s’est engagé entre Martin Ouellette, le président du jury et moi-même, à propos de la pertinence d’inclure des critères de rendements dans l’évaluation des lauréats.
Récapitulatif :

Martin dit :

(…)Tu confonds encore l’importance des résultats et la capacité de mesurer. Les CASSIES, a mon humble avis, est tout aussi faux. Plus en fait. Parce que, j’insiste, c’est plus facile de falsifier/embellir des résultats que de faire croire qu’une pièce est plus belle/ergonomique/innovante qu’elle e l’est réellement.

On est tous d’accord avec le principe du ROI. Mais comparer des résultas qui reposent sur des techniques différentes pour des réalités différentes, c’est tout simplement impensable.

Finalement, un jury de ROI avec 400 pièces soumises, ce n’est tout simplement infaisable en deux ou trois jours.

Puis il ajoute

@ Michel
Allons dans ta logique. Prenons le plus simple des cas imaginables, on voudrait départir deux bannières, de annonceurs distincts mais dans la même catégorie. Notre objectif serait de reconnaître laquelle des deux à été le meilleur investissement (greater ROI). Mais il faudrait réussir à isoler l’impact du format, du poids, du plan média, des impressions. Le suivi via cookie des gens qui y ont été exposés versus les autres pour voir si le trafic naturel a augmenté. Une fois arrivé, comparer les visiteurs en tenant compte des qualités inhérentes de chacun des sites. Puis la grande variable, la perception de chacune des compagnies. Je te montre une route et j’ai le logo Mercedes OU Hyundai, je n’aurai pas le même succès. Le ROI existe et fait du sens seulement pour comparer deux créations d’un même client. Sinon, la comparaison dans un contexte de multi-variables, ce n’est pas du rêve, c’est un cauchemar.

Ma réponse

Cher Martin

Oui j’aime ça débattre avec toi ici, mais en personne c’est certainement plus agréable. J’ai donc hâte de te revoir. Reprenons la chose du début. Tu me dis :

c’est plus facile de falsifier/embellir des résultats que de faire croire qu’une pièce est plus belle/ergonomique/innovante qu’elle e l’est réellement.

Voyons donc Martin! Dans les deux cas, le jugement sera toujours subjectif. Pourquoi la subjectivité des résultats serait-elle plus difficile que celle de la beauté?  Puis tu me dis :

Puis la grande variable, la perception de chacune des compagnies. Je te montre une route et j’ai le logo Mercedes OU Hyundai, je n’aurai pas le même succès. Le ROI existe et fait du sens seulement pour comparer deux créations d’un même client.

Ce problème de la différence de moyens, donc de résultats peut aussi être appliqué à l’aspect « beau ». À preuve, tu dis toi-même :

Dans les pièces que nous avons remportés, une a coûté moins de 5 000$.

Le petit budget n’a pas été un critère éliminant la potentialité du « beau ». Ce pourrait être la même chose pour le rendement. Dans le cas de l’évaluation du beau ou du rendement, il faut faire confiance aux jurys qui inévitablement prendront une décision subjective. Il est clair que de demander de justifier le ROI aux agences, pourra permettre de fournir des explications diverses et des mesures de rendements avec des outils différents. L’arbitraire inévitable fera son travail et on pourrait décerner le prix à un petit qui proportionnellement à l’investissement, a été plus efficace qu’un gros qui a beaucoup plus de clics (puisqu’il a le budget) mais avec un pourcentage beaucoup moins élevé. Encore là, ça ne devrait pas être un critère exclusif quoique ça puisse être intéressant d’avoir une catégorie spécifique « les campagnes les plus rentables ».

Je suis un rêveur et les cauchemars peuvent toujours trouver une issue positive. On est dans le rêve après tout?

Imprimez ce billet Imprimez ce billet

Commentaires

  1. Circa CFD » Blog Archive » Du retour du boomerang…

    […] Et merde, je suis même d’accord avec Michel «bisbille» Leblanc.… […]

  2. Martin Ouellette

    Cher ami,

    Des résultats dans un concours, c’est juste du texte dans un document, c’est pas des données brutes. Une bannière, on la voit. Dans un cas, c’est un acte de foi, dans le second, on est en contact direct avec l’objet à juger. Cette distinction est pour moi essentielle, c’est ce que je qualifiais de «subjectif» en ce qui a trait aux résultats. Mais soit, le mot était mal choisi. J’aurais du dire “du n’importe quoi”, “du jello”, “du vent”. Considérer les textes parlant de résultat serait aussi pertinent que de considérer un texte qui parle d’un site sans y avoir accès. Je ne bafoue pas les résultats ici, mais j’insiste sur l’extrême difficulté de les représenter dans des concours et de l’impossibilité absolue de les comparer.

    Je ne parlais pas d’une différence de moyens (le deuxième point que tu as relevé), mais du fait que les marques ont un influence sur l’impact de la création. Savais-tu qu’un même concept signé par Bell OU sans logo du tout n’a pas du tout le même taux de clic (genre du 2 pour 1). Plus la marque est connue, plus les internautes ont des idées préconçues, moins ils cliquent. Alors, comparer les résultast de deux bannières identiques mais avec deux logos distincts ne fait qu’en fait comparer deux images de marques qui précédaient le travail des agences avec les bannières en question.

    Pour ce qui est des moyens, l’impact est vraissemblablement plus important dans les résultats (ne serait-ce qu’à cause de l’enveloppe média) que dans le beau et l’ergonomique et l’efficace et le clair et le nouveau. Ces derniers critères ne dépendent pas de moyens, mais du talent. Réussir à faire une belle job innovatrice tout en étant pertinente mérite d’être souligner par ses paires. Le vidéoclip interactif de Morisset pour Arcadie Fire n’a sans doute pas coûté une fortune. Je ne suis pas certain qu’un quelqu’un puisse établir une corrélation entre le nombre de ventes directes de l’album Neon Bible et ce clip. Mais je peux te dire que cette pièce déclenche une révolution. Les clips avaient quittés les chaines de télé pour se retrouver en ligne, mais ils étaient restés les mêmes, même format, même look. Ici, le clip musical interactif est né. C’est une nouvelle discipline qui aura des répercussions pour l’ensemble de l’industrie de la musique et de la vidéo. Ça veut dire des sous dans notre industrie demain matin. Ça, un jury peut le reconnaître en jouant avec ce clip. Pas besoin de taux de clic pour reconnaître l’importance de cette pièce.

    Finalement, mon point le plus important, tu l’ignores. Il est impossible de comparer deux ROI dans deux contexte différents. Tous mes exemples n’étaient là que pour souligner les différences entre n’importe quelle deux jobs. La seule façon de la faire, c’est d’isoler UNE variable et de comparer avec les mêmes outils. Tout autre jeux de comparaison est de la poudre aux yeux et ne tient pas la route. Pas une question de rêve, mais de méthodologie.

    J’entends ta peine. Tu aimes et vends les résultats. Moi aussi Michel, sinon j’aurais déjà fermé boutique. Mais, je ne crois pas qu’on puisse honnêtement considérer des morceaux d’interprétation de résultats dans un concours comme ayant une quelconque valeur discriminante. Ça serait de la malhonnêteté intellectuelle.

  3. Administrator

    Cré Martin…

    C’est sans doute pourquoi c’était toi le prez du jury et moi le gérant d’estrade? Ça ne m’empêchera pas de continuer de rêver

  4. Blogue marketing interactif de l’AMM-PCM » Blog Archive » Les Boomerangs ne font pas l’unanimité

    […] semble que je ne sois pas seul à me demander si les Boomerangs pourraient intégrer les concepts de rentabilité et couronner autre chose que du Flash! Pat Tanguay fait toute une sortie et invente un nouveau mot […]