À propos de l’évaluation du rendement lors des Boomerangs

Comme suite à mon billet Les boomerangs d’hier soir ^[2], une discussion passionnante s’est engagé entre Martin Ouellette ^[3], le président du jury et moi-même, à propos de la pertinence d’inclure des critères de rendements dans l’évaluation des lauréats.
Récapitulatif :

Martin dit :

(…)Tu confonds encore l’importance des résultats et la capacité de mesurer. Les CASSIES, a mon humble avis, est tout aussi faux. Plus en fait. Parce que, j’insiste, c’est plus facile de falsifier/embellir des résultats que de faire croire qu’une pièce est plus belle/ergonomique/innovante qu’elle e l’est réellement. ^[4]

On est tous d’accord avec le principe du ROI. Mais comparer des résultas qui reposent sur des techniques différentes pour des réalités différentes, c’est tout simplement impensable. ^[4]

Finalement, un jury de ROI avec 400 pièces soumises, ce n’est tout simplement infaisable en deux ou trois jours. ^[4]

Puis il ajoute

@ Michel
Allons dans ta logique. Prenons le plus simple des cas imaginables, on voudrait départir deux bannières, de annonceurs distincts mais dans la même catégorie. Notre objectif serait de reconnaître laquelle des deux à été le meilleur investissement (greater ROI). Mais il faudrait réussir à isoler l’impact du format, du poids, du plan média, des impressions. Le suivi via cookie des gens qui y ont été exposés versus les autres pour voir si le trafic naturel a augmenté. Une fois arrivé, comparer les visiteurs en tenant compte des qualités inhérentes de chacun des sites. Puis la grande variable, la perception de chacune des compagnies. Je te montre une route et j’ai le logo Mercedes OU Hyundai, je n’aurai pas le même succès. Le ROI existe et fait du sens seulement pour comparer deux créations d’un même client. Sinon, la comparaison dans un contexte de multi-variables, ce n’est pas du rêve, c’est un cauchemar. ^[5]

Ma réponse

Cher Martin

Oui j’aime ça débattre avec toi ici, mais en personne c’est certainement plus agréable. J’ai donc hâte de te revoir. Reprenons la chose du début. Tu me dis :

c’est plus facile de falsifier/embellir des résultats que de faire croire qu’une pièce est plus belle/ergonomique/innovante qu’elle e l’est réellement.

Voyons donc Martin! Dans les deux cas, le jugement sera toujours subjectif. Pourquoi la subjectivité des résultats serait-elle plus difficile que celle de la beauté?  Puis tu me dis :

Puis la grande variable, la perception de chacune des compagnies. Je te montre une route et j’ai le logo Mercedes OU Hyundai, je n’aurai pas le même succès. Le ROI existe et fait du sens seulement pour comparer deux créations d’un même client.

Ce problème de la différence de moyens, donc de résultats peut aussi être appliqué à l’aspect « beau ». À preuve, tu dis toi-même :

Dans les pièces que nous avons remportés, une a coûté moins de 5 000$.

Le petit budget n’a pas été un critère éliminant la potentialité du « beau ». Ce pourrait être la même chose pour le rendement. Dans le cas de l’évaluation du beau ou du rendement, il faut faire confiance aux jurys qui inévitablement prendront une décision subjective. Il est clair que de demander de justifier le ROI aux agences, pourra permettre de fournir des explications diverses et des mesures de rendements avec des outils différents. L’arbitraire inévitable fera son travail et on pourrait décerner le prix à un petit qui proportionnellement à l’investissement, a été plus efficace qu’un gros qui a beaucoup plus de clics (puisqu’il a le budget) mais avec un pourcentage beaucoup moins élevé. Encore là, ça ne devrait pas être un critère exclusif quoique ça puisse être intéressant d’avoir une catégorie spécifique « les campagnes les plus rentables ».

Je suis un rêveur et les cauchemars peuvent toujours trouver une issue positive. On est dans le rêve après tout?