Introduction

Alors que le paysage politique change sans cesse, les sondages restent un outil essentiel pour comprendre le sentiment du public. La voie vers des informations plus précises sur les électeurs passe-t-elle par l’apprentissage à partir de nos expériences passées ?

Pour approfondir notre compréhension, nous nous sommes entretenus avec Don Levy, directeur de l’Institut de recherche du Siena College, qui nous a fait part des perspectives précieuses qu’il a tirées de sa vaste expérience dans le domaine des sondages. Ses idées, issues de notre discussion et de ses apparitions dans les podcasts de l’AAPOR et de WXXI News, nous éclairent sur les facteurs qui peuvent fausser les résultats des sondages.

Dans ce blog, nous explorerons les principales leçons tirées des élections passées et les stratégies innovantes que les sondeurs comme Dr. Levy mettent en œuvre pour améliorer leurs méthodologies et restaurer la confiance du public.

Les leçons clés des élections de 2016 et 2020

L’industrie des études de marché a tiré des leçons essentielles qui ont modifié son approche des prévisions électorales. Don Levy examine les facteurs qui ont contribué aux biais observés lors des deux dernières élections :

« Je pense que nous avons tous beaucoup appris de l’élection de 2016, qui, à ce stade, semble appartenir à un passé lointain. Il n’y a pas eu suffisamment de sondages au niveau des États durant cette élection, et certains États clés – comme le Michigan, le Wisconsin et, dans une certaine mesure, la Pennsylvanie – n’ont même pas été identifiés comme tels. En outre, certains sondages n’ont pas pondéré les réponses en fonction du niveau d’éducation au cours de ce cycle. Nous avons appris de ces erreurs.

En 2020, le paysage des sondages avait complètement changé. Tout le monde prenait en compte l’éducation, reconnaissant qu’il s’agissait de l’une des principales fractures de l’électorat américain, et l’on se concentrait davantage sur plusieurs États clés du champ de bataille. Nous n’étions pas les seuls à sonder le Wisconsin, le Michigan et la Pennsylvanie à ce moment-là ».

Dr. Levy identifie deux domaines critiques à améliorer :

1. Sondages au niveau des États :
   De nombreux sondages nationaux n’ont pas permis d’évaluer avec précision le soutien aux candidats parce qu’ils n’ont pas suffisamment tenu compte des données au niveau des États. Cette omission a révélé que la dynamique locale et le sentiment des électeurs varient considérablement d’une région à l’autre, ce qui entraîne des imprécisions dans les prédictions.
2. L’éducation comme variable :
   L’impact de l’éducation sur les préférences des électeurs a été sous-estimé dans de nombreux sondages. Dr. Levy note que « l‘éducation s’est révélée être une ligne de démarcation, en particulier dans les États en guerre ». Cette constatation souligne l’importance d’aller au-delà des données démographiques traditionnelles. Les sondeurs doivent désormais tenir compte de l’influence du niveau d’études sur le comportement des électeurs afin d’améliorer la précision de leurs modèles.

En réponse à ces leçons, les méthodologies ont évolué pour donner la priorité aux sondages régionaux et mettre en œuvre des pratiques de pondération nuancées qui représentent mieux les niveaux d’éducation. En tirant les leçons des erreurs passées, les sondeurs s’efforcent de produire des résultats plus fiables, renforçant ainsi la crédibilité des sondages en tant qu’outil d’engagement démocratique.

Cette reconnaissance de l’éducation en tant que variable cruciale, ainsi que l’accent mis sur les informations recueillies au niveau de l’État, marquent un changement important dans les méthodes d’échantillonnage des électeurs. L’objectif est désormais d’obtenir une image plus claire du sentiment du public, afin que les sondages restent une ressource fiable dans un paysage politique en constante évolution.

Relever les défis grâce à des approches innovantes

En réponse aux récents cycles électoraux, les instituts de sondage ont fait des progrès considérables pour relever les principaux défis. Le Dr. Levy souligne comment ces ajustements contribuent à améliorer la précision et l’engagement :

• Obtenir une représentation diversifiée grâce à l’échantillonnage stratifié: Les sondeurs utilisent l’échantillonnage stratifié pour assurer une représentation diversifiée des données démographiques, en sélectionnant des groupes d’échantillons qui reflètent la population dans son ensemble, non seulement en fonction de l’âge, du sexe et de la race, mais aussi en tenant compte des nuances régionales et socio-économiques. Cela permet de créer un modèle plus précis des intentions des électeurs.

« Nous avons été confrontés à un biais en 2020. Nous pensions que les fervents électeurs de Trump – et non les timides – avaient tendance à ne pas répondre aux sondages. Ce problème était évident pour toutes les méthodes de sondage: téléphone, Internet, texte à Internet et SVI. En analysant une cinquantaine de sondages réalisés par des membres réputés de l’AAPOR dans les dix jours précédant l’élection, seuls trois d’entre eux prédisaient correctement les résultats ou penchaient en faveur des Républicains, tandis que presque tous les autres étaient biaisés dans l’autre sens.

En Pennsylvanie, par exemple, les régions les plus favorables à Trump ont présenté des erreurs de sondage significatives. Dans les régions où Trump a gagné avec un écart de 70 % à 30 %, les sondages le donnaient souvent avec un écart de 60 % à 40 %. Mais de manière systémique, ce qui s’est produit, c’est qu’en remplissant nos quotas, nous obtenions tout simplement une plus grande participation des électeurs de Biden qui étaient, selon le stéréotype, des hommes blancs sans éducation universitaire, que d’un échantillon représentatif d’électeurs de Trump.

Sommes-nous à nouveau confrontés à cette menace lors de cette élection ? Oui. Pour y faire face, nous mettons en œuvre une gestion rigoureuse des quotas, un échantillonnage stratifié et une réduction active des abandons, tout en profitant de l’avantage d’une nouvelle élection. »

• Minimiser les abandons en exploitant les données historiques et les listes électorales: Les instituts de sondage sont également devenus plus vigilants quant à la minimisation des abandons, visant à conserver autant de réponses que possible afin d’améliorer la robustesse des données. « Les abandons peuvent fausser les résultats en filtrant involontairement certains groupes », explique le Dr Levy. Les données historiques et les listes électorales détaillées sont devenues des outils précieux qui permettent aux sondeurs d’affiner leurs modèles et de développer des stratégies de pondération qui reflètent mieux l’électorat. Cette approche permet de tenir compte des variations dans les taux de réponse, en particulier parmi les groupes sous-représentés.
• Accroître l’engagement des électeurs grâce à l’IA et à l’enrichissement des données: Grâce aux progrès de l’intelligence artificielle et de l’enrichissement des données, les instituts de sondage disposent désormais d’outils plus sophistiqués pour atteindre et engager les électeurs, même si les taux de réponse restent difficiles. L’intelligence artificielle peut optimiser les stratégies de contact, permettant aux sondeurs d’identifier quand, où et comment engager efficacement les différents groupes d’électeurs.

Ces innovations améliorent collectivement la précision des sondages, renforcent la confiance du public et garantissent que les sondages restent un outil précieux pour saisir le sentiment des électeurs.

Respecter l'intégrité : L'importance des sondages non partisans

Dans le cadre de l’engagement en faveur des sondages non partisans, il est primordial de préserver la confiance du public, et des organisations telles que l’American Association for Public Opinion Research (AAPOR) jouent un rôle essentiel dans la promotion de la transparence et le maintien de normes élevées dans l’industrie des sondages. Dr. Levy souligne que ces organisations s’efforcent d’améliorer la compréhension du public à l’égard des sondages non partisans, qui constituent un contrôle essentiel contre les préjugés potentiels qui peuvent survenir dans des environnements politiquement chargés.  

« Mon espoir – et ma demande – à mes amis de la communauté des instituts de sondage est de diffuser aux citoyens et électeurs américains des messages expliquant qui nous sommes, ce que nous faisons et pourquoi c’est important. Ce serait un acte de citoyenneté positif que de participer à des sondages politiques de qualité et non partisans. Nous n’essayons pas de vous vendre quoi que ce soit, de vous convaincre de quoi que ce soit et/ou de vous manipuler de quelque manière que ce soit ».

Les instituts de sondage s’engagent à contribuer positivement au processus démocratique en favorisant une plus grande transparence sur les méthodes de sondage, les sources de données et toutes les limitations qui peuvent avoir un impact sur les résultats. Grâce à la collaboration et à l’innovation, l’industrie des sondages continue de s’adapter et de s’améliorer, en relevant de nouveaux défis avec intégrité. Alors que le paysage politique et social évolue, l’industrie continue de se concentrer sur des normes élevées, garantissant que les sondages sont un reflet informatif et impartial de l’opinion publique et qu’ils contribuent à un engagement démocratique éclairé.  

Conclusion

En réfléchissant aux leçons tirées des dernières élections, il est évident que l’avenir des sondages dépend de la capacité d’adaptation et d’innovation de l’industrie. En adoptant de meilleures techniques d’échantillonnage et de nouvelles technologies, les sondeurs s’efforcent de donner une image plus fidèle de la position des électeurs et de leurs préoccupations. La voie à suivre est celle de l’apprentissage et de l’évolution continus, afin que les sondages restent un outil fiable pour comprendre le sentiment du public.

Les questions ouvertes et leur analyse fournissent une riche source d’informations qui va au-delà des limites des données structurées, offrant une meilleure compréhension du sentiment des clients, des tendances émergentes et de l’expérience globale. Qu’ils soient recueillis dans le cadre d’enquêtes, d’évaluations de clients ou de médias sociaux, ces commentaires peuvent être une mine d’or pour l’entreprise, mais leur analyse efficace peut s’avérer difficile. Pour ceux qui ont affaire à des milliers de questions et de réponses ouvertes, les méthodes traditionnelles telles que la lecture des questions ouvertes, le calcul des réponses dans Excel, ou tout simplement le manque de capacité ou d’outils adéquats pour analyser le retour d’information, deviennent insurmontables. En outre, l’utilisation d’outils génériques d’intelligence artificielle comme ChatGPT s’avère souvent inadéquate. Sans une solution qualifiée pour analyser facilement les réponses ouvertes, les professionnels des études de marché risquent de générer des résultats incomplets ou inexacts, ce qui peut entraîner des retards et des inefficacités dans l’achèvement des projets.

Chez Voxco, l’une des raisons pour lesquelles nous sommes enthousiastes à l’idée d’intégrer Ascribe dans notre plateforme d’enquête en ligne est la façon dont Coder et CX Inspector d’Ascribe simplifient et rationalisent l’analyse ouverte, en particulier pour les entreprises et les professionnels de l’étude de marché. Ces outils s’appuient sur les dernières avancées en matière d’intelligence artificielle, facilitant l’obtention d’informations pertinentes à partir de vastes quantités de données ouvertes. Ce lancement de produit passionnant met en évidence notre engagement commun à offrir des solutions innovantes qui aident les professionnels d’études de marché à prendre des décisions plus marquantes.

L'importance des questions ouvertes et de leur analyse

• Une connaissance plus approfondie des clients : L’analyse ouverte offre une vision plus complète des comportements, des motivations et des sentiments des clients, ce qui permet aux entreprises de mieux comprendre leur public.
• Découvrir des informations cachées : Les réponses ouvertes peuvent révéler des informations inattendues qui échappent aux données structurées, offrant ainsi une fenêtre précoce sur de nouvelles tendances et opportunités.
• Saisir les nuances : Contrairement aux réponses structurées, les réponses ouvertes permettent aux clients d’exprimer leurs sentiments et leurs expériences avec leurs propres mots, fournissant ainsi un contexte précieux qui aide les entreprises à comprendre les moteurs émotionnels et les points de douleur.
• Identifier les tendances émergentes : En analysant les réponses ouvertes, les entreprises peuvent repérer de nouvelles tendances qui n’auraient pas été prises en compte lors de la conception initiale de l’enquête, ce qui leur permet de réagir rapidement.
• Comprendre le « pourquoi » : Alors que les données quantitatives montrent ce qui se passe, les réponses ouvertes révèlent les raisons pour lesquelles les clients se comportent comme ils le font, ce qui permet d’obtenir des informations plus concrètes.

Comment Coder et CX Inspector d'Ascribe peuvent aider

Les outils leaders d’Ascribe permettent l’analyse des réponses ouvertes à l’échelle avec une plus grande précision et rapidité en combinant de façon transparente l’intelligence artificielle avec l’expertise humaine. Voici comment Ascribe Coder et CX Inspector, tous deux récemment mis à jour avec Theme Extractor 2.0 et Ask Ascribe, permettent aux professionnels d’agir :

Theme Extractor 2.0

Analyse automatiquement plus de 95% des réponses ouvertes et génère des codes précis et comparables à ceux des utilisateurs. L’outil élimine les chevauchements entre les thèmes et fournit des résultats plus nets et plus rapides, ce qui est idéal pour rationaliser le processus de recherche.

Ask Ascribe

Ask Ascribe permet aux utilisateurs d’interroger leurs données en temps réel en utilisant un langage naturel. Cette approche interactive permet d’identifier rapidement les thèmes clés, les émotions et les domaines d’amélioration, ce qui permet aux entreprises d’agir plus rapidement.

Ascribe Coder : Améliorer la productivité du codage

Ascribe Coder améliore la productivité en convertissant le texte non structuré en données structurées. Voici comment :

• Codage humain guidé par l’IA : Combine l’IA et l’intelligence humaine pour accélérer le processus de codage tout en maintenant la précision.
• Automatisation personnalisable : Permet aux utilisateurs d’ajuster le niveau d’automatisation en fonction des besoins du projet, assurant ainsi le contrôle des coûts, des délais et de la précision.
• Intégration des données : Intègre les commentaires ouverts aux données d’enquête, offrant ainsi une vue à 360 degrés de l’expérience client.
• Collaboration multi-utilisateurs : Permet à plusieurs membres de l’équipe de coder des projets simultanément, afin d’obtenir des résultats plus rapidement.

CX Inspector : Analyse de texte avancée pour des informations plus approfondies

CX Inspector offre une plateforme robuste pour l’extraction et la visualisation de thèmes, de sentiments et de tendances émergentes à partir de réponses ouvertes. Ses principales caractéristiques sont les suivantes

• Extraction instantanée de thèmes : Identifie automatiquement des thèmes clairs et descriptifs à partir des réponses ouvertes.
• Analyse des sentiments : Détecte et visualise instantanément le sentiment des clients, ce qui permet aux entreprises de hiérarchiser les problèmes en fonction de l’impact émotionnel.
• Informations pratiques : Combine la détection des thèmes et l’analyse des sentiments pour fournir des informations claires et concrètes qui peuvent être facilement partagées via des tableaux de bord et des rapports.

Conclusion : Libérer le plein potentiel des questions ouvertes et de leur analyse

Chez Voxco, joindre nos forces à celles d’Ascribe fait partie de notre mission qui consiste à donner aux professionnels des études de marché les outils les plus puissants pour analyser les questions ouvertes. Comme l’explique Rick Kieser, Directeur de la stratégie chez Voxco :

« Ascribe a consacré 25 ans à écouter les commentaires de ses clients et à analyser les commentaires ouverts, en s’associant avec les meilleurs cabinets d’études de marché au monde et les entreprises leaders de l’industrie. En écoutant attentivement les besoins de ces pionniers et en évoluant continuellement, Ascribe a fourni des solutions de pointe qui façonnent le futur de l’analyse de texte. Le lancement de Theme Extractor 2.0 et Ask Ascribe représente l’apogée de cette expertise – un point culminant de décennies d’innovation, de connaissances durement acquises, et le traitement de plus de 6 milliards de commentaires de clients. Nous sommes ravis d’apporter ces solutions aux clients de Voxco et de continuer à repousser les limites de l’innovation dans le domaine de la recherche. »

Avec Ascribe Coder et CX Inspector, les professionnels des études de marché peuvent efficacement catégoriser et agir sur les commentaires ouverts, conduisant à des décisions plus éclairées et améliorant l’expérience client dans son ensemble.

Prêt à relever le défi ? Nous avons invité Annie Pettit, experte en matière de qualité des données et d’engagement des participants, à partager quelques-unes de ses idées les plus stimulantes sur les techniques de recherche. Il y a beaucoup de place pour le désaccord, alors dites-nous ce que vous en pensez !

Simplifier la recherche scientifique en catégories binaires distinctes présente des avantages tentants. Les catégorisations en noir et blanc sont pratiques et facilitent l’interprétation, la compréhension, l’apprentissage, la mémorisation et l’application des concepts. Je suis introverti, vous êtes extraverti. Ceci est une recherche qualitative, cela est une recherche quantitative.

Cependant, le fait de s’appuyer sur des binômes pose également des problèmes. Souvent, les binômes ne parviennent pas à saisir les réalités plus subtiles. Ils ignorent les nuances et les interconnexions complexes. Les distinctions binaires sont artificielles.

Dans ce billet, je vais mettre en lumière quelques-uns des binômes artificiels les plus courants que nous avons créés dans le secteur de la recherche et proposer des idées pour vous aider à acquérir une compréhension plus précise des comportements humains que nous cherchons à comprendre sur la voie de l’élaboration de stratégies sociales et marketing plus efficaces.

L’étude de marché quantitative est une étude de marché qualitative déguisée

Qu’il s’agisse d’études de marché, d’études universitaires ou d’études sociales, la plupart des professionnels en comportement humain ont une préférence et une expertise pour les outils de collecte de données quantitatives ou qualitatives. Nous avons tendance à préférer les groupes de discussion aux questionnaires, les entretiens individuels à ceux de l’oculométrie, l’ethnographie à la biométrie. Nous avons un outil bien développé et nous savons comment l’utiliser pour résoudre la plupart de nos problèmes d’étude de marché.

Cependant, l’expérience humaine est 100% qualitative, et les études de marché quantitatives sont en fait des études de marché qualitatives déguisées. Les professionnels des études de marché demandent aux participants de fournir des réponses dans des cases distinctes, sans se rendre compte qu’ils leur demandent de pré-coder des interprétations hautement subjectives d’expériences complexes en options de réponses imparfaitement opérationnalisées. Ces réponses précodées ne sont ni plus précises ni plus valables que les verbatims ouverts qui sont ensuite codés par le professionnel d’étude de marché. Que le participant les code ou que le professionnel les code, il s’agit dans les deux cas de représentations d’expériences personnelles qualitatives entassées dans une boîte.

Nous aimons distinguer l’étude de marché quantitative comme étant mesurable, structurée et contrôlée, alors que l’étude de marché qualitative est également très mesurable, structurée et contrôlée. Nous aimons dire que l’étude de marché qualitative est riche et approfondie alors que l’étude de marché quantitative peut l’être également. Lorsqu’elles sont bien menées, les études qualitatives et quantitatives permettent aux personnes de révéler leurs émotions et motivations sous-jacentes. La recherche quantitative offre parfois une échelle et une puissance statistique, mais le reste peut être assez similaire.

Que peuvent faire les utilisateurs et les professionnels de l’étude de marché ? Le plus important est de reconnaître qu’aucune méthode n’est plus valable, plus utile ou plus importante. Il est irrationnel de privilégier les résultats d’une méthode par rapport à l’autre. Deuxièmement, les professionnels et les utilisateurs de la recherche devraient avoir plus qu’un niveau de formation de base en études qualitatives et quantitatives. Il n’est jamais bon de maîtriser une méthode et d’ignorer l’autre. Cela ne fait que limiter la perspective du professionnel de l’étude de marché, sa capacité à résoudre les problèmes et la solidité de ses résultats.

L'échantillonnage probabiliste : Une forme plus rigoureuse d'échantillonnage non probabiliste

Lorsqu’il s’agit de choisir entre l’échantillonnage probabiliste et l’échantillonnage non probabiliste d’êtres humains, la réalité est que presque tous les échantillonnages sont des échantillonnages non probabilistes. Il existe très peu de cas où chaque membre de la population est connu et où chaque participant sélectionné au hasard donne son consentement. L’échantillonnage probabiliste existe plus loin dans le continuum de l’échantillonnage non probabiliste.

Par exemple, chaque élève inscrit dans une école peut être identifié, mais il est impossible de forcer un échantillon aléatoire de cette population à participer à une étude. De même, même avec les registres de naissance, de décès, de conduite et de vote, il est impossible d’avoir une liste parfaite de tous les citoyens d’une ville et de forcer ensuite un échantillon aléatoire de ces personnes à participer à une étude. Des personnes seront toujours accidentellement exclues et beaucoup de celles qui sont incluses ne consentiront pas à participer. Presque toutes les tentatives d’échantillonnage probabiliste avec des personnes sont en fait des exemples d’échantillonnage non probabiliste plus rigoureux.

Quoi qu’il en soit, l’échantillonnage probabiliste n’est pas intrinsèquement supérieur à l’échantillonnage non probabiliste. Des erreurs d’échantillonnage, d’analyse des données et d’interprétation se glissent dans les deux méthodes. Tous les participants se comportent sur un continuum d’honnêteté, d’attention et de soin.

Que peuvent faire les utilisateurs et les praticiens de la recherche ? En fin de compte, le meilleur échantillon est celui qui convient le mieux à la tâche. Les échantillons non probabilistes sont idéaux pour la recherche exploratoire, les études pilotes, les études de cas, les populations de niche, les tendances, les tests de produits et, bien sûr, les contraintes de temps et de budget. Si vous avez besoin d’une extrapolation statistique plus précise, par exemple pour les sondages politiques, l’évaluation des politiques, l’analyse de l’entrée sur le marché ou la prévision de la demande, les méthodes qui s’approchent de l’échantillonnage probabiliste sont préférables.

Tout extraverti est un introverti

Nous adorons classer les gens en tant qu’hommes ou femmes, introvertis ou extravertis, ou acheteurs en ligne ou non. Les résultats de nos recherches sont des collections massives de binaires artificiels créés par l’homme. Or, l’expérience humaine, même l’attribut physique le plus discret, existe sur un spectre continu.

Les regroupements binaires ont leur raison d’être et peuvent être extrêmement utiles, mais il est important de se rappeler que nous créons arbitrairement les points de coupure qui deviennent ces regroupements binaires. Nous choisissons ces points de découpage par commodité et non parce qu’ils sont « vrais ».

Quelle que soit la manière dont nous classons les gens en groupes de personnalité, démographiques, commerciaux, sociaux ou autres, ces regroupements sont artificiels et existent sur un spectre continu. Un groupe « d’introvertis » pourrait être subdivisé en introvertis et extravertis. Et ce sous-groupe d’introvertis pourrait à nouveau être subdivisé en introvertis et extravertis, et ainsi de suite. Le fait d’être classé parmi les acheteurs de produits haut de gamme ou de produits à bas prix dépend de la personne avec laquelle vous faites vos achats, de la catégorie de produits, de l’heure de la journée et du fait que vous ayez faim ou non. Le fait d’être classé comme rural ou urbain peut dépendre de caractéristiques politiques, nationales, locales et autres.

Que peuvent faire les utilisateurs et les professionnels de l’étude de marché? N’oubliez pas que les tableaux de données sont arbitraires et modifiables. Ils peuvent être remaniés une, deux ou trois fois après l’examen des données préliminaires. Concevez vos premiers tableaux avec deux fois plus de groupes que nécessaire, même si la taille des échantillons est trop petite. Une fois les tableaux en main, vous pouvez évaluer les résultats et décider du nombre de groupes nécessaires et si ces groupes doivent être de taille égale.

Conclusion

La plupart des valeurs binaires sont arbitraires. Ils sont définis et appliqués par l’homme et peuvent être recodés en d’innombrables groupes significatifs. Bien qu’elles soient essentielles pour simplifier les complexités de notre monde, chaque représentation binaire donne aux professionnels de l’étude de marché une nouvelle occasion de s’arrêter et de remettre en question d’autres catégorisations tout aussi valables qui pourraient exister. La remise en question des binaires est une technique importante pour les professionnels de l’étude de marché et du marketing qui souhaitent révéler et expliquer les véritables complexités des comportements et des préférences des consommateurs, afin d’améliorer la précision et la pertinence des informations marketing.

Nous serions ravis de vous aider à obtenir les informations dont vous avez besoin pour démêler les complexités de vos clients et de votre communauté.

Je viens de passer le cap des six mois chez Voxco et c’est un véritable tourbillon ! J’adore apprendre à connaître tous les membres de notre équipe, la façon dont ils aident nos clients à répondre à un vaste éventail de besoins et de défis, et le potentiel que nous avons ensemble.

Lorsque je rejoins une entreprise en tant que nouveau PDG, l’une des premières choses que j’aime faire après avoir pris contact avec mon équipe est de rencontrer nos clients, d’écouter les experts du secteur et d’entendre les points de vue d’un grand nombre de parties prenantes. Qu’est-ce qui est important pour eux ? Quels sont les défis auxquels ils sont confrontés ? Qu’est-ce qui leur donne envie d’aller travailler tous les jours ?

En discutant avec les participants à des salons professionnels tels que Quirks et AAPOR, j’ai immédiatement constaté que l’IA avait été adoptée comme une technologie d’étude de marché transformatrice qui justifiait un investissement important. Les gens s’engagent véritablement dans cette technologie. En voici un exemple :

• La grande majorité des exposants des salons professionnels ont adopté des approches axées sur l’IA. Les présentateurs adoptent eux aussi une approche axée sur l’IA, en partie parce que c’est ce que recherchent les comités de conférence.
• Que leurs services clés comprennent la qualité des données, l’échantillonnage, l’analyse, les rapports ou autres, la plupart des instituts d’études mènent activement des projets internes d’IA. Environ la moitié de ces projets sont purement expérimentaux, mais l’autre moitié de ceux- ci sont déjà orientées vers les clients et génèrent des revenus.

Montrer et discuter des applications de l’IA dans les études de marché n’est toutefois que du bruit. Nous devons comprendre le rôle et l’ampleur de l’impact des technologies de l’IA. Afin d’éviter les dommages à long terme, nous devons mesurer, comprendre et travailler de manière proactive à la prévention de l’utilisation abusive de l’IA. Cela peut se produire de différentes manières.

1. Mauvaise saisie des données : L’IA générative a de nombreux atouts, mais elle peut aussi entraîner des problèmes de qualité des données. Tout comme nous savons que de mauvaises méthodes de prélèvement et des échantillons de petite taille entraînent des taux d’erreur élevés et une généralisabilité minimale, il en va de même pour l’IA générative. Les hallucinations artificielles détruisent la validité, génèrent des idées erronées et conduisent à de mauvaises décisions commerciales. Les professionnels d’études de marché en IA doivent identifier et prévenir tous les types de pratiques non conformes en matière de données susceptibles d’induire en erreur les processus d’IA.
2. Utilisations inadaptées : L’IA est étonnante dans de nombreuses circonstances, il est donc facile de l’utiliser au lieu de se fier à son instinct et à ses années d’expérience. Parfois, les données utilisées ne comprennent pas les données de base nécessaires pour faire des conclusions exactes. Parfois, nous utilisons un outil d’IA généraliste plutôt qu’un outil d’IA spécifique à la recherche. Les professionnels d’étude de marché doivent tenir compte des forces et des faiblesses de tout outil d’IA qu’ils utilisent afin d’éviter les biais involontaires qui conduisent à des décisions erronées.
3. Absence de validation : Les professionnels d’étude de marché adorent les données, l’expérimentation et la validation. Cependant, l’IA est encore en développement et il existe peu de données de marché pour valider les nouvelles techniques. Nous ne savons pas encore si une approche qui a fonctionné pour un test publicitaire sera efficace pour toutes les catégories, tous les publics cibles, toutes les régions et tous les objectifs. Il est donc nécessaire de disposer d’une documentation complète et de bases de données solides.

Bien sûr, les outils d’IA ont déjà fait leurs preuves et sont d’une valeur inestimable. Des outils comme Ascribe (récemment acquis dans le cadre de la plateforme Voxco) ont déjà aidé le secteur de l‘étude de marché à résoudre un problème de longue date consistant à éviter de coder les réponses ouvertes simplement en raison de contraintes de temps et de coût. Étant donné que de nombreux questionnaires comportent au moins dix réponses ouvertes courtes et plusieurs réponses ouvertes longues, cela représentait une perte de temps décevante pour les répondants et une perte d’informations précieuses pour les marques. Il s’agit là d’un problème majeur résolu.

J’ai hâte de voir comment l’IA continue d’évoluer pour améliorer les opérations commerciales, les processus de recherche et l’expérience des clients. Avec une approche proactive de la qualité et de la validation, les possibilités sont infinies. J’aimerais beaucoup connaître vos expériences en matière d’IA, alors n’hésitez pas à vous connecter avec moi sur LinkedIn ou à parler à l’un de nos experts en enquêtes.

Qualitative data, especially open-ended responses, can provide deep insights into consumer behavior, preferences, emotions, and desires. However, extracting actionable insights from qualitative data is more difficult than briefly skimming through survey responses or counting frequency, instead, it requires quantitative analysis of the open-ended responses in your data set and then effective visualization of the results. 

The Power of Visualizations

Visualizations play a crucial role in transforming raw, unstructured data into meaningful insights to help drive business decisions. When it comes to open-ended responses, visualizing the data with infographics, charts, and other visual options helps with identifying patterns, trends, and sentiments that may not be immediately apparent from reading the text alone. 

Visual tools have the ability to take vast, complex amounts of qualitative data like consumer comments and transform it into easily digestible, visually appealing formats. By presenting data in this way, these tools enable you to quickly identify key themes and ideas that might otherwise be buried in lengthy text responses. This streamlined approach not only saves time but also enhances your ability to make informed, data-driven decisions with confidence, ensuring that critical insights from your respondents are not overlooked.

Understanding Your Open-End Data

Before creating your data visualizations, it’s essential to understand the nature of your open-end data. Open-ended responses often vary in length and complexity, ranging from short, single-word answers to detailed narratives. This variability makes it necessary to prepare your data carefully to ensure accurate and insightful visualizations.

Preparing Data for Visualization

Preparation is a critical first step in the data visualization process. This phase involves not only the collection of data but also a thorough review and organization of that data to ensure it’s ready for effective visualization.

Initially, it’s essential to gather all relevant data from your surveys, interviews, or other qualitative research sources. Once collected, the data needs to be carefully reviewed, which includes cleaning and organizing the responses. This might involve filtering out irrelevant, duplicate, or "spam" responses that could skew your results, ensuring that only accurate and meaningful data is included in your analysis.

Next, responses should be classified into themes, which is the process of categorizing similar pieces of information under unified topics or concepts. This helps to distill large amounts of qualitative data into more manageable and understandable segments. Additionally, tagging specific segments of responses that are particularly relevant to your analysis can help highlight key insights and trends that align with your research objectives.

It’s also important to consider the context of your data, especially in relation to the research questions your organization has posed. The framing of these questions can significantly influence the way responses are interpreted. By keeping these questions in mind, you can ensure that your visualizations will address the core issues you set out to explore.

Proper preparation lays the groundwork for creating visualizations that accurately reflect the underlying sentiments and themes within your data. This meticulous approach not only enhances the clarity and effectiveness of your visualizations but also provides a robust foundation for deeper data analysis, enabling you to draw more reliable and actionable insights from your quantitative and qualitative research questions.

CX Inspector: A Leading Data Visualization Tool

When it comes to visualizing open-end data results, CX Inspector stands out as a top tool for researchers and analysts. CX Inspector is designed to simplify the complex process of quantitative and qualitative data analysis. Offering advanced features like generative AI and theme extraction, combined with its intuitive interface and powerful analytical capabilities, CX Inspector allows you to import, analyze, and visualize the results with minimal effort, making it an indispensable tool for any research project with qualitative data like open end responses.

Theme and Sentiment Analysis for Qualitative Data Visualization

One of the most effective ways to visualize open-end data is through theme and sentiment analysis. These techniques help you identify the underlying patterns and emotions in your data, which can then be represented visually. Here are some popular methods:

Word Clouds

Word clouds are a simple yet powerful way to visualize the most common words or phrases in your open-end responses. They provide a quick overview of the key themes by displaying words in varying sizes based on their frequency. While word clouds are great for initial exploration, they may oversimplify the data, so it's important to use them in conjunction with more detailed analyses.

Thematic Clustering

Thematic clustering involves grouping similar responses into clusters based on shared themes. This method is particularly useful for identifying patterns and trends in large datasets. By visualizing these clusters, you can easily see which themes are most prominent and how they relate to one another.

Network Diagrams

Network diagrams are another advanced visualization technique that shows the connections between different themes or keywords in your data. These diagrams are especially useful for understanding the relationships and interdependencies between various concepts, providing a more nuanced view of your data.

Frequency Distribution Graphs

Frequency distribution graphs, such as bar charts or histograms, are ideal for visualizing the prevalence of specific themes or sentiments in your open-end data. These graphs provide a clear, quantitative representation of how often certain responses or themes occur, making it easier to compare and contrast different aspects of your data.

Best Practices for Creating Effective Visualizations

Creating effective visualizations requires more than just choosing the right tool or method. It also involves adhering to certain best practices to ensure your visualizations are clear, accurate, and actionable.

Choosing the Right Visualization Method

The first step in creating effective visualizations is selecting the appropriate method based on your research goals and the nature of your data. For example, use word clouds for a high-level overview, network diagrams for exploring relationships, and frequency graphs for detailed quantitative analysis.

Ensuring Clarity and Accuracy in Qualitative Research

Clarity and accuracy are paramount in qualitative research. Ensure that your visualizations accurately represent the data by avoiding common pitfalls like overgeneralization or misinterpretation. Always double-check your data preparation and coding processes to maintain the integrity of your insights.

Making Visualizations Actionable

Finally, your visualizations should be actionable. This means they should not only provide insights but also guide decision-making. Consider how your audience will use the research findings presented and tailor your visualizations to highlight the most critical findings.

Begin Visualizing Qualitative Data with CX Inspector

Ready to transform your open-end data into powerful visualizations? CX Inspector makes it easy to analyze, visualize, and extract meaningful insights from your surveys with qualitative data. Whether you're looking to create word clouds, thematic clusters, or frequency graphs, CX Inspector provides the tools and support you need to succeed.

Don’t let valuable insights remain hidden in your data. Start visualizing with CX Inspector today and unlock the full potential of your open-end responses.

Introduction

Les sondages, pierre angulaire de l’étude de marché politique et sociale, ne se limitent pas à poser quelques questions et à compiler les résultats. Il s’agit d’un processus complexe, façonné par de nombreuses variables qui peuvent avoir un impact sur la précision et la fiabilité des données. Au cœur de cette complexité se trouve le défi de comprendre les intentions des électeurs dans l’environnement changeant du comportement humain et des influences externes.

Pour faire la lumière sur ces défis, nous nous sommes récemment entretenus avec le Dr Don Levy, directeur du Siena College Research Institute et personnalité respectée du monde des sondages, qui possède une vaste expérience dans ce domaine. Dr Levy a partagé avec nous des informations précieuses sur le monde des sondages, offrant un aperçu détaillé des pratiques et des facteurs qui influencent les intentions des électeurs. Ses connaissances approfondies, tirées de notre discussion avec lui, ainsi que de ses podcasts avec l’AAPOR et WXXI News, permettent de mieux comprendre les méthodologies qui sous-tendent les sondages efficaces.

Dans ce blog, nous allons explorer les idées du Dr Levy sur les défis que représentent la compréhension du comportement des électeurs, la garantie de réponses exactes et l’obtention d’une représentation complète.

Comprendre le comportement des électeurs

A. Le défi de cerner les intentions des électeurs

Prédire le comportement des électeurs est un défi complexe qui va au-delà du simple comptage des préférences. Les intentions des électeurs sont influencées par de nombreux facteurs, notamment:

1. Les croyances personnelles: Les facteurs personnels tels que les valeurs individuelles, les expériences et les priorités peuvent influencer les décisions des électeurs de manière significative.
2. La dynamique sociale: Les influences sociales, y compris les opinions des pairs et les normes communautaires, influencent aussi généralement les décisions des électeurs.
3. Contexte politique: Le climat politique, marqué par des changements dans les politiques, les profils des candidats et les stratégies de campagne, complique encore la tâche de prédire comment les électeurs voteront.

Ces éléments sont non seulement divers, mais ils interagissent également de manière imprévisible, ce qui rend la prévision des résultats électoraux à la fois difficile et complexe.

B. Le rôle de la « probabilité de voter » dans les modèles de sondage

Pour faire face à ces complexités, les sondeurs s’appuient souvent sur la probabilité que les électeurs participent à l’élection en tant que variable critique. Cette approche consiste à évaluer non seulement les électeurs qui ont l’intention de voter, mais aussi la probabilité qu’ils donnent suite à leurs intentions. Les électeurs assidus, c’est-à-dire ceux qui participent régulièrement aux élections, se voient accorder plus de poids dans les calculs des modèles de sondage, ce qui témoigne de leur plus grande fiabilité à influencer les résultats des élections.

En revanche, les électeurs intermittents ou moins engagés sont pondérés dans les modèles. Cette différenciation permet d’ajuster les données afin de mieux représenter la population des électeurs probables, offrant ainsi un aperçu plus précis des résultats potentiels des élections. En se concentrant sur ces variables, les sondeurs cherchent à affiner leurs prédictions et à améliorer la précision de leurs résultats.

C. Réflexions de Dr Don Levy

Selon le Dr Levy, la compréhension et l’application adéquate de la probabilité de voter sont essentielles pour gérer les incertitudes inhérentes aux sondages. Le Dr Levy souligne qu’en évaluant soigneusement les électeurs constants et en ajustant ceux qui sont moins susceptibles de voter, les sondeurs peuvent plus efficacement capturer les véritables intentions de l’électorat.

« Nous utilisons la probabilité de vote d’un électeur comme variable de pondération. Par exemple, si une personne a voté à toutes les élections et qu’elle nous dit qu’elle votera absolument, on peut considérer qu’elle a une probabilité proche de 100 %. En revanche, pour les électeurs intermittents, s’ils se montrent moins attentifs à l’élection au cours de notre conversation, nous pondérons leur réponse.

L’évaluation de la fiabilité de leur probabilité est cruciale. Après l’élection, nous effectuons un suivi pour vérifier si ceux que nous avons classés comme ayant une forte probabilité de voter l’ont effectivement fait, évaluant ainsi notre précision prédictive au fil du temps ».

L’expertise de Dr Levy souligne l’importance de ces méthodologies pour affiner les pratiques de sondage et améliorer la fiabilité des prévisions électorales. Son point de vue souligne la nécessité d’adapter et de préciser en permanence les techniques de sondage afin de tenir compte de l’évolution du comportement des électeurs.

Traiter la question de l'honnêteté et des non-réponses

Garantir que les personnes interrogées fournissent des réponses véridiques est un défi fondamental dans le domaine des sondages. L’exactitude des données dépend fortement de l’honnêteté des participants, cependant plusieurs facteurs peuvent compromettre cette intégrité. Les personnes interrogées peuvent être influencées par un biais de désirabilité sociale, c’est-à-dire qu’elles donnent des réponses qu’elles croient plus acceptables ou plus favorables plutôt que leurs véritables opinions. En outre, la brièveté des entretiens peut parfois conduire à des réponses moins réfléchies ou plus réservées, ce qui complique encore l’exactitude des données collectées.

Parmi les scénarios typiques où l’honnêteté peut être compromise, on peut citer les sujets sensibles ou les questions susceptibles de provoquer de fortes réactions émotionnelles. Dans ce cas, les personnes interrogées peuvent être réticentes à partager leurs véritables sentiments, ce qui fausse les résultats.

B. Le problème des non-réponses

Les non-réponses, en particulier celles des ardents défenseurs d’un candidat ou d’une cause spécifique, constituent un autre défi de taille. Ces personnes peuvent s’abstenir de participer en raison de leur méfiance à l’égard des médias ou des instituts de sondage, ou parce qu’elles pensent que leurs réponses ne seront pas prises au sérieux. Cette réticence peut créer une lacune dans les données, laissant certains groupes sous-représentés.

La méfiance à l’égard des médias et des instituts de sondage aggrave ce problème, entraînant des taux de réponse plus faibles de la part de certains groupes démographiques. Cette situation est problématique car elle peut fausser la représentation globale des intentions et des opinions des électeurs, ce qui a un impact sur la fiabilité des résultats des sondages.

C. Les techniques pour une représentation précise

Pour relever ces défis, les sondeurs emploient diverses techniques afin de garantir une représentation exacte.

• Exploration des attitudes: Les sondeurs évaluent les attitudes des personnes interrogées à l’égard des questions sociales et sur les médias afin d’identifier et d’éliminer les préjugés potentiels. Cette approche permet d’anticiper et d’ajuster les non-réponses et la malhonnêteté.
• Appliquer des pondérations: Les ajustements statistiques sont utilisés pour corriger les déséquilibres dans les données. En appliquant des pondérations, les sondeurs améliorent la précision de la représentation des groupes qui ne répondent pas et la fiabilité générale des données.

D. Réflexions du Dr Don Levy

Le Dr Levy aborde la question des non-réponses et de la malhonnêteté par une approche à multiples facettes. Il souligne l’importance de comprendre le point de vue des répondants et de procéder à des ajustements pour tenir compte des biais et des données manquantes. Son approche associe une analyse rigoureuse des données, la transparence et des efforts continus pour s’engager auprès de divers groupes de répondants.

« Lors d’entretiens d’une durée de 7 à 12 minutes, les participants ont généralement tendance à dire la vérité. Cependant, notre principal défi concerne les non-réponses. Pour y remédier, nous posons des questions sur diverses attitudes, y compris leur point de vue sur les médias et les questions sociales actuelles. Parfois, nous appliquons des pondérations basées sur ces attitudes afin de mieux représenter le groupe des non-répondants.

Contrairement à certains qui se concentrent uniquement sur des régions spécifiques, comme l’ouest de la Pennsylvanie, nous adoptons une approche plus détaillée, reconnaissant la diversité au sein des régions, en faisant par exemple la distinction entre Pittsburgh et le reste de l’ouest de la Pennsylvanie. Cette approche nécessite un travail supplémentaire, en incitant le personnel de notre centre d’appel à rechercher des échantillons représentatifs, même parmi les groupes démographiques les moins susceptibles de répondre ».

L’expertise de Dr Levy souligne la nécessité d’affiner les méthodes de sondage afin de surmonter ces obstacles et de produire des résultats plus fiables et plus représentatifs. Son approche met en évidence l’engagement continu à améliorer les pratiques de sondage et à traiter les complexités du comportement de l’électeur et de la précision des réponses.

Assurer une représentation complète

A. La nécessité d'échantillons représentatifs

Il est essentiel pour les instituts de sondage de disposer d’un échantillon qui reflète fidèlement l’ensemble de la population. Les échantillons représentatifs garantissent que les données collectées reflètent la diversité et la complexité de l’ensemble de l’électorat. Cette représentation est essentielle pour obtenir des informations précises sur les intentions et les comportements des électeurs.

L’un des principaux défis à relever pour obtenir des échantillons représentatifs est de composer avec des régions à la démographie variée. Dans ces régions, capturer l’ensemble des opinions nécessite une attention particulière et une compréhension nuancée des différents sous-groupes. Si l’on ne tient pas compte de ces complexités démographiques, les résultats des sondages risquent d’être faussés et de conduire à des conclusions trompeuses.

B. Approche approfondie de l'échantillonnage

Pour surmonter ces difficultés, les instituts de sondage adoptent une approche détaillée de l’échantillonnage. Au lieu de s’appuyer uniquement sur de vastes zones géographiques, les sondeurs se concentrent sur la compréhension et la prise en compte des nuances régionales. Cela implique de segmenter les régions en zones plus petites et plus spécifiques afin de saisir avec précision la diversité qui les caractérise.

Une approche d’échantillonnage géographique large peut fournir une vue d’ensemble, mais manque de la finesse nécessaire pour comprendre les variations locales. En revanche, une stratégie d’échantillonnage détaillée et nuancée consiste à diviser les régions en unités plus petites et à appliquer des méthodologies ciblées pour s’assurer que tous les groupes démographiques sont représentés. Cette approche méticuleuse permet d’obtenir une image plus précise et plus complète des intentions des électeurs.

C. Réflexions du Dr Don Levy

Le Dr Levy souligne l’importance d’un échantillonnage détaillé pour améliorer la précision des sondages. Selon lui, la compréhension et la prise en compte des nuances régionales ont un impact significatif sur la fiabilité des résultats des enquêtes. Il préconise une approche détaillée de l’échantillonnage qui va au-delà des classifications géographiques générales pour saisir les complexités des diverses populations.

« Un recensement rigoureux, un échantillonnage stratifié, une recherche agressive pour conserver les décrochages – voilà toutes les mesures que nous prenons pour nous protéger contre la menace de résultats de sondages inexacts ».

Le Dr Levy souligne l’importance d’employer des techniques d’échantillonnage perfectionnées pour garantir que les données des sondages sont représentatives et reflètent la composition réelle de l’électorat. En se concentrant sur des méthodes d’échantillonnage minutieuses, les sondeurs peuvent améliorer la précision de leurs résultats et fournir des informations plus significatives sur le comportement des électeurs.

Conclusion

Il est essentiel de comprendre les particularités des sondages pour comprendre comment les intentions des électeurs sont mesurées et interprétées. Nous avons exploré les défis liés à la prédiction du comportement des électeurs, l’importance de l’honnêteté et de la gestion des non-réponses, ainsi que la nécessité de disposer d’échantillons complets et représentatifs.

Les sondeurs sont confrontés à un paysage complexe, mais grâce à des méthodes telles que la pondération de la probabilité de voter et des approches d’échantillonnage détaillées, ils s’efforcent de fournir des informations précises. Le point de vue de Dr Levy met en lumière les efforts déployés pour améliorer la précision des sondages et le rôle important qu’ils jouent dans l’information de la démocratie.

Alors que nous nous tournons vers l’avenir, l’optimisme de Dr Levy quant à l’évolution continue des sondages et à leur impact sur notre compréhension du sentiment public renforce la valeur des processus en coulisses dans l’élaboration du discours démocratique.

Institut de recherche du Siena College : Une force de premier plan dans le domaine des sondages d’opinion

Fondé en 1980 au Siena College, dans le Capital District de New York, le Siena College Research Institute (SCRI) mène un large éventail d’enquêtes régionales, nationales et d’État sur des questions politiques, économiques et sociales. Sous la direction de Dr Levy, le SCRI est devenu l’institut de sondage exclusif du New York Times. Le SCRI est un partenaire de confiance du New York Times, jouant un rôle essentiel dans l’élaboration des principaux sondages préélectoraux et des enquêtes sur des questions clés. Les résultats de SCRI sont régulièrement présentés dans des publications prestigieuses telles que le Wall Street Journal et le New York Times, et SCRI a été reconnu comme l’institut de sondage le plus précis d’Amérique par FiveThirtyEight.com. En tant que client privilégié de Voxco, le SCRI utilise la plateforme de Voxco pour alimenter ces efforts critiques, garantissant des informations précises et basées sur des données qui façonnent le discours public.

Prêt pour une nouvelle approche sur l’engagement des participants ? C’est ce que nous pensons ! C’est pourquoi nous avons invité Annie Pettit, experte du secteur en matière de qualité des données et d’engagement des participants, à nous faire part de ses réflexions. Que vous soyez à la recherche de conseils pratiques ou d’idées stimulantes, ce billet vous fera réfléchir. Bonne lecture !

Créer une expérience attrayante pour les clients est si important que presque tous les groupes de vente au détail ont élaboré des lignes directrices détaillées sur la façon de le faire. Parmi des milliers d’autres guides, manuels et recueils, l’AMA propose un Customer Engagement Playbook et Workbook, Hubspot son « Ultimate Guide to Customer Engagement in 2024 » et Forbes son « Customer Engagement in 2024 : The Ultimate Guide ».

Les détaillants, les spécialistes du marketing et les parties prenantes consacrent beaucoup d’efforts à la création d’expériences attrayantes pour leurs consommateurs, leurs clients et leurs employés, et ce pour de bonnes raisons. Selon Gallup, l’augmentation de l’engagement des clients peut entraîner une hausse de 10 % des bénéfices, de 66 % des ventes et de 25 % de la fidélité des clients.

Parce qu’elles consacrent beaucoup de temps à la recherche, les études de marché ont une connaissance approfondie de ce qu’est réellement une expérience client exceptionnelle et de l’importance qu’elle représente. Ils savent également que la participation à des études sociales et marketing peut être une expérience extrêmement intéressante et satisfaisante sur le plan personnel.

Pourquoi, alors, l’expérience d’étude de marché semble-t-elle être un échange si transactionnel ? Les professionnels des études rédigent des enquêtes. Les participants donnent des réponses. L’expérience des participants diminue. Les taux de réponse diminuent. Et ainsi de suite.

Il est temps pour les responsables de l’étude de marché et du marketing d’appliquer ce qu’ils ont appris sur l’expérience client à l’expérience de l’enquête. Examinons quelques moyens de créer des expériences d’enquête intensément engageantes pour les participants, qui profiteront en fin de compte aux parties prenantes et augmenteront le retour sur investissement de l’enquête.

Des incitants intéressants et des questions ludiques sont des éléments essentiels

Lorsque nous pensons à créer une expérience de recherche engageante, la plupart d’entre nous se tournent vers la création d’une expérience plus amusante et divertissante. Outre la création de questions de meilleure qualité, nous y parvenons en :

• Offrant des récompenses telles que de l’argent, des points de fidélité et des prix alléchants. Les participants aux études sont des êtres humains, après tout, et quelque chose vaut souvent mieux que rien pour convaincre quelqu’un de « cliquer pour commencer » une enquête. C’est un pas en avant pour les taux de réussite et la représentation.  

• Incorporer des types de questions ludiques qui contribuent à maintenir la motivation des personnes. Par exemple, plutôt que de demander aux gens ce qu’ils préfèrent dans dix compagnies d’assurance différentes, on peut leur demander quel est le super pouvoir de chaque compagnie. Ou encore, quel est l’animal, le personnage de bande dessinée ou la célébrité qui reflète le mieux chaque compagnie.

Toutefois, les incitants et les questions ludiques sont des éléments essentiels. Les participants les recherchent et s’attendent à les trouver dans toutes les études. Si vos études n’intègrent pas déjà ces caractéristiques, il est temps d’exiger mieux.

Passez à l'étape suivante pour susciter la curiosité et encourager le développement personnel

Les expériences intrinsèquement engageantes sont peut-être plus importantes encore. De nombreuses personnes aiment participer à l’expérience de la recherche parce qu’elles apprécient d’être entendues et d’être informées sur les nouveaux produits et services. Il existe cependant des opportunités de développement personnel bien plus importantes. En voici un exemple :

• Les questionnaires qui intègrent des énoncés de personnalité, de description ou de préférence peuvent encourager l’auto-réflexion et mettre en évidence de nouveaux domaines de croissance et de développement personnel.  

• Les études sur la santé, la forme physique, l’alimentation, les boissons, les finances et l’environnement peuvent amener les gens à réfléchir à leurs comportements personnels et à se demander s’ils souhaitent modifier certains aspects de leur mode de vie.  

• De nombreuses études sont simplement un bon moyen de stimuler la réflexion, d’améliorer la concentration et de découvrir de nouvelles façons de penser, en particulier pour les personnes qui ont moins d’occasions de le faire dans leur vie quotidienne.

Revenons un instant sur l’expérience client. Lorsque les spécialistes du marketing présentent de nouveaux produits ou services aux clients, ils en expliquent clairement les avantages. Les gens s’attendent à découvrir ce qu’il y a de nouveau, d’amusant ou d’intrigant dans un produit qu’ils envisagent d’acheter.

L’expérience d’étude de marché ne devrait pas être différente. Les professionnels des études doivent aider les participants à comprendre les avantages qu’ils tireront de leur participation. Voici quelques moyens d’y parvenir, parmi tant d’autres.

• Au début d’un questionnaire, invitez les gens à considérer leur participation comme un petit voyage à la découverte de soi. Invitez-les à exploiter au maximum leur curiosité et à essayer de nouvelles façons de penser.  

• À la fin de l’étude, ajoutez une question invitant les participants à partager avec les autres ce qu’ils ont appris sur eux-mêmes grâce à leur participation. La plupart des participants sont curieux de connaître les résultats des études de marché auxquels ils participent et, avec leur consentement, cette question est parfaite pour partager avec les autres ce qu’ils ont appris sur eux-mêmes.  

• À la fin d’un questionnaire, proposez aux participants de partager des liens vers des sites Internet tiers dignes de confiance afin qu’ils puissent en savoir plus sur le sujet. Si quelqu’un sélectionne la case « Oui, veuillez partager », proposez des liens vers des cours universitaires gratuits ou des sites web neutres et fiables contenant des informations sur les finances, l’environnement, les soins de santé ou le développement de l’enfant.

N’oubliez pas que ces avantages doivent toujours être offerts avec le consentement des participants.

Aider les gens à être le changement qu'ils désirent voir

C’est drôle de plaisanter sur les algorithmes en ligne qui nous présentent pendant des semaines des publicités pour des aspirateurs alors que nous venons d’en acheter un qui devrait durer vingt ans. En revanche, dans le domaine de l’étude de marché, c’est une autre histoire.

Après avoir acheté cet aspirateur (ou ce savon ou cette bière), nous voulons en parler pendant des semaines. Nous voulons nous assurer que d’autres personnes bénéficient de notre expérience. Nous voulons partager nos opinions, offrir des conseils et contribuer à l’élaboration de nouvelles innovations. Il est agréable d’aider d’autres personnes à prendre des décisions qui leur conviennent.

En participant à des études de marché, les gens ne se contentent pas d’aider les autres à acheter un meilleur aspirateur. Le partage d’expériences avec de nouveaux produits et services aide les marques à concevoir des produits qui permettent aux gens de manger plus sainement, de s’amuser davantage, de devenir plus autonomes, d’accéder à des services sociaux essentiels et d’améliorer la vie elle-même. La recherche améliore la vie et peut même sauver des vies.

Comme auparavant, nous ne pouvons pas simplement supposer que les gens connaissent les avantages de la participation à la recherche. Tout comme les spécialistes du marketing disent aux gens que cet aspirateur a la meilleure puissance d’aspiration, les chercheurs devraient dire aux gens comment la recherche aide la communauté au sens large. Comment agir ?

• Au début d’une étude, rappelez aux gens les avantages qui en découleront. Vous connaissez déjà les objectifs de l’entreprise et les objectifs de l’étude de marché. Il vous suffit de les traduire en langage accessible aux consommateurs. Dites-leur que leur participation aidera de nombreuses personnes à l’avenir en créant des produits et des services plus avantageux.
• À la fin d’une étude, proposez des résultats plus spécifiques. Expliquez que leurs contributions aideront les personnes souffrant de problèmes de peau à trouver des produits cosmétiques moins irritants. Ou encore, que tout le monde mérite un peu de joie dans sa vie, même si cela signifie qu’il faut déterminer la prochaine saveur de chips qu’on va préparer. Dites aux gens que leurs contributions leur permettent de rester en bonne santé, de prendre des repas en famille ou de disposer de plus de temps libre.

Naturellement, il est important de ne pas compromettre les objectifs de la recherche et de veiller à ce que les détails soient laissés à la fin de la campagne.

Sommaire

Il est si facile de sortir un modèle d’enquête, de changer les noms de marque, d’ajouter quelques nouvelles questions et de le lancer. Nous avons des dizaines d’années d’expérience dans ce domaine. Cependant, il est temps de dire non aux modèles sur lesquels nous nous appuyons depuis des années et d’en créer un nouveau, et meilleur. Un modèle qui donne la priorité à l’expérience de l’enquête, tout comme les spécialistes du marketing, les entreprises et les organisations ont donné la priorité à l’expérience des clients et des employés.

Avec une enquête plus attrayante et plus satisfaisante sur le plan personnel, les participants à l’étude auront beaucoup plus de facilité à s’engager réellement dans le contenu, à réfléchir profondément à leurs réponses et à fournir des données plus riches et plus précises. En fin de compte, investir dans l’expérience de l’enquête se traduit par des informations de meilleure qualité, des décisions plus éclairées et des clients plus heureux.

Si vous tenez à avoir des clients satisfaits, n’hésitez pas à contacter nos experts en enquêtes. Ils seront ravis de vous aider à collecter des données plus valides et plus fiables. Parlez à un expert en enquêtes.

Linguistic Analysis Explained

Editor’s note: This post was originally published on Ascribe and has been updated to reflect the latest data

Figuring out what humans are saying in written language is a difficult task.  There is a huge amount of literature, and many great software attempts to achieve this goal.  The bottom line is that we are a long way off from having computers truly understand real-world human language.  Still, computers can do a pretty good job at what we are after. Gathering concepts and sentiment from text.

The term linguistic analysis covers a lot of territory.  Branches of linguistic analysis correspond to phenomena found in human linguistic systems, such as discourse analysis, syntax, semantics, stylistics, semiotics, morphology, phonetics, phonology, and pragmatics. We will use it in the narrow sense of a computer’s attempt to extract meaning from text – or computational linguistics.

Linguistic analysis is the theory behind what the computer is doing.  We say that the computer is performing Natural Language Processing (NLP) when it is doing an analysis based on the theory.  Linguistic analysis is the basis for Text Analytics.

There are steps in linguistic analysis that are used in nearly all attempts for computers to understand text.  It’s good to know some of these terms.

Here are some common steps, often performed in this order:

1. Sentence detection

Here, the computer tries to find the sentences in the text. Many linguistic analysis tools confine themselves to an analysis of one sentence at a time, independent of the other sentences in the text.  This makes the problem more tractable for the computer but introduces problems.

“John was my service technician.  He did a super job.“

Considering the second sentence on its own, the computer may determine that there is a strong, positive sentiment around the job.  But if the computer considers only one sentence and individual word at a time, it will not figure out that it was John who did the super job.

2. Tokenization

Here the computer breaks the sentence into words. Again, there are many ways to do this, each with its strengths and weaknesses.  The quality of the text matters a lot here.

“I really gotmad when the tech told me *your tires are flat*heck I knew that."

Lots of problems arise here for the computer. Humans see “gotmad" and know instantly that there should have been a space. Computers are not very good at this.  Simple tokenizers simply take successive “word" characters and throw away everything else.  Here that would do an OK job with flat*heck → flat heck, but it would remove the information that your tires are flat is a quote and not really part of the surrounding sentence.  When the quality of text, syntax, or sentence structure is poor, the computer can get very confused.

This can also pose a problem when new words are introduced, or there are multiple meanings of words in one response or group of responses.

3. Lemmatization and cleaning

Most languages allow for multiple forms of the same word, particularly with verbs. The lemma is the base form of a word. So, in English, was, is, are, and were are all forms of the verb to be. The lemma for all these words is be.

There is a related technique called stemming, which tries to find the base part of a word, for example, ponies → poni.  Lemmatization normally uses lookup tables, whereas stemming normally uses some algorithm to do things like discard possessives and plurals.  Lemmatization is usually preferred over stemming.

Some linguistic analysis attempt to “clean up" the tokens.  The computer might try to correct common misspellings or convert emoticons to their corresponding words.

4. Part of speech tagging

Once we have the tokens (words) we can try to figure out the part of speech for each of them, such as noun, verb, or adjective. Simple lookup tables let the computer get a start at this, but it is really a much more difficult job than that.  Many words in the English language can be both nouns and verbs (and other parts of speech).  To get this right, the words cannot simply be considered one at a time.  The use of language can vary, and mistakes in part of speech tagging often lead to embarrassing mistakes by the computer.

Common Linguistic Analysis Techniques Explained

Most linguistic analysis tools perform the above steps before tackling the job of figuring out what the tokenized sentences mean.  At this point, the various approaches to linguistic analysis diverge.  We will describe in brief the three most common techniques.

Approach #1: Sentence parsing

Noam Chomsky is a key figure in linguistic theory.  He conceived the idea of “universal grammar", a way of constructing speech that is somehow understood by all humans and used in all cultures.  This leads to the idea that if you can figure out the rules, a computer could do it, and thereby can understand human speech and text.  The sentence parsing approach to linguistic analysis has its roots in this idea.

A parser takes a sentence and turns it into something akin to the sentence diagrams you probably did in elementary school:

At the bottom, we have the tokens, and above them classifications that group the tokens.  V = verb, PP = prepositional phrase, S = sentence, and so on.

Once the sentence is parsed the computer can do things like give us all the noun phrases.  Sentence parsing does a good job of finding concepts in this way.  But parsers expect well-formed sentences to work on.  They do a poor job when the quality of the text is low.  They are also poor at sentiment analysis.

Bitext is an example of a commercial tool that uses sentence parsing.  More low-level tools include Apache OpenNLP, Stanford CoreNLP, and GATE.

Approach #2: Rules-Based Analysis

Rules-based linguistic analysis takes a more pragmatic approach.  In a rule-based approach, the focus is simply on getting the desired results without attempting to really understand the semantics of the human language.  Rules-based analysis always focuses on a single objective, say concept extraction.  We write a set of rules that perform concept extraction and nothing else.  Contrast this with a parsing approach, where the parsed sentence may yield concepts (nouns and noun phrases) or entities (proper nouns) equally well.

Rules-based linguistic analysis usually has an accompanying computer language used to write the rules.  This may be augmented with the ability to use a general-purpose programming language for certain parts of the analysis.  The GATE platform provides the ability to use custom rules using a tool it calls ANNIE, along with the Java programming language.

Rules-based analysis also uses lists of words called gazetteers.  These are lists of nouns, verbs, pronouns, and so on.  A gazetteer also provides something akin to lemmatization.  Hence the verbs gazetteer may group all forms of the verb to be under the verb be.  But the gazetteer can take a more direct approach.  For sentiment analysis the gazetteer may have an entry for awful, with sub-entries horrible, terrible, nasty.  Therefore, the gazetteer can do both lemmatization and synonym grouping.

The text analytics engines offered by SAP are rules-based.  They make use of a rule language called CGUL (Custom Grouper User Language).  Working with CGUL can be very challenging.

Here is an example of what a rule in the CGUL language looks like:

#subgroup VerbClause: {

 (

   [CC]

   ( %(Nouns)*%(NonBeVerbs)+)

   |([OD VB]%(NonBeVerbs)+|%(BeVerbs) [/OD])

   |([OD VB]%(BeVerbs)+|%(NonBeVerbs)+ [/OD])

   [/CC]

 )

 | ( [OD VB]%(NonBeVerbs)[/OD]   )

}

At its heart, CGUL uses regular expressions and gazetteers to form increasingly complex groupings of words.  The final output of the rules is the finished groups, for example, concepts.

Many rules-based tools expect the user to become fluent in the rule language.  Giving the user access to the rule language empowers the user to create highly customized analyses, at the expense of training and rule authoring.

Approach #3: Deep learning and neural networks

The third approach we will discuss is machine learning.  The basic idea of machine learning is to give the computer a bunch of examples of what you want it to do, and let it figure out the rules for how to do it.  This basic idea has been around for a long time and has gone through several evolutions.  The current hot topic is neural networks.  This approach to natural language machine learning is based loosely on the way our brains work.  IBM has been giving this a lot of publicity with its Watson technology.  You will recall that Watson beat the best human players of the game of Jeopardy.  We can get insight into machine learning techniques from this example.

The idea of deep learning is to build neural networks in layers, each working on progressively broader sections of the problem.  Deep learning is another buzzword that is often applied outside of the area intended by linguistic researchers.

We won’t try to dig into the details of these techniques, but instead, focus on the fundamental requirement they have.  To work, machine learning and artificial intelligence need examples.  Lots of examples.  One area in which machine learning has excelled is image recognition.  You may have used a camera that can find the faces in the picture you are taking.  It’s not hard to see how machine learning could do this.  Give the computer many thousands of pictures and tell it where the faces are.  It can then figure out the rules to find faces.  This works really well.

Back to Watson.  It did a great job at Jeopardy.  Can you see why?  The game is set up perfectly for machine learning.  First, the computer is given an answer.  The computer’s job is to give back the correct question (in Jeopardy you are given the answer and must respond with the correct question).  Since Jeopardy has been played for many years, the computer has just what it needs to work with: a ton of examples, all set up just the way needed by the computer.

Now, what if we want to use deep learning to perform sentiment and language analysis?  Where are we going to get the examples?  It’s not so easy.  People have tried to build data sets to help machines learn things like sentiment, but the results to date have been disappointing.  The Stanford CoreNLP project has a sentiment analysis tool that uses machine learning, but it is not well regarded.  Machine learning today can deliver great results for concept extraction, but less impressive results for sentiment analysis.

BERT

Recent advances in machine learning language models have added exciting new tools for text analysis.  At the forefront of these is BERT, which can be used to determine whether two phrases have similar meanings.

BERT stands for Bidirectional Encoder Representations from Transformers.  This technique has been used to create language models from several very large data sets, including the text from all of Wikipedia.  To train a BERT model a percentage of the words in the training data set are masked, and BERT is trained to predict the masked words from the surrounding text.  Once the BERT model has been trained we can present two phrases to it and ask how similar in meaning they are.  Given the phrases, BERT gives us a decimal number between 0 and 1, where 0 means very dissimilar and 1 means very similar.

Given the phrase “I love cats", BERT will tell us the phrase “felines make great pets" is similar, but “it is raining today" is very dissimilar.  This is very useful when the computer is trying to tell us the main themes in a body of text.  We can use tools such as sentence parsing to partition the text into phrases, determine the similarity between phrases using BERT, and then construct clusters of phrases with similar meanings.  The largest clusters give us hints as to what the main themes are in the text.  Word frequencies in the clusters and the parse trees for the phrases in the clusters allow us to extract meaningful names for each cluster.  We can then categorize the sentences in the text by tagging them with the names of the clusters to which they belong.

Summary

Linguistic analysis is a complex and rapidly developing science.  Several approaches to linguistic analysis have been developed, each with its own strengths and weaknesses.  To obtain the best results you should choose the approach that gives superior performance for the type of analysis you need.  For example, you may choose a machine learning approach to identify topics, a rules-based approach for sentiment analysis, and a sentence parsing approach to identify parts of speech and their interrelationships.

If you’re not sure where to start on your linguistic and semantic analysis endeavors, the Ascribe team is here to help. With CXI, you can analyze open-ended responses quickly with the visualization tool – helping to uncover key topics, sentiments, and insights to assist you in making more informed business decisions. By utilizing textual comments to analyze customer experience measurement, CXI brings unparalleled sentiment analysis to your customer experience feedback database.

By Rick Kieser, Ascribe CEO

The customer satisfaction survey has become an epidemic. Whether you are buying a product, eating at a restaurant, or enjoying some other experience, it won't be long before you receive an email asking you to complete a survey about the experience. As sociologist Anne Karpf writes in The Guardian, "So many organizations now want our feedback that if we acceded to them all, it would turn into a full-time job – unpaid, of course. … The result is that I'm suffering from feedback fatigue and have decided to go on a feedback strike." She is certainly not the only consumer who feels this way!

Quality of Feedback: A Tale of Two Surveys

With consumers having such negative perceptions and experiences with customer satisfaction surveys, you have to wonder about the quality of the feedback going back to the business. I recently took my family to Disneyland. As usual for Disney, most of the experience was stellar. After our visit, I had two ideas I wanted to share. 1) The staff was outstanding, knowledgeable, and helpful, and 2) They should not upcharge Genie+ customers for lightning lanes on select rides. As I expected, less than 24 hours after leaving, I received the usual invitation to give my feedback about our experience at Disneyland. Given my profession, I was looking forward to this! I clicked on the link and started the survey.

Ten minutes later, I had completed less than 20% of the questionnaire, it was a compilation of closed and open end questions with no end in sight. I was done. I aborted the survey. Even worse, in my ten minutes invested, I did not find an opportunity to provide the two pieces of feedback I wanted to share!

Now, compare that to the survey sent by a hotel I visited. It was only two questions long. The first question asked me to rate my experience on a 10-point scale. The second was an open-ended question: "Please tell us about your experience." Again, I wanted to share two thoughts: 1) The hotel restaurant was spectacular, with a beach view and great food. 2) We had to wait over 20 minutes before a server came to help us. As you can imagine, I was happy to complete that survey! Three minutes, DONE.

Which survey do you think gave better information about my thoughts and feelings? The hotel survey, of course, because it let guests tell them what they wanted to share about their visit in their own words.

Customer Satisfaction Surveys that Customers Like

Now, there may be internal or political reasons that make it difficult to change from a rating scale-based survey to one that is primarily open-ended. However, if we want more insightful feedback and customers who are happy to give it, we need to respect the customer’s time and move beyond lengthy surveys with many frustrating questions. We need short and sweet surveys that allow the respondent to express their thoughts clearly and quickly their way.

One of the traditional complaints about using open-ended responses over scaled responses is that open-ended responses are too wordy, too complicated, and too expensive to code and analyze quickly. That is no longer true, as we have the technology today to interpret these results efficiently and cost-effectively. Because of this, we need to get our surveys aligned with what is possible in data analysis solutions now, or we risk alienating our survey respondents to the point where they will no longer volunteer to answer questionnaires and we risk eroding their view of the brand or service.

The best solution is to create questionnaires with a few closed-end questions and one open-ended question: "Tell us about your experience." Yes, just one open-ended question. The technology can separate and analyze the responses. A few closed-end questions are needed to filter for data analysis, such as satisfaction rating, demographics, and so forth. But you can replace all the open-ended questions (e.g., What did you like? What did you dislike? Why did you give that rating?) with just one question.

Open-End Analysis in Just Minutes

The latest and best technologies can take even the most wordy, rambling, and detailed responses and analyze them in minutes. When you are thinking about collected customer opinions, social reviews are the epitome of vehicles through which customers express how they are really feeling in their own words. Here's an example of over 1,500 reviews scraped from the internet from recent London Eye visitors, all unstructured, open-ended comments. As you may know, the London Eye or Millennium Wheel, on the South bank of the Thames, is the most popular paid tourist attraction in the U.K., with over 3 million visitors annually. Here is an example of one person's review.

In spite of some rather lengthy reviews, within a matter of minutes we were able to identify and quantify the dominant themes from these 1,500 reviews using Ascribe's CX Inspector with Theme Extractor. We also created a cross tab identifying differences in responses based on who else was along for the experience: family, couples, friends, or solo. If coded manually, this data set would have taken a market research firm two days to analyze, at significant cost. With CX Inspector the results were ready within 30 minutes.

Here is another example of what is possible with today's technology. We analyzed 1,500 customer reviews with 145,000 words on a local ice cream shop in just over 20 minutes using Ascribe's CX Inspector. Again, the key themes were immediately identified, and using sentiment analysis, we could quickly understand customer likes and dislikes. It looks like the ice cream is delicious, and some staff are friendly and provide a positive experience, but some people indicate the experience is marred by poor service and expensive prices! This store owner would be able to quickly understand what they need to address to improve customer satisfaction.

As a final example, here are results of 2,500 customer surveys for a sports arena. In addition to a seven-point rating question, the survey included a follow-up open-ended question: "Why did you rate your experience 1 to 7?" The responses, which included a total of 58,000 words, were analyzed in 20 minutes with CX Inspector to reveal that while the arena delivers a great experience with terrific staff, concession lines and parking are key drivers of dissatisfaction. Again, the arena management can quickly understand what they need to work on to improve the visitor experience.

Find Out What Customers Really Think

Customer satisfaction surveys are ubiquitous, but the traditional approach of lengthy questionnaires may not be the best way to understand what customers are truly thinking if they get impatient answering the questions or are not willing to finish the survey. With new technology capable of coding and analyzing open-ends so easily, quickly, and cost-effectively, there is no need to have burdensome customer satisfaction surveys with a battery of close-ended and open-ended questions. By allowing customers to express themselves in their own words quickly, brands can better understand the customer experience and what matters most to them, while building customer loyalty through an improved survey experience. You will get better and richer customer feedback. And the best and only open-end question you need to ask is, "Tell us about your experience."

Embracing open-ended questions in your customer satisfaction surveys lets you alleviate feedback fatigue and invite genuine insights. The advent of generative AI-driven text analytics tools like Ascribe's CX Inspector with Theme Extractor allows brands to delve deeper into open-ended feedback quickly and easily. Customers will reward brands willing to ditch the traditional satisfaction survey in favor of an open-ended approach with more meaningful and actionable customer feedback. 

Increase your customers' satisfaction by simplifying your surveys! Contact Ascribe today to discuss your needs, and we will find the best solution for you!  

By Rick Kieser, Ascribe CEO

Market Research has been around for about 100 years. Some might say we are set in our ways, but in reality the industry has been rapidly innovating in response to marketing changes, technology, and other challenges. We've come far from door-to-door interviewers and Mad Men-esque focus groups! And we are now experiencing one of the most fundamental shifts in our industry and specifically in text analysis in decades.

An Erupting Volcano

In the market research landscape, our traditional data analysis approach resembles a long-dormant volcano getting ready to erupt. For years, many have focused on the top of the volcano, the visible summit—the structured data that is easy to access and straightforward to analyze from surveys. However, a repository of unstructured data remains largely untouched beneath the surface. These text comments hold valuable insights that have been challenging to access and analyze. While difficult to explore, this unstructured data contains incredible potential if it could be unleased.

As we all know, the landscape is changing rapidly. Loaded with open-end responses and unstructured data from surveys, social media, and the internet, the volcano is exploding. According to Gartner, unstructured data constitutes 80% to 90% of all new enterprise data and is growing rapidly. Just as molten lava transforms the surrounding landscape, this eruption of unstructured data, which is now overwhelming for many, will similarly reshape our approach to understanding consumers. Harnessing the insights from this eruption has been one of the most significant disruptions in the evolution of market research since we began.

Many businesses are unprepared for this shift. Only about 10% of unstructured data is currently stored, and even less is analyzed, according to the International Data Corporation. Historically, analyzing unstructured data was a time-consuming process, akin to decoding hieroglyphs. Few marketing people had the time, resources, or motivation for such an effort.

Is your company experiencing this volcanic eruption of open-end comments coming from customers, partners, and employees? Are you ready to dig below the easy-to-analyze closed-end data to get beneath the surface to find true insights, thoughts, desires, and intentions? A fast, cost-effective, and proven analysis approach is the key to unlocking the potential of unstructured data.

Enter Generative AI, heralding the next evolution of Market Research. Leveraging Gen AI with text analytics to analyze this massive amount of unstructured data provides access to the insights hiding underneath the volcano. It's a transformation from the elementary knowledge of the known structured data landscape to a new universe of depth and clarity of consumer understanding. While much of the uncovered insights will be used to answer everyday business questions, if analyzed properly, the data has the reliability and strength to guide even the most critical strategic decisions for your business.  

‍

Gen AI's Rapid Evolution Creates Challenges

Gen AI is advancing at warp speed, generating constant evolution across the MR industry. And with that evolution comes challenges. Remember that less than a year ago, the Market Research industry was vilifying Gen AI as the industry's demise! The MR Industry is now embracing Gen AI to unleash the value of the huge mass of previously-neglected verbatims and unstructured feedback. Many new, young firms are jumping in to sell their Gen AI solutions to marketers, and to the less experienced, their solutions appear magical at first glance. As new versions of Gen AI are being rapidly released, those platform developers are having difficulties keeping up with providing human-like theme-based insights that are quantifiable and verifiable to the unstructured data analysis. Some of the challenges created by the more recent Gen AI releases include:

• Gen AI analysis creates a plethora of results – too many ideas and codes, making it challenging for brand marketers to sort out the most important ideas.
• Gen AI is now creating complex codes, combining two ideas into one. For example, "too salty and spicy," combines two ideas about how a food tastes. However, this result makes it difficult to determine how big an issue "salty" is and how big an issue "spicy" is. For ideas to be actionable, we need concise, singular ideas, each of which is quantified.
• Summaries created by Gen-AI are not precise enough for use in decision-making. Now, of course, marketers are enamored with the summarizing capabilities of Gen AI. If you have purchased anything online lately, you can quickly find a consumer ratings summary created by Gen AI. However, these summaries are often too broad to be meaningful, and it is always challenging to identify the underlying data the summary was sourced from. The summaries miss important insights and may not represent information in the right proportions. Finally, it is well recognized that Gen AI may also make things up (now referred to as hallucinations or mirages) depending on how the tool was trained.

Ascribe Leverages Gen AI to Develop Innovative Solutions

Ascribe has been innovating to solve these Gen-AI-created issues with the latest release of one of our most impactful techonology developments – Theme Extractor. Helping Ascribe stay one step ahead of the industry, Theme Extractor is included in all of Ascribe's solutions, including CX Inspector for text analytics and Coder, a verbatim analysis platform for market research companies,. Ascribe has a 25-year history as the original verbatim analytics platform for the MR Industry, building state-of-the-art open-end analysis solutions. We have processed more than 4 billion unstructured comments, exponentially more than all other providers' experience in processing customer feedback combined. Our developers have deep experience with Gen AI and are uniquely equipped to build solutions that meet the needs of our partners.

‍
Theme Extractor Extracts Superior Well-Developed Ideas from Open-End Comments

The initial version of Theme Extractor leveraged Generative AI to transform the results of open-end analysis from single-word codes to descriptive, meaningful codes that articulate the essence of the idea, a huge advancement for the market research industry. Note the example below from customer satisfaction results for a retailer; whereas before an idea might be a single-word topic such as "items", with Theme Extractor, the idea becomes "have popular items in stock." Similarly, a code of "employees" becomes "more employees would be helpful." As you can see, Theme Extractor extracts much more detailed information from the customer responses, giving you a deeper understanding of the consumers' thoughts and feelings.  

‍

‍

The most recent release of Theme Extractor has improved the accuracy of the results and addresses the issues of too many codes and complex codes being created by the latest versions of Gen AI. Theme Extractor creates concise ideas focused on one theme, correcting the tendency of Gen AI to combine ideas into complex topics. As such, in a mascara product study, the complex code "Lengthens and separates lashes" Theme Extractor separates into two themes, "Lengthens lashes" and "Separates lashes." Separating ideas is important in the analysis to make the results useful for decision-making. This is a vital detail that can easily be overlooked in a sales demonstration but is critical to the experienced brand marketer or market researcher in real life.

Also, Theme Extractor reduces the overlap between codes, thereby reducing the number of themes. In the same mascara study, the "High price" and "Too expensive" codes are more likely to be one combined idea, resulting in less overlap and more effective analysis. Finally, it is important to note that during analysis with Theme Extractor, the user can suggest the number of codes to classify the results into, which further puts the power of AI under the user's control.

Another important Ascribe innovation is the ability to quantify the emotions and empathy Gen AI identifies around a topic. Emotion and empathy can be insightful, but if they are unquantified, they are insufficient to be helpful to brand marketers. The magnitude of those emotions (or topics) and how they link to satisfaction, dissatisfaction, loyalty, and other customer states must be quantified to use the insights identified. For example, an unquantified analysis of emotion might yield two ideas, "Love the service" and "Wish the front desk staff were friendlier", from which you would conclude that "Love the Service" is more important as it is a stronger emotion. However, if the results indicated that only one person said, "I love the service," and 100 people said, "I wish the front desk staff were friendlier," the latter becomes more important. The ability to understand the emotion must be combined with frequency and quantification to get a useful insight, giving brand marketers the understanding they need for actionability and decision-making.

‍

Enabling Human Guidance of Gen AI Produces Powerful Customized Results

Other innovations in the most recent Theme Extractor upgrade enable human control to guide and oversee the analysis and output of the results. Many users, especially experienced market researchers, want a deliverable similar to what they have produced in the past, for example, to enable tracking against previous studies or to use language relevant to the business. Ascribe's platforms enable manual input, giving you control over the automation in real-time and letting you adjust the results to meet your business needs. Some of the manual changes available in the latest Theme Extractor:

• Turn Gen AI on or off.
• Provide context for the data for more accurate results.
• Easily edit your results by renaming, combining, drag and drop manipulation, etc.
• Train a codebook and save it for future use; great for trackers.
• Set the number of codes and levels of nets appropriate for your needs.
• Connect the theme to the original responses (drill down.)
  

Ascribe's innovative Theme Extractor enables market researchers to analyze a dataset with open-end comments in minutes or hours, adjusting the amount of manual editing to control costs, timing, and end results.

‍

Ascribe Innovations for 2024

Being the original verbatim analytics platform, we at Ascribe are continually exploring ways to harness advanced technologies, including Gen AI, to develop superior open-end analysis solutions that are easy to manage and maximize efficiencies in meeting your business insight needs. We are building APIs to enable direct access to our system for real-time integration with other platforms. We are developing a Gen AI tool to summarize results from the analysis accurately and will also provide updated charting and visualization capabilities to meet your analysis and reporting needs.  

‍

Choosing the Right Gen AI Approach

Using Gen AI will be critical to tap into the value delivered through successful analysis of unstructured data. It is essential that you choose the right Gen AI approach for you. If you seek a partner to help you get value from your text analysis, choose that partner carefully. Look for a trusted partner with years of experience in MR, extensive experience with Gen AI, and live training and support services to help you when needed. When evaluating the platform, request a live demo using your data to see firsthand if the results meet your business needs. Finally, ensure the interface is user-friendly and integrates easily with your current operating processes and management tools.

Recently, we have had discussions with companies attempting to build their own analysis platforms. While their initial solution might work for one specific use case, it becomes difficult and expensive when they need to scale it and make it repeatable, and even more so as they will need to continually absorb and respond to the rapid advancements in Gen AI. AI expertise is scarce and expensive, so building your own platform quickly becomes a costly and time-consuming strategic commitment for your company. We welcome the opportunity to discuss your business needs and share how Ascribe can meet those needs with speed and cost efficiencies.

‍

Gen AI Is No Longer A Question - It's a Necessity

As you work to harness the explosive insight power of open-ends flooding your company from disparate sources, you must decide how to implement Gen AI in text analysis so that it becomes more effective, faster, and less costly. Your decision about the partner you choose to help you with this could pay huge dividends in the future. After all, it's no longer a question of if you should implement Gen AI; it's only a question of how.

Remember to look beyond the demo to your partner's expertise in Gen AI, text analysis, and the MR industry. Their experience in the insights industry will ensure that they are not only keeping up with the rapidly evolving status of Gen AI but also how to translate that evolution into products and innovations that can best serve you and your business. Curious to see it in action? Request a demo today.