Communication Dans Un Congrès Année : 2024

Étude en Cours : Évaluation de la Capacité des Modèles de Langage à Simuler le Discours de Patients lors de Thérapies: Impact du Fine-Tuning et du Conditionnement

Résumé

Le développement rapide des modèles de langue ouvre des portes à la recherche en modèle de dialogue. Cependant, évaluer la capacité de ces modèles à produire des réponses naturelles et cohérentes reste un défi majeur. Dans cette étude en cours, nous explorons l'effet du fine-tuning et du conditionnement sur les performances de réponse de Mistral, un modèle de langue de pointe et opensource, dans le contexte spécifique des thérapies délivrées par le biais d'agents virtuels. Nous développons un agent capable de mener des entretiens motivationnels contrôlés, en utilisant un patient virtuel pour évaluer l'efficacité de notre approche thérapeutique. Nous nous appuyons sur le corpus HOPE pour modéliser le comportement du patient virtuel, en utilisant Mistral7B instruct pour générer des réponses naturelles. Dans ce cadre, nous planifions de mener en premier lieu un pré-test pour déterminer la modalité la plus appropriée pour la collecte des données, soit texte ou audio, car les phrases générérées sont destinées à être délivrées à l'oral. Ce pré-test sera suivi d'une étude principale où les participants évalueront les réponses générées par Mistral dans différentes conditions. Ces travaux contribueront à améliorer notre compréhension de la capacité des modèles de langage à simuler le discours humain dans des contextes thérapeutiques, et fourniront des indices précieux pour le développement futur de tels systèmes.

CCS CONCEPTS

• Human-centered computing → User studies.

Fichier principal
Vignette du fichier
Galland_et_al. - Étude en Cours _ Évaluation de la Capacité des Modèles de Langage à Simuler le Discours de Patients lors de Thérapies_ Impact du Fine-Tuning et du Conditionnement.pdf (370.01 Ko) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-04909831 , version 1 (24-01-2025)

Identifiants

  • HAL Id : hal-04909831 , version 1

Citer

Lucie Galland, Catherine Pelachaud, Florian Pecune. Étude en Cours : Évaluation de la Capacité des Modèles de Langage à Simuler le Discours de Patients lors de Thérapies: Impact du Fine-Tuning et du Conditionnement. WACAI 2024 - Workshop sur les “Affects, Compagnons Artificiels et Interactions”, Jun 2024, Bordeaux, France. ⟨hal-04909831⟩
0 Consultations
0 Téléchargements

Partager

More