Conjuguer data, IA, marketing et tech pour des interactions entre marques et clients toujours plus justes et pertinentes

Epsilon France

Epsilon France : votre agence data marketing | Every Interaction Counts

20221003_EPSILON FRANCE_CAMPUS BASTILLE_BD_0XH11689 OK.webp

20221003_EPSILON FRANCE_CAMPUS BASTILLE_BD_0XH11858 OK.webp

20221003_EPSILON FRANCE_CAMPUS BASTILLE_BD_0XH11936 OK.webp

20221003_EPSILON FRANCE_CAMPUS BASTILLE_BD_0XH11861 OK.webp

20220927_EPSILON FRANCE_CAMPUS BASTILLE_BD_0XH11605 OK.webp

20221003_EPSILON FRANCE_CAMPUS BASTILLE_BD_0XH11766 OK.webp

20221003_EPSILON FRANCE_CAMPUS BASTILLE_BD_0XH11628 OK.webp

20221003_EPSILON FRANCE_CAMPUS BASTILLE_BD_0XH11748 OK.webp

Campus 145

Nos locaux à Paris

20211102_BATIMENT_PUBLICIS 5.9_WASQUEHAL_DEBREU_RXT37981_OK.webp

20211102_BATIMENT_PUBLICIS 5.9_WASQUEHAL_DEBREU_RXT37941_OK.webp

20211102_BATIMENT_PUBLICIS 5.9_WASQUEHAL_DEBREU_RXT37954_OK.webp

20211102_BATIMENT_PUBLICIS 5.9_WASQUEHAL_DEBREU_RXT37907_OK.webp

20211102_BATIMENT_PUBLICIS 5.9_WASQUEHAL_DEBREU_RXT37967_OK.webp

20211102_BATIMENT_PUBLICIS 5.9_WASQUEHAL_DEBREU_RXT37877_OK.webp

20211102_BATIMENT_PUBLICIS 5.9_WASQUEHAL_DEBREU_RXT38020_OK.webp

Campus 5.9

Nos locaux à Wasquehal

&nbsp;<h2>1.Qu’est-ce qu'un RAG ?</h2>RAG signifie Retrieval Augmented Generation : en termes techniques il s’agit d’un algorithme qui permet à l’utilisateur d’effectuer une recherche en langage naturel sur une vaste base de données de documents multi-formats et se voir proposer une réponse elle-même en langage naturel par un large modèle de langue : le « LLM ». Le RAG est donc un moteur de recherche augmenté sur les documents de l’organisation mis à disposition et bénéficiant d’une réponse rédigée en retour par l’IA générative.Le RAG est un assistant d’IA générative qui inclut une recherche préalable, à la différence d'un prompt fait à un assistant GenAI comme Le Chat de Mistral ou ChatGPT d’OpenAI. En effet, lorsque vous « promptez » l’assistant GenAI, ce n’est pas une base de données que vous requêtez mais la connaissance apprise par le modèle (des millions de vecteurs d’un vaste réseau de neurones ). C’est donc le modèle appris et figé qui va vous répondre.Si vous posez la même question à l’assistant RAG, la réponse sera faite sur la base d'une recherche algorithmique préalable. Cette recherche est faite par un algorithme dit « retriever » qui identifie, parmi tous les documents auxquels il a accès, des portions de documents pertinentes au regard de la question posée par l’utilisateur.&nbsp;<h2>2.Un RAG, comment ça marche ?</h2><ol><li>1. Votre requête est une phrase (un prompt), elle est vectorisée par un premier modèle dit d’embeddings. Cela est nécessaire pour pouvoir représenter mathématiquement votre question : on « plonge » votre question dans un sous espace vectoriel, elle devient un vecteur sur N dimensions (1024 par exemple)&nbsp;</li><li>2. La requête vectorisée est comparée géométriquement à l’ensemble des documents découpés en portions de taille réduite (500 tokens par exemple). Au préalable, les documents ont été divisés en portions (chunks) et chacune a été vectorisée par le même modèle d’embeddings. Ainsi les documents et la demande utilisateur sont plongés dans le même espace vectoriel.&nbsp;</li><li>3. La phase dite « retrieval » consiste à classer les portions de documents pertinentes en triant les documents les plus similaires en termes de distance à la demande. Cette recherche peut être accélérée en bénéficiant de tags ou catégories qui peuvent servir de filtres.&nbsp;&nbsp;</li><li>4. Le retrieval fournit donc des portions de documents qui sont autant de candidats pour fonder une réponse pertinente à la demande de l’utilisateur. Contrairement au moteur de recherche classique, ce n’est pas un classement de documents qui va être renvoyé à l’utilisateur, mais bien une réponse en langage naturel en se basant sur l’information présente dans les documents candidats.&nbsp;</li><li>5. Cette réponse est rédigée par un LLM mathématiquement en s’imposant de n’utiliser que le contexte formé des documents candidats. Elle renvoie l’utilisateur vers les sources : les portions que le LLM considère avoir utilisé pour rédiger sa réponse.<figure class="image"><img style="aspect-ratio:605/343;" src="https://s.epsilon-france.com/strapi-uploads/assets/image_f7a07021c1.png" alt="image.png" srcset="https://s.epsilon-france.com/strapi-uploads/assets/image_f7a07021c1.png 245w, https://s.epsilon-france.com/strapi-uploads/assets/image_f7a07021c1.png 500w, https://s.epsilon-france.com/strapi-uploads/assets/image_f7a07021c1.png 750w" sizes="100vw" width="605" height="343"></figure>&nbsp;&nbsp;</li></ol>

&nbsp;<h2>3. Le RAG et les risques d’hallucinations</h2>L’IA générative souffre d’une faiblesse congénitale : le risque d’hallucination autrement dit le fait d’affirmer dans une phrase une contre-vérité comme un fait qui n’a pas eu lieu, un chiffre erroné, etc.La réponse d'un RAG s'appuie sur des sources sûres, ce qui laisse penser à l'utilisateur que la phrase rédigée par l’IA est tirée mot pour mot de la source. Ce n'est malheureusement pas le cas : la réponse d’une IA générative n’est jamais une copie d’une phrase tirée d’un document mais une génération mot par mot résultant de calculs mathématiques et probabilistes avec des aléas. La réponse est donc générée (interprétée mathématiquement) à partir des documents candidats et elle peut très bien mélanger des éléments, générant une réponse plausible mais pas forcément juste. C’est ce qu’on appelle l’hallucination.Les risques peuvent être atténués en recentrant l’éventail des réponses possibles avec des éléments de réponse provenant d'une base documentaire spécifique. Cela a le double avantage de pouvoir se concentrer sur ceux-ci et non des connaissances externes (web ou du modèle lui-même) qui parasiteraient la réponse, et également de pouvoir étayer la réponse avec des sources citées. L’utilisateur peut donc cliquer sur les sources pour vérifier que telle affirmation est bien citée dans la source.C'est le parti-pris de nombreuses rédactions à travers le monde, mais qui nécessite de mettre en place une gouvernance et des bonnes pratiques dédiées.&nbsp;<h2>4. Les bonnes pratiques pour un RAG pertinent</h2>Tout d’abord un soin majeur doit être porté sur la base documentaire eu égard à l’importance des faits dans une recherche documentaire :<ul><li>Une donnée gouvernée : les documents doivent être vérifiés, à jour et couvrir le périmètre informationnel attendu par l’utilisateur .</li><li>Une donnée qualifiée : les documents doivent être factuellement corrects (si la base contient des contre-vérités, le RAG ne va pas les remettre en question) et organisés &amp; étiquetés par des métas données (titre, auteur, date, domaines, tags...).</li><li>Une donnée riche : les documents doivent être multimédia, permettant au journaliste de chercher dans des archives vidéo, images, bandes son, et plurielles en termes de sources d’information. En complément, il est également intéressant de proposer à l’utilisateur averti un mode “exploratoire” où le journaliste va pouvoir charger ses propres données afin d’en effectuer une “fouille”.&nbsp;Ce dernier point nécessite une conception algorithmique qui ait la capacité de prendre en compte des documents multimédia. Avec l’utilisation de modèles en capacité de “plonger” images, sons et vidéos dans les mêmes espaces vectoriels et une fonctionnalité de similarité capable de retourner des portions pertinentes de ces médias.De plus nous vous conseillons de mettre en place un système d'évaluation systématique de l’algorithme. Il est capital de mesurer la pertinence et la qualité comme la capacité du modèle à restituer les faits. Ceci suppose de mettre en place une démarche MLOps de tracking et de monitoring de ces métriques. Une métrique peut être de mesurer si la réponse est correcte vis-à-vis des informations fournies, si au moins un élément ne l’est pas la métrique considère que la réponse n’est pas correcte.</li></ul>Définir la métrique est nécessaire lors de la conception car c’est ainsi que l’ingénieur est guidé par itérations dans l’amélioration de l’algorithme et en production où régulièrement est surveillée l’éventuelle dérive des métriques (chute de la métrique “factual correctness” par exemple…)Ce système d'évaluation, pourra être complété par un algorithme de contrôle qui vérifiera si les affirmations contenues dans la réponse faite par le RAG sont bien étayées par les données du contexte fourni.Exemple d'un algorithme de contrôle portant sur 3 allégations à comparer à la page <a href="https://france.publicisgroupe.com/a-propos/">https://france.publicisgroupe.com/a-propos/</a>&nbsp;<h4>&nbsp; &nbsp; &nbsp;Claim Verification</h4><ul><li>&nbsp;Claim 1: "Fondée en 1926 par Marcel Bleustein Blanchet"&nbsp;o Verification: 0&nbsp;o Supporting Facts: The reference text does not mention the founding date or the founder of Publicis Groupe.</li><li>Claim 2: "Publicis Groupe est un leader français de la communication, des médias, des technologies et de la créativité."&nbsp;o Verification: 1o Supporting Facts: "Leader français du marketing, de la communication et de la transformation digitale des entreprises, Publicis Groupe s’appuie sur un modèle unique qui allie créativité, technologie, médias avec au cœur la data."</li><li>Claim 3: "5000 personnes en Europe travaillent pour plus de 600 clients."o Verification: 0o Supporting Facts: The reference text states: "Publicis Groupe en France est une Talent company riche de plus de 5 000 talents, répartis dans plus de 30 agences, qui accompagne près de 600 clients." It specifies that the 5,000 talents are in France, not Europe.&nbsp;</li></ul><h4>&nbsp; &nbsp; Summary</h4>&nbsp; &nbsp; Number of Claims Detected: 3&nbsp;&nbsp; &nbsp; Claims Verified: 1&nbsp;&nbsp; &nbsp; Claims Not Verified: 2&nbsp;&nbsp; &nbsp; The answer contains inaccuracies and is not entirely correct based on the reference text.&nbsp; &nbsp;&nbsp;&nbsp;LA première allégation est vraie mais le document fourni ne le contient pas donc l’évaluateur la rejette à raison. La seconde est vraie et présente donc l’évaluateur la valide. La troisième est une hallucination, l’évaluateur la rejette à raison.

&nbsp;<h2>5. Conclusion&nbsp;</h2>&nbsp;Au quotidien, rechercher des informations précises dans une grande étendue de documents est très fréquent et peut être fastidieux ,chronophage. Proposer aux opérationnels des interfaces leur permettant via un moteur RAG d’effectuer leur recherche est donc un cas d’usage à forte valeur et à fort gain de productivité. Cependant des précautions, combinées à des bonnes pratiques et contrôles, permettront d'en faire un outil à la fois pertinent, transparent et sûr.&nbsp;Si vous souhaitez approfondir davantage cette thématique ou une de nos offres Epsilon France, nos équipes sont à votre écoute !

L’IA générative, en entreprise change nos pratiques de travail, réfléchir, rédiger, analyser ... et aussi rechercher. Lorsqu’on scrolle, qu’on parcourt des répertoires, des notes, on perd beaucoup du temps, or l’IA générative a une solution pour accélérer drastiquement le temps de recherche tout en améliorant également la probabilité de trouver l’aiguille dans la botte de foins.&nbsp;Cette solution, tout simplement, c’est le cas d’usage le plus cité, le plus déployé en entreprise, ce sont les RAG.

Comment les RAG changent la manière de chercher dans les documents d'entreprise 

Avantages&nbsp;:<ul><li>Réduction de la variance des prédictions et de l’overfitting (le risque pour un modèle d’apprendre “par cœur” les données d’entraînement)</li><li>Inclure des variables nombreuses et corrélées, méthode d’ailleurs utilisé pour faire de la sélection automatique et du ranking de prédicteurs</li><li>Peu de transformation de la donnée (ou feature engineering) nécessaire car les algorithmes d’arbres de décision acceptent des variables aussi bien numériques que catégorielles, un avantage propre aux algorithmes basés sur les arbres de décision (qui sera donc encore vrai sur l’intégralité des modèles présentés ci-après)</li><li>Capte la non-linéarité des variables vis-à-vis de la cible du fait d’une capacité à définir des règles locales et à découper les variables par classes</li><li>Calcul parallélisable&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</li></ul>Inconvénient&nbsp;:<ul><li>Perte d’interprétabilité des prédictions par rapport à un simple arbre de décision</li></ul>&nbsp;<h2 style="text-align:justify;">2.&nbsp; Gradient Boosted Decision Trees</h2>Créer plusieurs arbres indépendants pour former un seul modèle constitue une idée très efficace, mais des chercheurs ont ensuite proposé une autre approche pour réduire les erreurs des prédictions.La méthode de boosting se base sur le principe qu’une combinaison de modèles peu profonds, donc plus simples (aussi appelés "weak learners") peut créer un modèle efficient et robuste. En appliquant cette nouvelle méthode d’apprentissage, nous abandonnons l’aspect d’indépendance lorsque nous entraînons un nouvel arbre.Une des tâches du Data Scientist est alors de définir la fonction d’erreur qu'on cherchera à minimiser (cela peut être intégrer comme hyperparamètre à optimiser), chaque nouvel arbre entrainé correspond à une étape de l’algorithme de descente de gradient. Typiquement on pourrait prendre comme fonction :<ul><li>L’erreur moyenne au carré (mean squared error) dans le cas d’une tâche de régression</li><li>L’entropie (log-loss) dans le cas d’une tâche de classification</li></ul>Puis, à chaque itération, le nouvel arbre entraîné tente de prédire l’"erreur" de la combinaison des weak learners déjà entraînés, donc le gradient de la fonction d’erreur par rapport à la prédiction des weak learners.Ainsi, à chaque étape, le nouvel arbre va se concentrer sur les observations pour lesquelles les arbres précédents n’ont pas réussi à ressortir la bonne prédiction.La prédiction finale sera alors une combinaison linéaire des prédictions en sortie de chaque arbre.Comme pour tout algorithme de descente de gradient, un taux d’apprentissage (aussi appelé learning rate) est appliqué afin de régulariser le poids de chaque arbre et ainsi laisser aux futurs arbres une chance d’apporter leur contribution.Les illustrations ci-dessous montrent une représentation de l’entraînement du modèle à différentes itérations, en commençant par la première itération (itération 0) :<ul><li>Sur le premier graphique, nous observons la prédiction (y) de la combinaison des arbres en fonction du profil de variables de décision (x) ; à la première itération, un seul arbre a été entraîné, le modèle est alors loin d’avoir un pouvoir prédicteur suffisant, d’où la ligne constante à 0. En ajoutant des arbres à la combinaison, nous renforçons le pouvoir de prédiction du modèle, qui devient alors plus précis (cf. Les premiers graphiques des itérations 2 et 10).</li><li>Le deuxième graphique représente l’erreur de prédiction, i.e. l’écart entre la valeur prédite et la valeur réelle. Au fur et à mesure de l’entrainement de nouveaux arbres, nous observons que l’intervalle des valeurs d’erreur diminue : à l’itération 0, les valeurs fluctuent entre –3 et 2, alors qu’elles se trouvent entre –1 et 1 à l’itération 10.&nbsp;</li><li>Le troisième graphique montre la contribution du dernier arbre entraîné sur la prédiction, comme nous l’expliquions, à chaque itération, un nouvel arbre est créé pour corriger les erreurs des arbres précédents. Comme le modèle s’améliore avec les itérations, la contribution d’un nouvel arbre devient de plus en plus faible et ciblée sur certains profils de variables.</li></ul><figure class="image"><img src="https://s.epsilon-france.com/strapi-uploads/assets/image_0ff823aea1_55488aef61.png" alt="image_0ff823aea1.png" srcset="https://s.epsilon-france.com/strapi-uploads/assets/image_0ff823aea1_55488aef61.png 245w, https://s.epsilon-france.com/strapi-uploads/assets/image_0ff823aea1_55488aef61.png 500w, https://s.epsilon-france.com/strapi-uploads/assets/image_0ff823aea1_55488aef61.png 750w" sizes="100vw" width="750"></figure>&nbsp;<figure class="image"><img src="https://s.epsilon-france.com/strapi-uploads/assets/image_62979ba6e9_6ad0aef762.png" alt="image_62979ba6e9.png" srcset="https://s.epsilon-france.com/strapi-uploads/assets/image_62979ba6e9_6ad0aef762.png 245w, https://s.epsilon-france.com/strapi-uploads/assets/image_62979ba6e9_6ad0aef762.png 500w, https://s.epsilon-france.com/strapi-uploads/assets/image_62979ba6e9_6ad0aef762.png 750w" sizes="100vw" width="750"></figure>Source : <a href="https://developers.google.com/machine-learning/decision-forests/intro-to-gbdt">https://developers.google.com/machine-learning/decision-forests/intro-to-gbdt</a>&nbsp;&nbsp;Avantages&nbsp;:<ul><li>Réduction de l’erreur de prédiction par rapport aux Random Forest</li><li>Accepte des variables nombreuses et corrélées, méthode d’ailleurs utilisé pour faire de la sélection automatique et du ranking de prédicteurs</li><li>Peu de transformation de la donnée nécessaire</li><li>Permet de capter la non-linéarité des variables</li></ul>Inconvénients&nbsp;:<ul><li>Temps de calcul très allongé (construction séquentielle des arbres)</li><li>Très fort risque de sur apprentissage</li><li>Non recommandé sur des datasets de plus de 10K lignes sans étape d'optimisation</li><li>Non interprétable</li><li>Complexité pour le data scientist de définir les bons hyper paramètres et le bon model design qui rend plus nécessaire une étape chronophage de recherche des meilleurs hyper paramètres</li><li>L’utilisation de cette méthode nécessite une plus forte compréhension des mécanismes de l’apprentissage, fixer les hypers paramètres le nécessite et pour observer quand le modèle rentre dans une phase de sur apprentissage</li></ul>&nbsp;<h2 style="text-align:justify;">3.&nbsp; XGBoost : une implémentation de GBDT</h2>XGBoost est une librairie implémentant l’algorithme de GBDT tout en y ajoutant des étapes d’optimisation afin d’améliorer le temps de calcul, tout en gagnant en précision :<ul><li>Parallélisation des recherches du meilleur split des branches lors de la construction d’un arbre en permettant l’utilisation de plusieurs CPUs</li><li>Elagage : avec un seuil fixé, si un split ne procure pas un gain supérieur à ce seuil, alors le sous-arbre partant du nœud est supprimé et le nœud est transformé en feuille</li><li>Utilisation du cache : la mémoire cache étant une mémoire à accès rapide, son utilisation permet d’accélérer les temps de calcul ; si le jeu de données est volumineux, alors celui-ci est divisé en blocs, puis compressé (car il est plus rapide de décompresser des données dans le cache plutôt que de les lire à partir de la mémoire principale).</li><li>Régularisation (L1, L2) afin de prévenir du sur-apprentissage : pour rappel, la régularisation est une méthode de simplification des poids dans une étape de descente de gradient, ayant pour objectif de faciliter la généralisation de l’apprentissage.</li></ul>Avantages&nbsp;:<ul><li>Mise à l’échelle : l’algorithme est adapté à des jeux de données volumineux</li><li>Peu de transformation de la donnée nécessaire et gestion des valeurs manquantes</li></ul>Précision : A ce jour, le XGBoost est le modèle à abattre dans les compétitions KaggleInconvénients&nbsp;:<ul><li>Complexité du modèle : alors que les arbres de décision se voulaient à l’origine simple à implémenter et à comprendre, le modèle XGBoost nécessite une expertise afin de gérer ses multiples fonctionnalités et hyper paramètres associés</li><li>Manque de transparence : étant donné sa complexité, le modèle devient également impossible à interpréter</li><li>Ressources : Afin de profiter d’un maximum des fonctionnalités proposés par cette méthode, il devient nécessaire de s’équiper de machines puissantes (en termes de mémoire et de performance)</li></ul>&nbsp;<h2>4.&nbsp;LightGBM : une (autre) implémentation des GBDT</h2>LightGBM est une autre librairie implémentant également l’algorithme de GBDT et s’assimile à la méthode XGBoost dans ses optimisations systèmes (parallélisation des entraînements, utilisation du cache et des GPUs, méthodes de régularisation). Néanmoins, leurs implémentations diffèrent :GOSS (Gradient Based One Side Sampling) : une étape d’échantillonnage des observations est ajoutée, ainsi lors de l’entraînement d’un nouvel arbre, les observations ayant un gradient faible (donc une bonne prédiction) seront écartées de manière aléatoire. Cela consomme moins de mémoire car moins d’observations sont prises en compte.EFB (Exclusive Feature Bundling) : rassemblement des variables de décision en fonction de leur caractère exclusif, i.e. le concept est de reconnaître les variables ne pouvant pas être nulles en même temps et de les regrouper en une unique variable<ul><li>A chaque nœud, les données sont d’abord regroupées en quantiles, la recherche du meilleur split se fait alors sur les seuils de fractionnement des quantiles (alors que le XGBoost gère les valeurs exactes). C’est un parti pris entre complexité pour de meilleurs performances (XGBoost) et simplicité avec le risque de perdre en précision (LightGBM).</li></ul>Tous les avantages et inconvénients trouvés à l’implémentation du XGBoost restent valables pour cette implémentation du LightGBM. A ceux-ci, nous pouvons ajouter les avantages suivants :<ul><li>Réduction de la taille d’échantillon et de la dimensionalité à chaque entraînement, donc un gain de temps d’entraînement tout en réduisant les ressources de mémoire nécessaires.</li><li>Gestion automatique du déséquilibre des classes (dans le cas d’une tâche de classification) en adaptant la technique d’échantillonnage.</li></ul><h2>MISE EN PRATIQUE</h2>Maintenant que les GBDT n'ont plus aucun secret pour nous, nous vous invitons à les tester sur des problèmes d’analyse prédictive via notre&nbsp;<a href="https://s.epsilon-france.com/strapi-uploads/assets/compare_gradient_boosted_trees_d4613a36f6.ipynb">notebook</a>.Et pour plus d’informations, vous pouvez nous contacter ou également consulter notre programme de formation en data science dont notamment notre cours sur la pratique du machine learning.

Vous souhaitez exceller lors de votre prochain entretien d'embauche et impressionner votre interlocuteur par vos connaissances techniques ?Voici une question souvent posée : quelle est la différence entre Random Forest, XGBoost et LightGBM ?Si vous pouvez y répondre sans hésitation, félicitations ! Sinon, cet article est fait pour vous.<h2 style="text-align:justify;">1. Rappel de l'algorithme de Random Forest</h2>Son principe est simple et intuitif : créer plusieurs arbres de décision, chaque arbre étant entraîné de manière indépendante sur un échantillon aléatoire du jeu d’entraînement et une sélection aléatoire des variables à chaque nœud.Le résultat d’une prédiction est ainsi :<ul><li>Dans le cadre d’une classification, pour chaque classe la moyenne des proportions prédites par chaque arbre,</li><li>Dans le cadre d’une régression, la moyenne des valeurs prédites par chaque arbre.</li></ul>

Deep Dive dans l'univers des Gradient Boosted Decision Trees

&nbsp;<h2 style="text-align:justify;">1. Cycle de vie d’un modèle prédictif</h2>&nbsp;De manière générale, la vie d’un modèle (cf schéma ci-dessous) commence par la définition du périmètre et des données nécessaires à l’apprentissage du modèle puis une étape de préparation des données et de «&nbsp;feature engineering&nbsp;». S’ensuit l’entrainement et la validation et enfin un déploiement où le modèle est exposé et prend des décisions individuelles. Une fois en production, le cycle de vie d’un modèle se poursuit&nbsp;! En effet, un modèle doit être surveilléet réactualisé à intervalles réguliers pour être toujours performant et répondre toujours au besoin pour lequel il a été conçu.<figure class="image"><img src="https://s.epsilon-france.com/strapi-uploads/assets/image_e82e4bcf3b_a596722070.png" alt="image_e82e4bcf3b.png" srcset="https://s.epsilon-france.com/strapi-uploads/assets/image_e82e4bcf3b_a596722070.png 245w, https://s.epsilon-france.com/strapi-uploads/assets/image_e82e4bcf3b_a596722070.png 500w, https://s.epsilon-france.com/strapi-uploads/assets/image_e82e4bcf3b_a596722070.png 750w" sizes="100vw" width="750"></figure>En effet, plus le temps avance, plus la performance du modèle se dégradera&nbsp;et ce de façon plus ou moins forte en fonction d’un contexte data et métier qui peut être lié à des changements internes mais également des facteurs exogènes.&nbsp;<h2 style="text-align:justify;">2. Qu’est-ce que le data et concept drift (dérive des données)&nbsp;?</h2>&nbsp;Plusieurs facteurs contribuent à la dégradation d’un modèle. Sans en être la cause directe, le changement dans la distribution des variables explicatives dit «&nbsp;data drift&nbsp;» est le signal majeur d’une dégradation potentielle.Le Data Drift est une variation des données du monde réel par rapport aux données utilisées pour tester et valider le modèle avant de le déployer en production.Or, le modèle a été entraîné avec une photographie des données sur une certaine période et un périmètre métier et lorsqu’en phase d’inférence, il est utilisé sur de nouvelles observations, si la distribution des variables est différente de celle qui a été rencontré lors de l’apprentissage, cela peut rendre le modèle obsolète.Aussi, lorsque l’évolution des données et des comportements est trop forte, le concept (la relation entre la variable cible et les variables explicatives) que notre modèle a appris sur des données passées le rend caduque&nbsp;:&nbsp; on parle alors de concept drift.On peut la définir comme une évolution dans la relation entre les données d’entrée et la variable cible du modèle. En d'autres termes, les apprises par le modèle n’ont plus la même acuité pour expliquer ou prédire le concept.<h2 style="text-align:justify;">3. Quelles sont les causes de ces dérives ?</h2>De nombreux facteurs peuvent causer la dérive des données.Une cause majeure est le temps passé entre le moment où les données d’entraînement sont collectées et le moment où le modèle entraîné sur ces données est utilisé pour la prédiction à partir des données réelles.Également, les processus opérationnels qui créent les données sources évoluent au fur et à mesure dans les organisations et chaque changement est susceptible de créer une perturbation dans la distribution d’une des variables explicatives.En ce qui concerne la dérive de concept, les causes sont moins liées aux données utilisées qu’au contexte dans lequel elles sont générées&nbsp;: l’environnement concurrentiel, le comportement des consommateurs, le cadre règlementaire, les restrictions économiques sont autant de causes exogènes qui rendent totalement obsolètes un modèle.&nbsp;Par exemple, un modèle qui prédit en temps réel si une transaction bancaire est frauduleuse peut avoir été entrainé sur certains scenarii et ne pas détecter des nouveaux comportements suspects.Citons quelques exemples de causes exogènes&nbsp;: la règlementation sur les moteurs thermiques qui affecte durablement le mix des ventes de véhicules automobiles, l’émergence de l’IA générative qui modifie le business-model de certaines entreprises ou encore la crise du Covid19 qui modifie brutalement la consommation des biens et des services.Ainsi, le data drift et le concept drift peuvent affecter plus ou moins fortement la performance du modèle de classification en matière de prédiction des comportements d’achat. Il est donc important de suivre régulièrement la distribution des données utilisées pour surveiller les changements dans les variables qui participent aux prédictions.&nbsp;<figure class="image"><img src="https://s.epsilon-france.com/strapi-uploads/assets/image_300fae1ec6_278c0111ae.png" alt="image_300fae1ec6.png" srcset="https://s.epsilon-france.com/strapi-uploads/assets/image_300fae1ec6_278c0111ae.png 245w, https://s.epsilon-france.com/strapi-uploads/assets/image_300fae1ec6_278c0111ae.png 500w, https://s.epsilon-france.com/strapi-uploads/assets/image_300fae1ec6_278c0111ae.png 750w" sizes="100vw" width="750"></figure><h2 style="text-align:justify;">4. Comment détecter les Data Drifts ?&nbsp;</h2>On s’intéresse à 2 types de méthodes pour la détection des Data Drifts&nbsp;: la première basée sur les statistiques de test de différence entre 2 échantillons et la deuxième basée sur un modèle de Machine Learning.La première méthode la plus intuitive est d’utiliser les tests statistiques de différence entre deux populations pour chacune des variables. Si les tests valident la différence pour une proportion assez importante des variables alors on peut confirmer que le data drift a eu lieu sur le dataset de production.Les principaux tests permettant de calculer la différence entre deux populations sont l’Index de Stabilité de Population, la Divergence de Kullback-Leibler, la Divergence de Jensen-Shannon, le Test de Kolmogorov-Smirnov, ou encore la Distance de Wasserstein.Cette première méthode est implémentée dans le package&nbsp;<a href="https://www.evidentlyai.com/">Evidently AI</a>La deuxième méthode basée sur modèle quant à elle, utilise un modèle de Machine Learning customisé pour identifier la dérive, en déterminant la similarité entre un point ou un groupe de points et une ligne de référence.Il est nécessaire de labelliser en tant que « 0 » les données ayant été utilisées pour construire le modèle actuel en production, et de labelliser en tant que « 1 » les données en temps réel.On construit ensuite un modèle pour évaluer les résultats. Si le modèle offre une haute exactitude, cela signifie qu’il est capable de discriminer facilement entre les deux jeux de données. On peut en conclure qu’une dérive est survenue, et qu’il est nécessaire de recalibrer le modèle.En revanche, si la précision du modèle est d’environ 0,5, ceci indique qu’il n’y a pas eu de dérive notable entre les deux jeux de données. On peut donc continuer à utiliser le modèle.Cette deuxième méthode est implémentée dans le package&nbsp;<a href="https://medium.com/oss-by-maif/eurybia-une-nouvelle-solution-ossbymaif-pour-une-intelligence-artificielle-plus-ma%C3%AEtris%C3%A9e-843e651a2ced">Eurybia de la MAÏF</a>&nbsp;&nbsp;<h2 style="text-align:justify;">5. Comment détecter les Concept Drifts ?</h2>Afin de détecter le concept drift, c’est la variable cible qui est surveillée. On se concentre sur la surveillance continue de l'exactitude et de la confiance dans un modèle. Si la précision évolue avec le temps, une dérive conceptuelle est susceptible de se produire. L'idée générale est alors de vérifier que l'erreur de modèle est sous contrôle et obtenir dans le temps une alerte si le modèle dépasse un certain taux d'erreur. Mais attention, nous sommes confrontés au défi d'identifier les changements systématiques et pérennes dans les données et non pas des fluctuations ponctuelles ou des saisonnalités.Les librairies Eurybia et Evidently ne couvrent pas encore l’aspect Concept Drift. Cependant, nous pouvons citer quelques pistes pour la détection du phénomène.<ul><li>Dans le cas où les données d’entrée sont stables et que les métriques issues de la matrice de confusion (exemple recall) changent nettement entre la production actuelle et la production précédente, une alerte de concept drift peut être déclenché.</li><li>De plus, produire une analyse bivariée entre la variable cible et chaque variable explicative du modèle permet de constater des changements significatifs à l’aide de tests statistiques de différence de distribution entre chaque variable explicative en fonction des modalités de la variable cible.</li><li>Enfin, on peut détecter l’instabilité du modèle en étudiant l’explicabilité du modèle. Une première solution sera d’entrainer le même type de modèle sur les données d’apprentissage et sur les données de production actuelle. On compare ensuite l’explicabilité de ces deux modèles (avec par exemple la librairie Shap/Shapash).</li></ul>

<h2 style="text-align:justify;">Combiner les approches pour bien détecter les dérives</h2>Le package Evidently AI permet d’évaluer le data drift sur chacune des variables individuellement. Le pourcentage de variables avec la dérive permet de dire si le dataset actuel a dérivé par rapport au dataset de référence.Le package Eurybia permet d’évaluer le data drift sur l’ensemble des variables via la performance du modèle de classification binaire (prédiction du dataset auquel appartient l’individu « de référence » vs « actuel »).En combinant ces deux packages, il est donc possible de mieux comprendre quelles sont les variables qui contribuent les plus au data drift. En complément, on peut utiliser les éléments graphiques et statistiques pour évaluer le data drift de chaque variable.Et pour le Concept Drift&nbsp;? Si la détection de ces dérives n’est pas aussi simple, nos équipes sont disponibles afin de vous accompagner sur ce sujet crucial pour garantir la fiabilité de vos modèles. &nbsp;&nbsp;Si vous souhaitez approfondir davantage cette thématique ou une de nos offres Epsilon France, nos équipes sont à votre écoute !

Pour un usage d’intelligence artificielle et d’analyse prédictive, entrainer un modèle n’est qu’un début. En effet, l’équipe qui conçoit l’IA doit, afin qu’il soit utilisé à bon escient, se poser de nombreuses questions quant à l’utilisation opérationnelle de ce modèle notamment poser un cadre d’observabilité afin de se doter d’une boussole permettant de mesurer l’évolution des entrées du modèle et son éventuelle dégradation de la pertinence des prédictions au cours du temps.

Mieux surveiller la dérive d’un modèle pour garantir et prolonger son usage

&nbsp;<h2 style="text-align:justify;">Comment faire le lien entre musique et modélisation&nbsp;?</h2>&nbsp;La musique est un format qui peut sembler complexe à créer via une approche purement informatique (avec un modèle de machine learning) en raison, entre autres, de la difficulté de retranscrire la musicalité, tout comme l’humour, en tant que concepts algorithmiques.Alors, comment évaluer la musique ? Il est déjà difficile d’expliquer les différences de goûts musicaux entre humains, alors poser une définition "mathématique" d'une bonne musique est encore plus complexe.Cependant, si on décompose une chanson instrument par instrument, on obtient plusieurs séries de notes clairement identifiables. Il s’agit donc de demander à un modèle de prédire une suite de notes pour chaque instrument et de les combiner en une musique cohérente.Une première solution est de considérer cela comme similaire à la génération de texte et d’utiliser des métriques de similarité ou de répétition de schéma. Il est également possible d’utiliser des mesures basées sur les propriétés intrinsèques d’un son, comme les fréquences, les rythmes ou les accords. Enfin, il est toujours utile de faire appel à l’approbation de l’oreille humaine, bien que cela reste coûteux à mettre en œuvre.&nbsp;<h2 style="text-align:justify;">Avec quelles méthodes pouvons-nous «&nbsp;prédire&nbsp;» de la musique&nbsp;?</h2>Qu’est-ce qui se cache derrière la génération de musique ? Il existe actuellement plusieurs approches pour y parvenir. En voici quelques-unes :1. Les Réseaux Neuronaux Récurrents (RNN) : &nbsp; Ce sont des types de réseaux neuronaux spécialement conçus pour capturer des séquences temporelles. Ils sont particulièrement adaptés pour générer de la musique, car la musique est une séquence de notes qui se succèdent dans le temps. Les RNN permettent de prendre en compte les notes précédentes pour générer la note suivante, ce qui permet de créer des mélodies et des compositions musicales relativement complexes.2. Les Algorithmes Évolutionnaires : &nbsp; Ces algorithmes notamment les algorithmes dits «&nbsp;génétiques&nbsp;» utilisent des techniques de sélection naturelle pour créer de la musique qui répond à certaines contraintes ou objectifs. Ils commencent par générer des séquences aléatoires de notes de musique, puis évaluent chaque séquence en fonction de sa qualité musicale. Les séquences les plus réussies sont ensuite sélectionnées pour créer une nouvelle population, qui est à nouveau évaluée et modifiée. Ce processus est répété jusqu'à ce qu'une séquence de notes satisfaisante soit produite. On peut comparer ces modèles à des mutations de nos séquences génétiques. Les IA génératives de musique peuvent également être utilisées pour imiter le style et les caractéristiques d'un compositeur particulier ou d'un genre musical. Pour ce faire, les algorithmes peuvent être entraînés sur des données représentant le style ou le genre musical souhaité.3. L’Apprentissage par Renforcement : &nbsp; C’est une méthode d'apprentissage automatique qui permet à une intelligence artificielle d'apprendre à effectuer des tâches en explorant son environnement et en apprenant grâce à des récompenses pour ses bonnes compositions. L'IA peut être programmée pour explorer différents échantillons sonores et produire une composition musicale à partir de ces séquences. Elle reçoit ensuite une récompense en fonction de la qualité de la composition, telle que définie par le superviseur. Cette récompense est utilisée pour ajuster les paramètres de l'IA afin qu'elle puisse proposer une meilleure composition lors de ses prochaines soumissions. Ce processus itératif permet à l'IA d'apprendre à produire des compositions musicales de plus en plus agréables à l’oreille (en tout cas aux oreilles des ingénieurs en charge du développement de l’IA).4. Le Transfer Learning : &nbsp; Cette méthode consiste à prendre un modèle spécialisé dans le son déjà existant dit «&nbsp;pré entrainé&nbsp;» et à le fine-tuner sur son propre datas et ce qui signifie l’ajuster à ses propres connaissances, par exemple pour le spécialiser sur un certain type de musique.Ces différentes approches montrent la diversité des techniques utilisées pour permettre aux intelligences artificielles de générer de la musique. Chacune a ses propres avantages et inconvénients, et le choix de la méthode dépend souvent du contexte et des objectifs spécifiques du projet.&nbsp;<h2 style="text-align:justify;">Des interfaces pour générer sa musique</h2>&nbsp;Pour utiliser ces IA, des interfaces de génération de musique sont disponibles. De la librairie Python gratuite pour générer son propre modèle et travailler avec des formats MIDI aux API payantes s’appuyant sur des modèles pré-entraînés, voici quelques options :- Google propose Magenta : une bibliothèque open-source qui facilite la création de musique à l'aide de l'IA. Elle comprend des modèles pré-entraînés, des outils de prétraitement audio, le tout avec une interface conviviale (User Friendly).- OpenAI propose MuseNet : une IA capable de composer de la musique dans divers styles. Que vous soyez fan de rock ou de funk, MuseNet aura ce qu’il vous faut. Une API est disponible afin de requêter l’outil.- AIVA (Artificial Intelligence Virtual Artist) : cette IA a la particularité d’être reconnue par la SACEM. Elle combine des techniques d'apprentissage profond avec un modèle RNN et est capable de créer des partitions pour une multitude d’instruments. AIVA a notamment contribué à la composition du thème principal du jeu vidéo "Pixelfield – Battle Royale".- Beatoven :&nbsp;cette IA utilise un modèle de génération de séquences pour composer de la musique. Son site internet propose une interface utilisateur conviviale qui permet de personnaliser les compositions en fonction de vos préférences. Il est possible de tester l’outil gratuitement.Ces outils montrent l'éventail des possibilités offertes par l’IA dans la génération musicale, rendant accessible cette technologie à des utilisateurs variés, des développeurs aux musiciens en passant par les amateurs de musique.&nbsp;<h2 style="text-align:justify;">Coût de développement, qualité aléatoire et flou juridique: un avenir pour ces IA musicales ?</h2>&nbsp;Il est important de noter que si le nombre d’interfaces se multiplie de jour en jour, nombre d’entre elles disparaissent aussi rapidement qu’elles sont apparues ! C’est un phénomène bien connu, même en Data Science, où certaines « modes » sont éphémères. À l’image de DeepJ, un modèle apparu il y a sept ans pour aider à la création musicale mais qui est inactif depuis 2020.En effet, utiliser l’IA peut être ludique, attrayant et performant, mais cela a un réel coût en ressources C’est pourquoi la majorité des outils sont payants de nos jours. Parmi les librairies mises à disposition, il y a parfois de mauvaises surprises, car le code n’est tout simplement pas maintenu.Malgré tout ce que l’on peut accomplir avec, l’IA musicale va devoir trouver son public. Autre constat, déjà partagé précédemment, il reste difficile de produire de « bonnes » musiques, même s’il y a eu un véritable bond en avant cette année sur la qualité des morceaux produits par IA, notamment avec Suno, qui a fait le buzz en mars 2024.Cette progression amène à une nouvelle question : les contenus musicaux créés par IA sont-ils légitimes ? Si l’on accorde progressivement du crédit aux créations d’IA (comme AIVA pour Pixelfield), d’autres comme Suno et Udio se font attaquer en justice par l’industrie comme les majors Warner et Sony. Ces deux start-ups se sont basées sur de morceaux non libres de droits pour s’entraîner. Par exemple, demander à Suno de créer un morceau dans le style des Beatles peut fonctionner même si le terme « Beatles » est bloqué en changeant une lettre ou deux. L’IA produira alors une chanson très proche du catalogue existant des Beatles. En orientant les prompts précisément, il est donc possible de se retrouver avec des musiques très similaires à celles utilisées pour l’entraînement, ce qui peut entraîner une copie de contenu non libre de droits.&nbsp;<h2 style="text-align:justify;">Musique et IA : Comment cohabiter ?</h2>&nbsp;La génération de musique grâce à l'intelligence artificielle ouvre de nouvelles perspectives dans le monde de la composition musicale. Derrière ces entraînements, on reconnaît les méthodes classiques (réseaux de neurones, deep learning, etc.), mais appliquées aux sons. La musique est une superposition de plusieurs « voix » et comporte un défi car il faut pouvoir harmoniser l’ensemble, ce qui n’est pas chose aisée !Les réseaux neuronaux récurrents et l'apprentissage profond ont permis de réaliser des avancées significatives dans la génération de musique. Que vous soyez un compositeur en herbe ou un professionnel de la musique, l'IA offre désormais une source d'inspiration et de créativité pour élargir votre palette musicale. Ce processus peut parfois s’avérer complexe et, à la vue des résultats, il vaut parfois mieux le laisser au rang d’inspiration.Créer de la musique à partir d’IA comporte des limites. En effet, ces modèles demandent de grandes capacités d’entraînement pour un résultat parfois peu probant. Par exemple, le clonage de voix obtient de meilleurs résultats lorsqu’il s’agit d’un seul « instrument » à gérer et de réinterpréter une séquence de sons en lui ajoutant une couleur spécifique.&nbsp;<h2>ET POUR LES ENTREPRISES&nbsp;?</h2>Pour les entreprises, c’est une piste intéressante afin de générer des musiques libres de droits qui correspondent à l’identité de la marque. Il est possible d’envisager des usages de techniques RAG (Retrieval-Augmented Generation) afin d’adapter une IA musicale à l’univers sonore d’une marque ou pour animer des événements via les services d’un artiste.C’est également un outil qui peut permettre à des artistes de créer de façons innovantes, à l’instar de ce qui existe dans les créations graphiques.&nbsp;Nous avons par exemple eu la chance, à l’occasion du&nbsp;<a href="https://epsilon-france.com/news-and-insights/vivatech-best-of-IA-data-2024">Salon Vivatech 2024</a>, de découvrir&nbsp;<a href="https://www.studioartera.com/art-public-marques/vivatech-x-benjamin-bardou">les créations de Benjamin Bardou</a>, un artiste pionnier en IA qui génère ses créations à l'aide de l'IA et les anime à travers des nuages de points volumétriques.Finalement, c’est un exercice stimulant pour des équipes de data scientists, car il permet de s’appuyer sur différentes techniques et modèles au service d’une problématique complexe et très humaine.&nbsp;Vous souhaitez explorer les univers de l'IA et les utiliser au sein de votre entreprise ?

Les intelligences artificielles occupent une place de plus en plus importante dans notre quotidien. Il est courant d’entendre que le machine learning va remplacer de nombreux métiers. Mais qu’en est-il des professions artistiques ? Une vague d’inquiétude se soulève parmi les artistes, les dessinateurs, les peintres et également dans le milieu des musiciens.Mais une IA peut-elle réellement remplacer l’être humain ? C’est ce dont nous allons discuter aujourd’hui.