L'IA est souvent comparée à l'électricité. Andrew NG affirmait que « Tout comme l'électricité a presque tout transformé il y a 100 ans, aujourd'hui, j'ai du mal à penser à une industrie que l'IA ne transformera pas au cours des prochaines années. »
L’IA Generative, une sous branche de l’IA, rajoute une corde très puissante à l’arc déjà bien fourni des possibilités de l’intelligence artificielle. Le phénomène IA ne fait qu’accélérer.
L’IA Générative a créé de nouvelles opportunités et cas d’usages
L'IA Générative se déploie extrêmement vite. ChatGPT a montré la voie et le LLMs sont là pour contribuer à des gains de productivité importants. Dans cet article de blog, je parle de la façon dont l'interaction en langage naturel est maintenant une réalité, et la réponse aux questions des clients est un cas d'utilisation prédominant pour cette technologie. La traduction, le résumé et la génération de contenus sont également d'autres cas d'utilisation très intéressants.
Pour en savoir plus il faut lire cas d'usage de l'IA générative.
Les fondements de la technologie à la base du succès de ChatGPT.
RLHF est la "sauce secrète" de ChatGPT. C'est certainement l'un des fondements de la réussite d'OpenAI.
Tous les détails sont fournis dans "qu'est ce que l'apprentissage par renforcement à partir de la rétroaction humaine rlhf".
Comment l’utiliser avec vos données confidentielles
ChatGPT fourni des réponses inexactes si vous demandez quelque chose lié à votre entreprise ou vos produits. Bien sûr, vos informations propriétaires ne faisaient pas parti de son jeu de données d’entrainement.
Pour savoir comment y remédier, suivre "comment personnaliser les LLMs comme chatgpt avec vos propres données et documents".
Les alternatives open source
OpenAI nous a fait croire avec ChatGTP que « plus de paramètres c’était mieux ».
La communauté IA open source a pris une approche différente et a montré que plus de données, et la formation avec moins de jetons par paramètre était une solution pour réduire votre coût d’inférence, tout en maintenant les performances.
Les modèles d’IA open source qui en résultent peuvent être affinés avec les documents propriétaires des entreprises, apportant des alternatives aux coûts d’inférence payant par jeton.
Voir l’article "comprendre l'impact des grands modèles de langage open-source".
Un éclairage sur les capacités émergentes des LLMs
Il y a eu une idée répandue selon laquelle ajouter des milliards de paramètres aux LLMs comme ChatGPT pourrait leur permettre de voir émerger de nouveaux comportements.
Cependant, une nouvelle étude de l’Université de Stanford montre que ces aptitudes sont bien présentes à plus petite échelle et qu’elles peuvent être mesurées avec les bonnes métriques.
L’étude de Stanford est résumée par "les-aptitudes émergentes des LLMs comme gpt-4 sont elles un mirage".
Un guide de réglage fin de ces grands modèles de langage
Suivant l’application visée, vous pouvez être amené à devoir entrainer votre propre model de langage.