{"id":11145,"date":"2024-03-01T17:15:34","date_gmt":"2024-03-01T15:15:34","guid":{"rendered":"https:\/\/toukiela.com\/les-fameux-transformers-propulsent-sora-dopenai-et-revolutionnent-la-genai-decouvrez-leur-incroyable-diffusion\/"},"modified":"2024-03-01T17:15:35","modified_gmt":"2024-03-01T15:15:35","slug":"les-fameux-transformers-propulsent-sora-dopenai-et-revolutionnent-la-genai-decouvrez-leur-incroyable-diffusion","status":"publish","type":"post","link":"https:\/\/toukiela.com\/de\/les-fameux-transformers-propulsent-sora-dopenai-et-revolutionnent-la-genai-decouvrez-leur-incroyable-diffusion\/","title":{"rendered":"Les fameux Transformers propulsent Sora d&rsquo;OpenAI et r\u00e9volutionnent la GenAI ! D\u00e9couvrez leur incroyable diffusion."},"content":{"rendered":"<p><em><\/em><\/p>\n<div id=\"ez-toc-container\" class=\"ez-toc-v2_0_82_2 counter-hierarchy ez-toc-counter ez-toc-grey ez-toc-container-direction\">\n<p class=\"ez-toc-title\" style=\"cursor:inherit\">Inhaltsverzeichnis<\/p>\n<label for=\"ez-toc-cssicon-toggle-item-69f1d9e73d2b8\" class=\"ez-toc-cssicon-toggle-label\"><span class=\"\"><span class=\"eztoc-hide\" style=\"display:none;\">Toggle<\/span><span class=\"ez-toc-icon-toggle-span\"><svg style=\"fill: #999;color:#999\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" class=\"list-377408\" width=\"20px\" height=\"20px\" viewbox=\"0 0 24 24\" fill=\"none\"><path d=\"M6 6H4v2h2V6zm14 0H8v2h12V6zM4 11h2v2H4v-2zm16 0H8v2h12v-2zM4 16h2v2H4v-2zm16 0H8v2h12v-2z\" fill=\"currentColor\"><\/path><\/svg><svg style=\"fill: #999;color:#999\" class=\"arrow-unsorted-368013\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" width=\"10px\" height=\"10px\" viewbox=\"0 0 24 24\" version=\"1.2\" baseprofile=\"tiny\"><path d=\"M18.2 9.3l-6.2-6.3-6.2 6.3c-.2.2-.3.4-.3.7s.1.5.3.7c.2.2.4.3.7.3h11c.3 0 .5-.1.7-.3.2-.2.3-.5.3-.7s-.1-.5-.3-.7zM5.8 14.7l6.2 6.3 6.2-6.3c.2-.2.3-.5.3-.7s-.1-.5-.3-.7c-.2-.2-.4-.3-.7-.3h-11c-.3 0-.5.1-.7.3-.2.2-.3.5-.3.7s.1.5.3.7z\"\/><\/svg><\/span><\/span><\/label><input type=\"checkbox\"  id=\"ez-toc-cssicon-toggle-item-69f1d9e73d2b8\"  aria-label=\"Toggle\" \/><nav><ul class='ez-toc-list ez-toc-list-level-1' ><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-1\" href=\"https:\/\/toukiela.com\/de\/les-fameux-transformers-propulsent-sora-dopenai-et-revolutionnent-la-genai-decouvrez-leur-incroyable-diffusion\/#Une_avancee_remarquable_dans_le_domaine_de_la_GenAI\" >Une avanc\u00e9e remarquable dans le domaine de la GenAI<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-2\" href=\"https:\/\/toukiela.com\/de\/les-fameux-transformers-propulsent-sora-dopenai-et-revolutionnent-la-genai-decouvrez-leur-incroyable-diffusion\/#Larchitecture_du_modele_dIA_appelee_diffusion_transformer\" >L\u2019architecture du mod\u00e8le d\u2019IA appel\u00e9e diffusion transformer<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-3\" href=\"https:\/\/toukiela.com\/de\/les-fameux-transformers-propulsent-sora-dopenai-et-revolutionnent-la-genai-decouvrez-leur-incroyable-diffusion\/#Le_potentiel_de_transformation_de_la_diffusion_transformer\" >Le potentiel de transformation de la diffusion transformer<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-4\" href=\"https:\/\/toukiela.com\/de\/les-fameux-transformers-propulsent-sora-dopenai-et-revolutionnent-la-genai-decouvrez-leur-incroyable-diffusion\/#Lorigine_du_diffusion_transformer\" >L\u2019origine du diffusion transformer<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-5\" href=\"https:\/\/toukiela.com\/de\/les-fameux-transformers-propulsent-sora-dopenai-et-revolutionnent-la-genai-decouvrez-leur-incroyable-diffusion\/#Le_processus_de_diffusion\" >Le processus de diffusion<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-6\" href=\"https:\/\/toukiela.com\/de\/les-fameux-transformers-propulsent-sora-dopenai-et-revolutionnent-la-genai-decouvrez-leur-incroyable-diffusion\/#Les_avantages_des_transformers\" >Les avantages des transformers<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-7\" href=\"https:\/\/toukiela.com\/de\/les-fameux-transformers-propulsent-sora-dopenai-et-revolutionnent-la-genai-decouvrez-leur-incroyable-diffusion\/#La_revolution_des_transformers_dans_la_diffusion\" >La r\u00e9volution des transformers dans la diffusion<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-8\" href=\"https:\/\/toukiela.com\/de\/les-fameux-transformers-propulsent-sora-dopenai-et-revolutionnent-la-genai-decouvrez-leur-incroyable-diffusion\/#La_transition_vers_les_diffusion_transformers\" >La transition vers les diffusion transformers<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-9\" href=\"https:\/\/toukiela.com\/de\/les-fameux-transformers-propulsent-sora-dopenai-et-revolutionnent-la-genai-decouvrez-leur-incroyable-diffusion\/#Les_avantages_des_diffusion_transformers\" >Les avantages des diffusion transformers<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-10\" href=\"https:\/\/toukiela.com\/de\/les-fameux-transformers-propulsent-sora-dopenai-et-revolutionnent-la-genai-decouvrez-leur-incroyable-diffusion\/#Le_futur_des_diffusion_transformers\" >Le futur des diffusion transformers<\/a><\/li><\/ul><\/nav><\/div>\n<h2><span class=\"ez-toc-section\" id=\"Une_avancee_remarquable_dans_le_domaine_de_la_GenAI\"><\/span>Une avanc\u00e9e remarquable dans le domaine de la GenAI<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p><\/p>\n<p>OpenAI\u2019s Sora, qui peut g\u00e9n\u00e9rer des vid\u00e9os et des environnements 3D interactifs \u00e0 la vol\u00e9e, est une d\u00e9monstration remarquable de la pointe de la GenAI \u2013 une v\u00e9ritable \u00e9tape importante.<\/p>\n<h2><span class=\"ez-toc-section\" id=\"Larchitecture_du_modele_dIA_appelee_diffusion_transformer\"><\/span>L\u2019architecture du mod\u00e8le d\u2019IA appel\u00e9e diffusion transformer<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p><\/p>\n<p>Mais curieusement, l\u2019une des innovations qui y ont conduit, une architecture de mod\u00e8le d\u2019IA connue sous le nom de diffusion transformer, est arriv\u00e9e sur la sc\u00e8ne de la recherche en IA il y a des ann\u00e9es.<\/p>\n<h2><span class=\"ez-toc-section\" id=\"Le_potentiel_de_transformation_de_la_diffusion_transformer\"><\/span>Le potentiel de transformation de la diffusion transformer<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p><\/p>\n<p>Le diffusion transformer, qui alimente \u00e9galement le g\u00e9n\u00e9rateur d\u2019images le plus r\u00e9cent de la startup d\u2019IA Stability AI, Stable Diffusion 3.0, semble pr\u00eat \u00e0 transformer le domaine de la GenAI en permettant aux mod\u00e8les de GenAI de s\u2019\u00e9tendre au-del\u00e0 de ce qui \u00e9tait auparavant possible.<\/p>\n<h2><span class=\"ez-toc-section\" id=\"Lorigine_du_diffusion_transformer\"><\/span>L\u2019origine du diffusion transformer<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p><\/p>\n<p>Saining Xie, professeur d\u2019informatique \u00e0 NYU, a commenc\u00e9 le projet de recherche qui a engendr\u00e9 le diffusion transformer en juin 2022. Avec William Peebles, son stagiaire au laboratoire de recherche en IA de Meta et maintenant le co-responsable de Sora chez OpenAI, Xie a combin\u00e9 deux concepts de l\u2019apprentissage automatique \u2013 la diffusion et le transformer \u2013 pour cr\u00e9er le diffusion transformer.<\/p>\n<h2><span class=\"ez-toc-section\" id=\"Le_processus_de_diffusion\"><\/span>Le processus de diffusion<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p><\/p>\n<p>La plupart des g\u00e9n\u00e9rateurs de m\u00e9dias aliment\u00e9s par l\u2019IA modernes, y compris DALL-E 3 d\u2019OpenAI, reposent sur un processus appel\u00e9 diffusion pour produire des images, des vid\u00e9os, des discours, de la musique, des maillages 3D, des \u0153uvres d\u2019art et plus encore.<\/p>\n<p>Ce n\u2019est pas l\u2019id\u00e9e la plus intuitive, mais en gros, du bruit est ajout\u00e9 lentement \u00e0 un m\u00e9dia \u2013 disons une image \u2013 jusqu\u2019\u00e0 ce qu\u2019il soit m\u00e9connaissable. Cela est r\u00e9p\u00e9t\u00e9 pour construire un ensemble de donn\u00e9es de m\u00e9dias bruyants. Lorsqu\u2019un mod\u00e8le de diffusion s\u2019entra\u00eene sur cela, il apprend comment soustraire progressivement le bruit, se rapprochant \u00e9tape par \u00e9tape d\u2019une sortie cible de m\u00e9dia (par exemple, une nouvelle image).<\/p>\n<h2><span class=\"ez-toc-section\" id=\"Les_avantages_des_transformers\"><\/span>Les avantages des transformers<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p><\/p>\n<p>Les transformers sont l\u2019architecture de choix pour les t\u00e2ches de raisonnement complexe, alimentant des mod\u00e8les tels que GPT-4, Gemini et ChatGPT. Ils ont plusieurs caract\u00e9ristiques uniques, mais de loin la caract\u00e9ristique d\u00e9terminante des transformers est leur \u00ab\u00a0m\u00e9canisme d\u2019attention\u00a0\u00bb. Pour chaque \u00e9l\u00e9ment de donn\u00e9es d\u2019entr\u00e9e (dans le cas de la diffusion, du bruit d\u2019image), les transformers pond\u00e8rent la pertinence de chaque autre entr\u00e9e (autre bruit dans une image) et en tirent des informations pour g\u00e9n\u00e9rer la sortie (une estimation du bruit de l\u2019image).<\/p>\n<p>Non seulement le m\u00e9canisme d\u2019attention rend les transformers plus simples que les autres architectures de mod\u00e8le, mais il rend \u00e9galement l\u2019architecture parall\u00e9lisable. En d\u2019autres termes, des mod\u00e8les de transformer de plus en plus grands peuvent \u00eatre entra\u00een\u00e9s avec des augmentations significatives mais pas inatteignables de la puissance de calcul.<\/p>\n<h2><span class=\"ez-toc-section\" id=\"La_revolution_des_transformers_dans_la_diffusion\"><\/span>La r\u00e9volution des transformers dans la diffusion<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p><\/p>\n<p>\u00ab\u00a0Ce que les transformers apportent au processus de diffusion \u00e9quivaut \u00e0 une mise \u00e0 niveau du moteur\u00a0\u00bb, a d\u00e9clar\u00e9 Xie \u00e0 Toukiela dans une interview par courrier \u00e9lectronique. \u00ab\u00a0L\u2019introduction des transformers\u2026 marque un bond significatif en termes de scalabilit\u00e9 et d\u2019efficacit\u00e9. Cela est particuli\u00e8rement \u00e9vident dans des mod\u00e8les comme Sora, qui b\u00e9n\u00e9ficient de l\u2019entra\u00eenement sur de vastes volumes de donn\u00e9es vid\u00e9o et exploitent de nombreux param\u00e8tres de mod\u00e8le pour mettre en valeur le potentiel de transformation des transformers lorsqu\u2019ils sont appliqu\u00e9s \u00e0 grande \u00e9chelle.\u00a0\u00bb<\/p>\n<h2><span class=\"ez-toc-section\" id=\"La_transition_vers_les_diffusion_transformers\"><\/span>La transition vers les diffusion transformers<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p><\/p>\n<p>Alors, \u00e9tant donn\u00e9 que l\u2019id\u00e9e des diffusion transformers existe depuis un certain temps, pourquoi a-t-il fallu des ann\u00e9es avant que des projets comme Sora et Stable Diffusion commencent \u00e0 les utiliser ? Xie pense que l\u2019importance d\u2019avoir un mod\u00e8le de base scalable n\u2019a \u00e9t\u00e9 mise en \u00e9vidence que r\u00e9cemment.<\/p>\n<p>\u00ab\u00a0L\u2019\u00e9quipe de Sora a vraiment fait des efforts consid\u00e9rables pour montrer tout ce que l\u2019on peut faire avec cette approche \u00e0 grande \u00e9chelle\u00a0\u00bb, dit-il. \u00ab\u00a0Ils ont quasiment \u00e9tabli que les U-Nets sont obsol\u00e8tes et que les transformers sont les mod\u00e8les de diffusion \u00e0 adopter d\u00e9sormais.\u00a0\u00bb<\/p>\n<h2><span class=\"ez-toc-section\" id=\"Les_avantages_des_diffusion_transformers\"><\/span>Les avantages des diffusion transformers<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p><\/p>\n<p>Les diffusion transformers devraient \u00eatre un remplacement simple pour les mod\u00e8les de diffusion existants, affirme Xie, que les mod\u00e8les g\u00e9n\u00e8rent des images, des vid\u00e9os, de l\u2019audio ou toute autre forme de m\u00e9dia. Le processus actuel de formation des diffusion transformers introduit potentiellement certaines inefficacit\u00e9s et pertes de performance, mais Xie pense que cela peut \u00eatre r\u00e9solu \u00e0 long terme.<\/p>\n<p>\u00ab\u00a0La principale conclusion est assez simple : oubliez les U-Nets et passez aux transformers, car ils sont plus rapides, fonctionnent mieux et sont plus scalables\u00a0\u00bb, dit-il. \u00ab\u00a0Je m\u2019int\u00e9resse \u00e0 l\u2019int\u00e9gration des domaines de la compr\u00e9hension et de la cr\u00e9ation de contenu dans le cadre des diffusion transformers. Pour le moment, ce sont comme deux mondes diff\u00e9rents \u2013 l\u2019un pour la compr\u00e9hension et l\u2019autre pour la cr\u00e9ation. J\u2019envisage un avenir o\u00f9 ces aspects seront int\u00e9gr\u00e9s, et je crois que pour r\u00e9aliser cette int\u00e9gration, il faut standardiser les architectures sous-jacentes, les transformers \u00e9tant un candidat id\u00e9al pour cet objectif.\u00a0\u00bb<\/p>\n<h2><span class=\"ez-toc-section\" id=\"Le_futur_des_diffusion_transformers\"><\/span>Le futur des diffusion transformers<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p><\/p>\n<p>Si Sora et Stable Diffusion 3.0 sont un aper\u00e7u de ce \u00e0 quoi s\u2019attendre avec les diffusion transformers, je dirais que nous sommes en route pour une aventure passionnante.<\/p>","protected":false},"excerpt":{"rendered":"","protected":false},"author":1,"featured_media":11147,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_seopress_robots_primary_cat":"","_seopress_titles_title":"","_seopress_titles_desc":"","_seopress_robots_index":"","footnotes":""},"categories":[608],"tags":[],"class_list":["post-11145","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-actualite-intelligence-artificielle","generate-columns","tablet-grid-50","mobile-grid-100","grid-parent","grid-50"],"_links":{"self":[{"href":"https:\/\/toukiela.com\/de\/wp-json\/wp\/v2\/posts\/11145","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/toukiela.com\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/toukiela.com\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/toukiela.com\/de\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/toukiela.com\/de\/wp-json\/wp\/v2\/comments?post=11145"}],"version-history":[{"count":1,"href":"https:\/\/toukiela.com\/de\/wp-json\/wp\/v2\/posts\/11145\/revisions"}],"predecessor-version":[{"id":11146,"href":"https:\/\/toukiela.com\/de\/wp-json\/wp\/v2\/posts\/11145\/revisions\/11146"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/toukiela.com\/de\/wp-json\/wp\/v2\/media\/11147"}],"wp:attachment":[{"href":"https:\/\/toukiela.com\/de\/wp-json\/wp\/v2\/media?parent=11145"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/toukiela.com\/de\/wp-json\/wp\/v2\/categories?post=11145"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/toukiela.com\/de\/wp-json\/wp\/v2\/tags?post=11145"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}