{"id":8992,"date":"2023-12-24T18:58:45","date_gmt":"2023-12-24T16:58:45","guid":{"rendered":"https:\/\/toukiela.com\/openai-renforce-son-equipe-de-securite-et-accorde-un-pouvoir-de-veto-au-conseil-dadministration-sur-lia-a-risque-decouvrez-les-mesures-cruciales-prises-par-openai-pour-assurer-votre-securite\/"},"modified":"2023-12-24T18:58:46","modified_gmt":"2023-12-24T16:58:46","slug":"openai-renforce-son-equipe-de-securite-et-accorde-un-pouvoir-de-veto-au-conseil-dadministration-sur-lia-a-risque-decouvrez-les-mesures-cruciales-prises-par-openai-pour-assurer-votre-securite","status":"publish","type":"post","link":"https:\/\/toukiela.com\/es\/openai-renforce-son-equipe-de-securite-et-accorde-un-pouvoir-de-veto-au-conseil-dadministration-sur-lia-a-risque-decouvrez-les-mesures-cruciales-prises-par-openai-pour-assurer-votre-securite\/","title":{"rendered":"OpenAI renforce son \u00e9quipe de s\u00e9curit\u00e9 et accorde un pouvoir de veto au conseil d&rsquo;administration sur l&rsquo;IA \u00e0 risque &#8211; D\u00e9couvrez les mesures cruciales prises par OpenAI pour assurer votre s\u00e9curit\u00e9 !"},"content":{"rendered":"<p><em><\/em><\/p>\n<div id=\"ez-toc-container\" class=\"ez-toc-v2_0_82_2 counter-hierarchy ez-toc-counter ez-toc-grey ez-toc-container-direction\">\n<p class=\"ez-toc-title\" style=\"cursor:inherit\">Contenido<\/p>\n<label for=\"ez-toc-cssicon-toggle-item-69f1fb95ca306\" class=\"ez-toc-cssicon-toggle-label\"><span class=\"\"><span class=\"eztoc-hide\" style=\"display:none;\">Toggle<\/span><span class=\"ez-toc-icon-toggle-span\"><svg style=\"fill: #999;color:#999\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" class=\"list-377408\" width=\"20px\" height=\"20px\" viewbox=\"0 0 24 24\" fill=\"none\"><path d=\"M6 6H4v2h2V6zm14 0H8v2h12V6zM4 11h2v2H4v-2zm16 0H8v2h12v-2zM4 16h2v2H4v-2zm16 0H8v2h12v-2z\" fill=\"currentColor\"><\/path><\/svg><svg style=\"fill: #999;color:#999\" class=\"arrow-unsorted-368013\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" width=\"10px\" height=\"10px\" viewbox=\"0 0 24 24\" version=\"1.2\" baseprofile=\"tiny\"><path d=\"M18.2 9.3l-6.2-6.3-6.2 6.3c-.2.2-.3.4-.3.7s.1.5.3.7c.2.2.4.3.7.3h11c.3 0 .5-.1.7-.3.2-.2.3-.5.3-.7s-.1-.5-.3-.7zM5.8 14.7l6.2 6.3 6.2-6.3c.2-.2.3-.5.3-.7s-.1-.5-.3-.7c-.2-.2-.4-.3-.7-.3h-11c-.3 0-.5.1-.7.3-.2.2-.3.5-.3.7s.1.5.3.7z\"\/><\/svg><\/span><\/span><\/label><input type=\"checkbox\"  id=\"ez-toc-cssicon-toggle-item-69f1fb95ca306\"  aria-label=\"Alternar\" \/><nav><ul class='ez-toc-list ez-toc-list-level-1' ><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-1\" href=\"https:\/\/toukiela.com\/es\/openai-renforce-son-equipe-de-securite-et-accorde-un-pouvoir-de-veto-au-conseil-dadministration-sur-lia-a-risque-decouvrez-les-mesures-cruciales-prises-par-openai-pour-assurer-votre-securite\/#OpenAI_renforce_ses_processus_de_securite_interne_pour_contrer_la_menace_de_lIA_nuisible\" >OpenAI renforce ses processus de s\u00e9curit\u00e9 interne pour contrer la menace de l\u2019IA nuisible<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-2\" href=\"https:\/\/toukiela.com\/es\/openai-renforce-son-equipe-de-securite-et-accorde-un-pouvoir-de-veto-au-conseil-dadministration-sur-lia-a-risque-decouvrez-les-mesures-cruciales-prises-par-openai-pour-assurer-votre-securite\/#Une_approche_de_securite_renouvelee\" >Une approche de s\u00e9curit\u00e9 renouvel\u00e9e<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-3\" href=\"https:\/\/toukiela.com\/es\/openai-renforce-son-equipe-de-securite-et-accorde-un-pouvoir-de-veto-au-conseil-dadministration-sur-lia-a-risque-decouvrez-les-mesures-cruciales-prises-par-openai-pour-assurer-votre-securite\/#Le_%C2%AB_Cadre_de_preparation_%C2%BB_dOpenAI\" >Le \u00ab\u00a0Cadre de pr\u00e9paration\u00a0\u00bb d\u2019OpenAI<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-4\" href=\"https:\/\/toukiela.com\/es\/openai-renforce-son-equipe-de-securite-et-accorde-un-pouvoir-de-veto-au-conseil-dadministration-sur-lia-a-risque-decouvrez-les-mesures-cruciales-prises-par-openai-pour-assurer-votre-securite\/#Une_approche_par_equipes_specialisees\" >Une approche par \u00e9quipes sp\u00e9cialis\u00e9es<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-5\" href=\"https:\/\/toukiela.com\/es\/openai-renforce-son-equipe-de-securite-et-accorde-un-pouvoir-de-veto-au-conseil-dadministration-sur-lia-a-risque-decouvrez-les-mesures-cruciales-prises-par-openai-pour-assurer-votre-securite\/#Un_groupe_consultatif_en_securite\" >Un groupe consultatif en s\u00e9curit\u00e9<\/a><\/li><\/ul><\/nav><\/div>\n<h2><span class=\"ez-toc-section\" id=\"OpenAI_renforce_ses_processus_de_securite_interne_pour_contrer_la_menace_de_lIA_nuisible\"><\/span>OpenAI renforce ses processus de s\u00e9curit\u00e9 interne pour contrer la menace de l\u2019IA nuisible<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>OpenAI \u00e9tend ses processus de s\u00e9curit\u00e9 internes pour contrer la menace de l\u2019IA nuisible. Un nouveau \u00ab\u00a0groupe consultatif sur la s\u00e9curit\u00e9\u00a0\u00bb si\u00e9gera au-dessus des \u00e9quipes techniques et fera des recommandations \u00e0 la direction, et le conseil d\u2019administration s\u2019est vu accorder un droit de veto \u2013 bien s\u00fbr, s\u2019il l\u2019utilisera r\u00e9ellement est une autre question.<\/p>\n<h2><span class=\"ez-toc-section\" id=\"Une_approche_de_securite_renouvelee\"><\/span>Une approche de s\u00e9curit\u00e9 renouvel\u00e9e<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>Normalement, les d\u00e9tails de politiques comme celles-ci ne n\u00e9cessitent pas de couverture, car en pratique, elles se r\u00e9sument \u00e0 de nombreuses r\u00e9unions \u00e0 huis clos avec des fonctions obscures et des flux de responsabilit\u00e9 auxquels les \u00e9trangers auront rarement acc\u00e8s. Bien que cela soit probablement aussi vrai dans ce cas, les r\u00e9centes frictions au sein de la direction et la discussion en \u00e9volution sur les risques li\u00e9s \u00e0 l\u2019IA justifient de regarder comment la principale soci\u00e9t\u00e9 de d\u00e9veloppement d\u2019IA au monde aborde les consid\u00e9rations de s\u00e9curit\u00e9.<\/p>\n<h2><span class=\"ez-toc-section\" id=\"Le_%C2%AB_Cadre_de_preparation_%C2%BB_dOpenAI\"><\/span>Le \u00ab\u00a0Cadre de pr\u00e9paration\u00a0\u00bb d\u2019OpenAI<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>Dans un nouveau document et un article de blog, OpenAI pr\u00e9sente son \u00ab\u00a0Cadre de pr\u00e9paration\u00a0\u00bb mis \u00e0 jour, qui a probablement \u00e9t\u00e9 retravaill\u00e9 apr\u00e8s les remous de novembre qui ont entra\u00een\u00e9 le d\u00e9part des deux membres les plus \u00ab\u00a0d\u00e9c\u00e9l\u00e9rationnistes\u00a0\u00bb du conseil d\u2019administration : Ilya Sutskever (qui est toujours \u00e0 l\u2019entreprise dans un r\u00f4le quelque peu modifi\u00e9) et Helen Toner (qui est partie).<\/p>\n<p>La principale raison de cette mise \u00e0 jour semble \u00eatre de montrer une voie claire pour identifier, analyser et d\u00e9cider quoi faire face aux risques \u00ab\u00a0catastrophiques\u00a0\u00bb inh\u00e9rents aux mod\u00e8les qu\u2019ils d\u00e9veloppent. Comme ils le d\u00e9finissent :<\/p>\n<blockquote>\n<p>Par risque catastrophique, nous entendons tout risque qui pourrait entra\u00eener des centaines de milliards de dollars de dommages \u00e9conomiques ou causer des dommages graves ou la mort de nombreuses personnes \u2013 cela comprend, mais n\u2019est pas limit\u00e9, aux risques existentiels.<\/p>\n<\/blockquote>\n<p>(Les risques existentiels sont du type \u00ab\u00a0mont\u00e9e des machines\u00a0\u00bb.)<\/p>\n<h2><span class=\"ez-toc-section\" id=\"Une_approche_par_equipes_specialisees\"><\/span>Une approche par \u00e9quipes sp\u00e9cialis\u00e9es<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>Les mod\u00e8les en production sont r\u00e9gis par une \u00e9quipe de \u00ab\u00a0syst\u00e8mes de s\u00e9curit\u00e9\u00a0\u00bb ; cela concerne, par exemple, les abus syst\u00e9matiques de ChatGPT qui peuvent \u00eatre att\u00e9nu\u00e9s par des restrictions d\u2019API ou un r\u00e9glage. Les mod\u00e8les de pointe en d\u00e9veloppement rel\u00e8vent de l\u2019\u00e9quipe \u00ab\u00a0pr\u00e9paration\u00a0\u00bb, qui tente d\u2019identifier et de quantifier les risques avant la mise en service du mod\u00e8le. Et puis il y a l\u2019\u00e9quipe de \u00ab\u00a0superalignement\u00a0\u00bb, qui travaille sur des guides th\u00e9oriques pour les mod\u00e8les \u00ab\u00a0superintelligents\u00a0\u00bb, qui pourraient \u00eatre encore loin d\u2019\u00eatre une r\u00e9alit\u00e9.<\/p>\n<p>Les deux premi\u00e8res cat\u00e9gories, \u00e9tant r\u00e9elles et non fictives, ont une grille de lecture relativement facile \u00e0 comprendre. Leurs \u00e9quipes \u00e9valuent chaque mod\u00e8le selon quatre cat\u00e9gories de risques : la cybers\u00e9curit\u00e9, la \u00ab\u00a0persuasion\u00a0\u00bb (par exemple, la d\u00e9sinformation), l\u2019autonomie du mod\u00e8le (c\u2019est-\u00e0-dire son action autonome) et les risques CBRN (chimiques, biologiques, radiologiques et nucl\u00e9aires ; par exemple, la capacit\u00e9 de cr\u00e9er des agents pathog\u00e8nes nouveaux).<\/p>\n<p>Diverses mesures d\u2019att\u00e9nuation sont prises en compte : par exemple, une r\u00e9ticence raisonnable \u00e0 d\u00e9crire le processus de fabrication du napalm ou des bombes artisanales. Apr\u00e8s avoir pris en compte les mesures d\u2019att\u00e9nuation connues, si un mod\u00e8le est toujours \u00e9valu\u00e9 comme pr\u00e9sentant un risque \u00ab\u00a0\u00e9lev\u00e9\u00a0\u00bb, il ne peut pas \u00eatre d\u00e9ploy\u00e9, et si un mod\u00e8le pr\u00e9sente des risques \u00ab\u00a0critiques\u00a0\u00bb, il ne sera pas d\u00e9velopp\u00e9 davantage.<\/p>\n<div id=\"attachment_2643399\" style=\"width: 917px\" class=\"wp-caption aligncenter\">\n<p id=\"caption-attachment-2643399\" class=\"wp-caption-text\">Exemple d\u2019\u00e9valuation des risques d\u2019un mod\u00e8le selon la grille de lecture d\u2019OpenAI. <strong>Cr\u00e9ditos de las im\u00e1genes :<\/strong> OpenAI<\/p>\n<\/div>\n<p>Ces niveaux de risque sont r\u00e9ellement document\u00e9s dans le cadre, au cas o\u00f9 vous vous demandiez s\u2019ils sont laiss\u00e9s \u00e0 la discr\u00e9tion d\u2019un ing\u00e9nieur ou d\u2019un responsable de produit.<\/p>\n<p>Par exemple, dans la section sur la cybers\u00e9curit\u00e9, qui est la plus pratique de toutes, il est consid\u00e9r\u00e9 comme un risque \u00ab\u00a0moyen\u00a0\u00bb d'\u00a0\u00bbaugmenter la productivit\u00e9 des op\u00e9rateurs\u2026 sur des t\u00e2ches cl\u00e9s d\u2019op\u00e9rations cybern\u00e9tiques\u00a0\u00bb d\u2019un certain facteur. Un mod\u00e8le \u00e0 haut risque, en revanche, \u00ab\u00a0identifierait et d\u00e9velopperait des preuves de concept pour des exploits de grande valeur contre des cibles renforc\u00e9es sans intervention humaine\u00a0\u00bb. Le risque critique est lorsque le \u00ab\u00a0mod\u00e8le peut concevoir et ex\u00e9cuter des strat\u00e9gies enti\u00e8rement nouvelles d\u2019attaques cybern\u00e9tiques contre des cibles renforc\u00e9es en ne se basant que sur un objectif souhait\u00e9 de haut niveau\u00a0\u00bb. \u00c9videmment, nous ne voulons pas que cela se produise (m\u00eame si cela se vendrait \u00e0 un bon prix).<\/p>\n<p>J\u2019ai demand\u00e9 \u00e0 OpenAI plus d\u2019informations sur la mani\u00e8re dont ces cat\u00e9gories sont d\u00e9finies et affin\u00e9es \u2013 par exemple, si un nouveau risque comme des vid\u00e9os photor\u00e9alistes truqu\u00e9es de personnes rel\u00e8ve de la cat\u00e9gorie \u00ab\u00a0persuasion\u00a0\u00bb ou d\u2019une nouvelle cat\u00e9gorie \u2013 et je mettrai \u00e0 jour cet article si j\u2019ai une r\u00e9ponse.<\/p>\n<h2><span class=\"ez-toc-section\" id=\"Un_groupe_consultatif_en_securite\"><\/span>Un groupe consultatif en s\u00e9curit\u00e9<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>Cependant, les personnes qui cr\u00e9ent ces mod\u00e8les ne sont pas n\u00e9cessairement les mieux plac\u00e9es pour les \u00e9valuer et formuler des recommandations. C\u2019est pourquoi OpenAI cr\u00e9e un \u00ab\u00a0groupe consultatif en s\u00e9curit\u00e9 interfonctionnel\u00a0\u00bb qui si\u00e9gera au-dessus du c\u00f4t\u00e9 technique, examinant les rapports des experts et formulant des recommandations en ayant une vision plus large. Esp\u00e9rons (disent-ils) que cela permettra de d\u00e9couvrir des \u00ab\u00a0inconnues inconnues\u00a0\u00bb, bien que par nature, celles-ci soient assez difficiles \u00e0 d\u00e9tecter.<\/p>\n<p>Le processus exige que ces recommandations soient envoy\u00e9es simultan\u00e9ment au conseil d\u2019administration et \u00e0 la direction, ce qui, selon nous, signifie le PDG Sam Altman et le CTO Mira Murati, ainsi que leurs lieutenants. La direction prendra la d\u00e9cision d\u2019exp\u00e9dier ou de mettre en attente, mais le conseil d\u2019administration pourra inverser ces d\u00e9cisions.<\/p>\n<p>Cela permettra de court-circuiter tout ce qui s\u2019est dit avoir d\u00e9j\u00e0 eu lieu avant le grand drame, c\u2019est-\u00e0-dire la validation d\u2019un produit ou d\u2019un processus \u00e0 haut risque sans que le conseil d\u2019administration en soit inform\u00e9 ou l\u2019approuve. Bien s\u00fbr, le r\u00e9sultat de ce drame a \u00e9t\u00e9 la mise \u00e0 l\u2019\u00e9cart de deux des voix les plus critiques et la nomination de personnes ax\u00e9es sur l\u2019argent (Bret Taylor et Larry Summers), qui sont certes comp\u00e9tentes, mais loin d\u2019\u00eatre des experts en IA.<\/p>\n<p>Si un panel d\u2019experts formule une recommandation et que le PDG prend des d\u00e9cisions en se basant sur ces informations, ce conseil amical se sentira-t-il vraiment habilit\u00e9 \u00e0 les contredire et \u00e0 freiner le processus ? Et s\u2019ils le font, en sera-t-il fait \u00e9tat ? La transparence n\u2019est pas vraiment abord\u00e9e, en dehors de la promesse qu\u2019OpenAI sollicitera des audits de tiers ind\u00e9pendants.<\/p>\n<p>Si un mod\u00e8le est d\u00e9velopp\u00e9 qui justifie une cat\u00e9gorie de risque \u00ab\u00a0critique\u00a0\u00bb, OpenAI ne s\u2019est pas g\u00ean\u00e9 pour se vanter de ce genre de chose dans le pass\u00e9 \u2013 parler de la puissance incroyable de leurs mod\u00e8les, au point de refuser de les diffuser, est une excellente publicit\u00e9. Mais avons-nous une garantie que cela se produira, si les risques sont r\u00e9els et si OpenAI en est si pr\u00e9occup\u00e9 ? Peut-\u00eatre que c\u2019est une mauvaise id\u00e9e. Mais quoi qu\u2019il en soit, cela n\u2019est pas vraiment mentionn\u00e9.<\/p>","protected":false},"excerpt":{"rendered":"","protected":false},"author":1,"featured_media":8994,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_seopress_robots_primary_cat":"","_seopress_titles_title":"","_seopress_titles_desc":"","_seopress_robots_index":"","footnotes":""},"categories":[608],"tags":[],"class_list":["post-8992","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-actualite-intelligence-artificielle","generate-columns","tablet-grid-50","mobile-grid-100","grid-parent","grid-50"],"_links":{"self":[{"href":"https:\/\/toukiela.com\/es\/wp-json\/wp\/v2\/posts\/8992","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/toukiela.com\/es\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/toukiela.com\/es\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/toukiela.com\/es\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/toukiela.com\/es\/wp-json\/wp\/v2\/comments?post=8992"}],"version-history":[{"count":1,"href":"https:\/\/toukiela.com\/es\/wp-json\/wp\/v2\/posts\/8992\/revisions"}],"predecessor-version":[{"id":8993,"href":"https:\/\/toukiela.com\/es\/wp-json\/wp\/v2\/posts\/8992\/revisions\/8993"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/toukiela.com\/es\/wp-json\/wp\/v2\/media\/8994"}],"wp:attachment":[{"href":"https:\/\/toukiela.com\/es\/wp-json\/wp\/v2\/media?parent=8992"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/toukiela.com\/es\/wp-json\/wp\/v2\/categories?post=8992"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/toukiela.com\/es\/wp-json\/wp\/v2\/tags?post=8992"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}