Los Titanes de la IA prestan una atención (ínfima) a los investigadores de seguridad de la IA: ¡nunca adivinarías hasta qué punto!

Un nuevo fondo de investigación para la evaluación de modelos de IA

El Frontier Model Forum, una organización del sector centrada en el estudio de modelos de IA "de frontera" como GPT-4 y ChatGPT, ha anunciado hoy que ha destinado 10 millones de dólares a un nuevo fondo para avanzar en la investigación de herramientas que permitan evaluar los mejores modelos de IA.

Apoyo financiero a los investigadores

El fondo, según el Frontier Model Forum -entre cuyos miembros figuran Anthropic, Google, Microsoft y OpenAI- apoyará a investigadores afiliados a instituciones académicas, centros de investigación y empresas de nueva creación. La financiación inicial procederá tanto del Frontier Model Forum como de sus socios filantrópicos, la Fundación Patrick J. McGovern, la Fundación David y Lucile Packard, el antiguo CEO de Google Eric Schmidt y el multimillonario estonio Jaan Tallinn.

Administración de fondos

El fondo será administrado por el Meridian Institute, una organización sin ánimo de lucro con sede en Washington D.C., que publicará una convocatoria de propuestas "en los próximos meses", según el Frontier Model Forum. El trabajo del Instituto contará con el apoyo de un consejo asesor de expertos externos, expertos en empresas de IA y "personas con experiencia en la financiación de proyectos", añadió el Frontier Model Forum, sin especificar exactamente quiénes son estos expertos y personas ni el tamaño del consejo asesor en cuestión.

Petición de contribuciones

"Esperamos contribuciones adicionales de otros socios", dice un comunicado de prensa publicado por el Frontier Model Forum en varios blogs oficiales. "El principal objetivo del fondo será apoyar el desarrollo de nuevas evaluaciones y técnicas de modelización... para desarrollar y probar técnicas de evaluación de las capacidades potencialmente peligrosas de los sistemas fronterizos".

Comparación con las inversiones comerciales

En efecto, 10 millones de dólares no es poco. (Más exactamente, son 10 millones de dólares en promesas; la Fundación David y Lucile Packard aún no ha comprometido oficialmente la financiación). Pero en el contexto de la investigación sobre la seguridad de la IA, parece bastante conservador, al menos comparado con lo que los miembros del Frontier Model Forum han gastado en sus actividades comerciales.

Este mismo año, Anthropic recaudó miles de millones de dólares de Amazon para desarrollar un asistente de IA de nueva generación, tras una inversión de 300 millones de dólares de Google. Microsoft ha prometido 10.000 millones de dólares a OpenAI, que tiene unas ventas anuales de más de 1.000 millones de dólares y está en conversaciones para vender acciones, lo que elevaría su valoración a casi 90.000 millones de dólares.

Comparación con otras ayudas a la seguridad de la IA

El fondo también es pequeño en comparación con otras subvenciones a la seguridad de la IA. Open Philanthropy, la fundación de financiación e investigación cofundada por el fundador de Facebook, Dustin Moskovitz, ha donado unos 307 millones de dólares a la seguridad de la IA, según un análisis del blog Less Wrong. The Survival and Flourishing Fund, una empresa con ánimo de lucro financiada principalmente por Tallinn, ha donado unos 30 millones de dólares a proyectos de seguridad de la IA. Y la Fundación Nacional de la Ciencia de EE.UU. ha declarado que destinará 20 millones de dólares a la investigación de la seguridad de la IA en los próximos dos años, con el apoyo de subvenciones de Open Philanthropy.

El elevado coste de la investigación sobre seguridad de la IA

Los investigadores de seguridad de IA no necesariamente entrenarán modelos de nivel GPT-4 desde cero. Pero incluso los modelos más pequeños y menos capaces que podrían querer probar serían caros de desarrollar con los equipos actuales, con costes que van desde cientos de miles de dólares a millones. Esto sin tener en cuenta otros gastos generales, como los salarios de los investigadores. (Los científicos de datos no son baratos).

Mayor potencial de fondos en el futuro

El Frontier Model Forum insinúa la creación de un fondo mayor en el futuro. Si se materializa, podría tener la oportunidad de hacer avanzar la investigación sobre la seguridad de la IA, siempre que los patrocinadores del fondo con ánimo de lucro se abstengan de ejercer una influencia indebida en la investigación. Pero en cualquier caso, el tramo inicial parece demasiado limitado para lograr mucho.