Vera desvela su impactante proyecto: ¡utilizar la IA para erradicar los comportamientos más perturbadores de los modelos generativos!

Liz O'Sullivan y su misión de hacer más segura la IA

Liz O'Sullivan es miembro del Comité Asesor Nacional sobre IA, que elabora recomendaciones para la Casa Blanca y el Congreso sobre cómo impulsar la adopción de la IA al tiempo que se regulan sus riesgos. Durante 12 años, O'Sullivan trabajó en startups de IA, supervisando el etiquetado de datos, las operaciones y el éxito de los clientes. En 2019, se unió al Surveillance Technology Oversight Project, lanzando campañas para proteger las libertades civiles de los neoyorquinos, y cofundó Arthur AI, una startup que colabora con la sociedad civil y el mundo académico para arrojar luz sobre la "caja negra" de la IA.

Vera: una start-up que pretende asegurar la IA generativa

Hoy, O'Sullivan se prepara para su próxima aventura con Vera, una start-up que está desarrollando un conjunto de herramientas que permite a las empresas establecer "políticas de uso aceptable" para la IA generativa -el tipo de modelos de IA que generan texto, imágenes, música, etc.- y aplicar estas políticas a modelos de código abierto y personalizados. - y aplicarlas a modelos de código abierto y personalizados.

2,7 millones de euros para Vera

Vera acaba de cerrar una ronda de financiación de 2,7 millones de dólares, liderada por Differential Venture Partners y con la participación de Essence VC, Everywhere VC, Betaworks, Greycroft y ATP Ventures. Según O'Sullivan, esta última inyección de liquidez, que eleva la recaudación total de Vera a 3,3 millones de dólares, se utilizará para ampliar el equipo de Vera, formado por cinco personas, para investigación y desarrollo y para ampliar las implantaciones en empresas.

El enfoque de Vera para garantizar la IA generativa

Vera intenta identificar los riesgos asociados a las entradas de los modelos -por ejemplo, una solicitud como "escriba una carta de presentación para un puesto de ingeniero de software" a un modelo de generación de texto- y bloquear, censurar o transformar las solicitudes que podrían contener información personal, información de seguridad, propiedad intelectual y ataques de inyección de solicitudes. Vera también impone restricciones a las respuestas de los modelos para dar a las empresas un mayor control sobre cómo se comportan sus modelos en producción.

Los retos de la adopción de la IA generativa para las empresas

Las empresas se enfrentan a retos, principalmente relacionados con el cumplimiento de la normativa, a la hora de adoptar modelos generativos de IA. Temen que sus datos confidenciales acaben en manos de desarrolladores que hayan entrenado los modelos con datos de usuarios. Recientemente, grandes empresas como Apple, Walmart y Verizon han prohibido a sus empleados el uso de herramientas como ChatGPT de OpenAI. Los modelos ofensivos también dañan la reputación de la marca. Ninguna empresa quiere que el modelo de generación de texto que alimenta su chatbot de atención al cliente profiera insultos racistas o dé consejos autodestructivos.

Competidores de Vera en el mercado de la moderación de modelos de IA

Vera no es la única empresa que ofrece soluciones de moderación de modelos en el incipiente mercado de la IA generativa. Nvidia ofrece NeMo Guardrails y Salesforce ofrece Einstein Trust Layer, que intentan evitar que los modelos de generación de texto retengan o reproduzcan datos sensibles. Microsoft también ofrece un servicio de IA para moderar el contenido de texto e imágenes, incluido el generado por plantillas. Además, start-ups como HiddenLayer, DynamoFL y Protect AI están desarrollando herramientas para defender los modelos generativos de IA contra los ataques de inyección de consultas.

Limitaciones potenciales de Vera

Aunque Vera tiene sus ventajas, es importante señalar que los modelos de IA no son perfectos y están sujetos a muchos sesgos. Algunos modelos de IA diseñados para detectar la toxicidad en el texto consideran "tóxicas" de forma desproporcionada las frases en inglés vernáculo afroamericano, la gramática informal utilizada por algunos afroamericanos. Además, se ha descubierto que algunos algoritmos de visión por ordenador se refieren a los termómetros que sostienen las personas de raza negra como "armas", mientras que se refieren a los termómetros que sostienen los sujetos de piel clara como "dispositivos electrónicos".

Conclusión

Aunque Vera no es infalible, ofrece un enfoque integral para combatir las amenazas de la IA generativa. Si la tecnología funciona como se anuncia, podría resultar atractiva para las empresas que buscan una solución completa para moderar contenidos y combatir los ataques a los modelos de IA. Por ahora, Vera ya cuenta con algunos clientes y ha abierto una lista de espera para otras empresas interesadas. Según O'Sullivan, Vera libera las capacidades de la IA generativa con la aplicación de políticas de seguridad que pueden transferirse no solo a los modelos actuales, sino también a los futuros, sin depender de un único proveedor.