Una nueva solución para acceder a las GPU con Amazon EC2 Capacity Blocks para ML
Cada vez más empresas utilizan grandes modelos lingüísticos que requieren acceso a GPU. Las más populares son las de Nvidia, lo que hace que sean caras y a menudo estén agotadas. No siempre tiene sentido alquilar una instancia a largo plazo a un proveedor en la nube cuando solo se necesita acceder a estos costosos recursos para una única tarea.
Para solucionar este problema, AWS ha lanzado hoy Amazon Elastic Compute Cloud (EC2) Capacity Blocks for ML, que permite a los clientes adquirir acceso a estas GPU durante un periodo de tiempo determinado, normalmente para ejecutar una tarea relacionada con la IA como entrenar un modelo de aprendizaje automático o realizar un experimento con un modelo existente.
"Se trata de una nueva e innovadora forma de programar instancias de GPU, en la que puedes reservar el número de instancias que necesites para una fecha futura, durante el tiempo exacto que necesites", escribió Channy Yun en un artículo del blog anunciando esta nueva función.
El producto permite a los clientes acceder a las GPU Nvidia H100 Tensor Core en clusters de una a 64 instancias, con 8 GPU por instancia. Pueden reservar tiempo durante un máximo de 14 días, en incrementos de un día, con hasta ocho semanas de antelación. Una vez finalizado el periodo, las instancias se apagarán automáticamente.
Esta nueva solución permite a los usuarios contratar el número de instancias que necesiten durante un periodo de tiempo determinado, como si reservaran una habitación de hotel para un número determinado de días (según explica la compañía). Desde el punto de vista del cliente, sabrá exactamente cuánto durará el trabajo, cuántas GPU utilizará y cuánto le costará, lo que le proporcionará seguridad en los costes.
Para Amazon, esto le permite poner a trabajar estos recursos de alta demanda en un entorno casi parecido a una subasta, lo que le garantiza ingresos (sujetos a la llegada de clientes, por supuesto). El precio de acceso a estos recursos será realmente dinámico, variando en función de la oferta y la demanda, según la empresa.
Cuando un usuario se registra en el servicio, éste muestra el coste total para el periodo y los recursos. Los usuarios pueden ajustarlo al alza o a la baja, en función de sus necesidades de recursos y presupuesto, antes de aceptar la compra.
Esta nueva característica ya está disponible de forma general en la región de AWS US East (Ohio).