¿Kubernetes simplificado? Microsoft agrega operador de herramientas de inteligencia artificial a su servicio Azure
¿Kubernetes más simple? Microsoft incorpora operador de herramientas de inteligencia artificial a su servicio Azure
Si quieres ejecutar aplicaciones de Inteligencia Artificial (IA) y aprendizaje automático como modelos de lenguaje grandes (LLMs, por sus siglas en inglés) a gran escala, debes ejecutarlos en Kubernetes. Sin embargo, dominar Kubernetes, el orquestador de contenedores favorito de todos, no es fácil. Ahí es donde entra en juego el operador de la infraestructura de control de Kubernetes (Kubernetes Al toolchain operator), la última incorporación al Servicio de Kubernetes de Azure (AKS) de Microsoft.
También: Microsoft Azure introduce la plataforma de desarrollo de código abierto Radius
AKS ya facilita la ejecución de Kubernetes en Azure. En lugar de trabajar en ello manualmente, las canalizaciones de código a la nube y las barreras de seguridad incorporadas de AKS te ofrecen una forma más rápida de comenzar a desarrollar e implementar aplicaciones nativas de la nube en Azure. Con su gestión y gobierno unificados para clústeres de Kubernetes en las instalaciones, en el borde y en la nube múltiple, AKS también facilita (no existe tal cosa como “fácil” cuando se trata de Kubernetes) la integración con los servicios de seguridad, identidad, gestión de costos y migración de Azure.
Lo que el operador de la infraestructura de control de Kubernetes de IA aporta es una manera automatizada de ejecutar cargas de trabajo de IA/ML con software de código abierto de manera rentable y con menos configuración manual. También automatiza la implementación de modelos LLM en AKS utilizando los recursos de CPU y GPU disponibles al seleccionar la infraestructura de tamaño óptimo para tu proyecto de LLM u otros proyectos.
El operador de la infraestructura de control de IA realiza esto mediante la provisión automática de los nodos GPU necesarios y la configuración del servidor de inferencia asociado como un servidor de punto final para tus modelos de IA. Un servidor de inferencia, como Hugging Face’s 7B o NVIDIA Triton Inference Server, aplica modelos de IA entrenados a datos de entrada para tomar decisiones en tiempo real. La inferencia es el proceso de ejecutar datos en vivo a través de un modelo de IA entrenado para hacer una predicción o resolver una tarea. El uso de este complemento reduce el tiempo de incorporación y te permite centrarte en el uso y desarrollo del modelo de IA en lugar de la configuración de la infraestructura.
- No esperaba que esta mini barra de sonido sonara tan grande, ¡y aho...
- Amazon lanza Astro for Business, un robot para proteger a las pymes
- Los mejores dispositivos Alexa que querrás agarrar en el Viernes Negro
También hace posible dividir fácilmente la inferencia en varias máquinas virtuales (VM) con GPU de menor capacidad. Esto significa que puedes ejecutar tus LLM en más regiones de Azure, eliminando así los tiempos de espera en las regiones de Azure con VM de mayor capacidad de GPU y reduciendo el costo total. En otras palabras, puedes ejecutar automáticamente tus LLM en regiones de menor potencia y costo más bajo. Sí, es posible que pierdas potencia de procesamiento, pero no todos los trabajos requieren mayor capacidad.
También: Probé las nuevas características de IA de Microsoft y estas 5 son las más útiles
Para facilitar la configuración, también puedes elegir entre modelos preestablecidos con imágenes alojadas en AKS. Esto reduce significativamente el tiempo de configuración del servicio en general. Una vez que haya estado en funcionamiento durante un tiempo, luego puedes ajustar tu modelo de Azure para que se adapte mejor a tu carga de trabajo.
Además, Gestor de flota de Kubernetes de Azure (Azure Kubernetes Fleet Manager) permite escenarios de múltiples clústeres y a gran escala para clústeres de AKS. Los administradores de plataforma que gestionan flotas de Kubernetes con muchos clústeres a menudo se enfrentan a desafíos al organizar las actualizaciones de manera segura y predecible. Esto permite a los administradores orquestar las actualizaciones en varios clústeres utilizando ejecuciones de actualización, etapas y grupos. Dado que las cargas de trabajo de IA/ML suelen ser muy exigentes, esto facilita en gran medida su gestión.
En resumen, si deseas realizar trabajos serios con IA/ML en Azure, el operador de la cadena de herramientas Kubernetes Al exige tu atención.
