Microsoft presenta PyRIT Una herramienta para identificar riesgos en sistemas de inteligencia artificial generativa.
PyRIT puede generar miles de indicaciones maliciosas para probar un modelo de IA generativo y evaluar su respuesta
“`html
Microsoft comparte su herramienta de seguridad de IA con el público
A pesar de las capacidades avanzadas de los modelos de IA generativos, hemos visto muchos casos en los que “se vuelven rebeldes”, alucinan o tienen lagunas que actores malintencionados pueden explotar. Para ayudar a mitigar ese problema, Microsoft está presentando una herramienta que puede ayudar a identificar riesgos en los sistemas de IA generativa.
El jueves, Microsoft lanzó su Python Risk Identification Toolkit para la IA generativa (PyRIT), una herramienta que el Equipo Rojo de IA de Microsoft ha estado utilizando para verificar los riesgos en sus sistemas de IA gen, incluido Copilot.
Una Nueva Era de Identificación de Riesgos para Sistemas de IA Generativa
En el último año, Microsoft realizó pruebas de penetración en más de 60 sistemas de IA gen de alto valor, a través de las cuales aprendió que el proceso de pruebas de penetración difiere enormemente para estos sistemas en comparación con la IA clásica o el software tradicional, según la publicación del blog.
- 💥 Reddit y Google se unen en un revolucionario acuerdo de $60 mill...
- Empresa de whisky escocés de 200 años adopta tecnología de IA media...
- 🚨 Llamado urgente a la legislación para combatir los deepfakes 🚨
El proceso es diferente porque Microsoft debe tener en cuenta los riesgos de seguridad habituales, además de los riesgos de IA responsables, como asegurarse de que no se pueda generar intencionadamente contenido dañino o de que los modelos no produzcan desinformación.
Además, los modelos de IA gen varían ampliamente en arquitectura, y hay desviaciones en los resultados que pueden producirse a partir de la misma entrada, lo que dificulta encontrar un proceso uniforme que se adapte a todos los modelos.
Presentando PyRIT: El Kit de Herramientas de Identificación de Riesgos de IA
Como resultado, sondeo manual de todos estos riesgos diferentes acaba siendo un proceso lento, tedioso y que consume mucho tiempo. Microsoft comparte que la automatización puede ayudar a los equipos de pruebas de penetración identificando áreas de riesgo que requieren más atención y automatizando tareas rutinarias, y ahí es donde entra en juego PyRIT.
El Python Risk Identification Toolkit, “probado en combate por el equipo de IA de Microsoft”, envía un estímulo malicioso al sistema de IA generativa, y una vez que recibe una respuesta, su agente evaluador le asigna al sistema una puntuación, que se utiliza para enviar un nuevo estímulo basado en la retroalimentación de puntuación anterior.
Microsoft afirma que la mayor ventaja de PyRIT es que ha ayudado a que los esfuerzos del equipo rojo de Microsoft sean más eficientes, acortando significativamente el tiempo que llevaría una tarea.
“Por ejemplo, en uno de nuestros ejercicios de pruebas de penetración en un sistema Copilot, pudimos elegir una categoría de daño, generar varios miles de estímulos maliciosos y utilizar el motor de puntuación de PyRIT para evaluar la salida del sistema Copilot todo en cuestión de horas en lugar de semanas,” dijo Microsoft en el comunicado.
Empezando con PyRIT
El kit de herramientas está disponible para acceso hoy e incluye una lista de demostraciones para familiarizar a los usuarios con la herramienta. Microsoft también está organizando un seminario web sobre PyRIT que demuestra cómo usarlo en pruebas de penetración en sistemas de IA generativa, al que puedes inscribirte a través del sitio web de Microsoft.
Preguntas y respuestas:
P: ¿Qué es la IA generativa?
La IA generativa se refiere a los modelos de inteligencia artificial que tienen la capacidad de crear nuevo contenido como imágenes, texto e incluso música sin intervención humana directa. Estos modelos se entrenan en conjuntos de datos grandes y pueden generar salidas similares a las en las que se entrenaron.
P: ¿Por qué es importante identificar riesgos en los sistemas de IA generativa?
Identificar riesgos en los sistemas de IA generativa es crucial para prevenir actividades maliciosas potenciales y consecuencias no deseadas. Sin una identificación adecuada de riesgos, estos sistemas pueden producir contenido dañino o engañoso, lo que los convierte en una amenaza potencial en diversos ámbitos como la ciberseguridad, la desinformación y la moderación de contenido.
P: ¿Cómo funciona PyRIT?
PyRIT, el Python Risk Identification Toolkit, envía estímulos maliciosos a un sistema de IA generativa y evalúa sus respuestas utilizando un agente evaluador. Según las puntuaciones recibidas, PyRIT genera nuevos estímulos para probar aún más el comportamiento del sistema. Este proceso automatizado ayuda a identificar riesgos potenciales de manera rápida y eficiente.
P: ¿Se puede utilizar PyRIT con cualquier sistema de IA generativa?
PyRIT está diseñado para ser adaptable a diferentes arquitecturas de IA generativa. Dado que los diferentes modelos tienen características únicas y producen salidas variables a partir de las mismas entradas, PyRIT ofrece un enfoque flexible para la identificación de riesgos. Se puede adaptar a los requisitos específicos del sistema, lo que lo hace adecuado para una amplia gama de sistemas de IA generativa.
“““html
P: ¿Dónde puedo acceder a PyRIT?
PyRIT está disponible para su acceso hoy. Puedes encontrar el kit de herramientas y recursos adicionales en el sitio web de Microsoft. También hay un seminario web organizado por Microsoft que demuestra cómo utilizar PyRIT en sistemas de inteligencia artificial generativa de red teaming. Regístrate para el seminario web a través del enlace proporcionado.
Al lanzar PyRIT, Microsoft tiene como objetivo mejorar la seguridad y el uso responsable de los sistemas de inteligencia artificial generativa. Esta herramienta innovadora no solo agiliza el proceso de identificación de riesgos, sino que también permite a los equipos rojos detectar y abordar vulnerabilidades potenciales de manera más eficiente. A medida que la inteligencia artificial generativa avanza, se vuelve cada vez más importante adelantarse a los riesgos y garantizar la implementación segura de estas potentes tecnologías.
Referencias:
- Walmart Debuts Generative AI Search and AI Replenishment Features at CES (TechCrunch)
- Microsoft’s Copilot Pro $20 Monthly Subscription with Advanced AI Features
- Cómo los tecnólogos del Renacimiento están conectando los puntos entre la IA y los negocios
- Conoce a los bromistas Goody2, el chatbot de IA más responsable del mundo
- ¿Quieres trabajar en IA? Cómo cambiar tu carrera en 5 pasos
- Cómo los profesionales de la tecnología pueden sobrevivir y prosperar en el trabajo en la era de la IA
No olvides compartir este artículo en redes sociales para difundir la noticia sobre la nueva herramienta PyRIT y su impacto en el futuro de los sistemas de IA generativa! 💻🚀
“`
