Las grandes tecnológicas abandonaron la confianza y la seguridad. Ahora las startups la están vendiendo como un servicio
Las grandes empresas tecnológicas han perdido la confianza y la seguridad. Ahora, las startups las están ofreciendo como un servicio'.
Despidos masivos en el sector tecnológico han golpeado duramente a los equipos de confianza y seguridad durante el último año. Pero con guerras en Ucrania y Oriente Medio y más de 50 elecciones que se celebrarán en los próximos 12 meses, los expertos temen que una incipiente industria de startups creadas para mantener a las personas seguras en línea no pueda hacer frente.
Los recortes hicieron titulares hace un año, cuando X (entonces Twitter) despidió a 3,700 personas, incluyendo a cientos en roles de confianza y seguridad. Desde entonces, Meta, Alphabet y Amazon han realizado recortes similares. Los despidos en X inspiraron a otras plataformas a hacer lo mismo, argumenta Sabhanaz Rashid Diya, directora fundadora del grupo de expertos en políticas tecnológicas Tech Global Institute y ex miembro del equipo de políticas de Meta. “En muchos aspectos, Twitter se salió con la suya”, dice ella. “Eso le ha dado a las otras compañías la confianza para decir: ‘¿Sabes qué? Está bien. Puedes sobrevivir y no enfrentar una terrible consecuencia'”.
Sin embargo, el costo de estos recortes es sin duda ya evidente en la forma en que las principales plataformas se han apresurado a responder a la guerra entre Israel y Hamas. Y el alejamiento de los equipos internos de confianza y seguridad ha creado una oportunidad para que las consultorías y las nuevas empresas ofrezcan algo nuevo: confianza y seguridad como servicio.
Estas empresas, muchas de las cuales fueron fundadas y están dirigidas por personas con pedigrí en Big Tech, permiten a las plataformas “comprar en lugar de construir” servicios de confianza y seguridad, según Talha Baig, un ex ingeniero de Meta cuya startup, Sero AI, recientemente recibió respaldo del acelerador Y Combinator. “Hay mucho más trabajo disponible en el mercado, y también hay muchos más clientes dispuestos a comprar ese trabajo”.
Pero los expertos advierten que subcontratar la confianza y la seguridad también significa subcontratar responsabilidades a equipos sin poder para cambiar la forma en que realmente funcionan las plataformas.
- WeWork Acaba de Declararse en Bancarrota
- Inteligencia artificial y medios de comunicación conENBLE el nuevo ...
- Yuga Labs’ ApeFest enfrenta escrutinio por iluminación tras i...
Sahar Massachi, ex miembro del equipo de integridad cívica de Meta y cofundador y director ejecutivo del think tank Integrity Institute, teme que al subcontratar funciones clave, las plataformas puedan socavar su capacidad para mejorar productos. Los problemas de confianza y seguridad a veces pueden estar más relacionados con el diseño del producto que con la moderación activa: ¿debería un usuario poder compartir contenido nuevamente? ¿Cuánto peso deberían tener diferentes métricas dentro de un algoritmo de recomendación? “Los proveedores podrían ser excelentes, pero no podrán tener una visión de eso debido a las formas en que funcionan las empresas”, dice Massachi.
Lo mismo ocurre con los sistemas de inteligencia artificial que las empresas utilizan para ayudar a detectar contenido potencialmente peligroso o abusivo. A menudo, las plataformas utilizan grandes cantidades de datos para construir herramientas internas que les ayuden a agilizar ese proceso, dice Louis-Victor de Franssu, cofundador de la plataforma de confianza y seguridad Tremau. Pero muchas de estas empresas tienen que confiar en modelos disponibles comercialmente para construir sus sistemas, lo que podría introducir nuevos problemas.
“Hay empresas que dicen que venden inteligencia artificial, pero en realidad lo que hacen es combinar diferentes modelos”, dice Franssu. Esto significa que una empresa podría combinar diferentes modelos de aprendizaje automático, por ejemplo, uno que detecta la edad de un usuario y otro que detecta la desnudez para señalar posibles materiales de abuso sexual infantil, en un servicio que ofrecen a los clientes.
Y aunque esto puede hacer que los servicios sean más baratos, también significa que cualquier problema en un modelo utilizado por un subcontratista se replicará en todos sus clientes, dice Gabe Nicholas, investigador asociado del Centro para la Democracia y la Tecnología. “Desde una perspectiva de libertad de expresión, eso significa que si hay un error en una plataforma, no puedes llevar tu discurso a otro lugar; si hay un error, ese error se propagará en todas partes”. Este problema puede agravarse si varios subcontratistas están utilizando los mismos modelos fundamentales.
Al subcontratar funciones críticas a terceros, las plataformas también podrían dificultar que las personas comprendan dónde se están tomando las decisiones de moderación, o que la sociedad civil, los grupos de expertos y las organizaciones sin fines de lucro que vigilan de cerca a las principales plataformas, sepan dónde ubicar la responsabilidad de los fallos.
“[Muchos observadores] hablan como si estas grandes plataformas fueran las que toman las decisiones. Ahí es donde tantas personas en la academia, la sociedad civil y el gobierno dirigen sus críticas”, dice Nicholas. “La idea de que tal vez estemos señalando el lugar equivocado es un pensamiento aterrador”.
Históricamente, grandes empresas como Telus, Teleperformance y Accenture serían contratadas para gestionar una parte clave del trabajo de confianza y seguridad externalizado: la moderación de contenido. Esto a menudo se veía como centros de llamadas, con grandes cantidades de personal mal remunerado que analizaba manualmente las publicaciones para decidir si violaban las políticas de la plataforma en cuanto a discursos de odio, spam o contenido explícito. Las nuevas empresas de confianza y seguridad están optando cada vez más por la automatización y la inteligencia artificial, especializándose a menudo en ciertos tipos de contenido o áreas temáticas, como el terrorismo o el abuso sexual infantil, o centrándose en un medio específico, como el texto frente al video. Otros están desarrollando herramientas que permiten a un cliente ejecutar diversos procesos de confianza y seguridad a través de una única interfaz.
Las grandes empresas tecnológicas tienden a ver la confianza y seguridad como un centro de costos, señala Baig, algo que deben hacer para mantener a raya a los reguladores y grupos de la sociedad civil, pero sin mucho valor monetario. Pero eso pronto podría cambiar. La Ley de Servicios Digitales de la Unión Europea y la Ley de Seguridad en Línea del Reino Unido, por ejemplo, han creado nuevas obligaciones para las grandes y pequeñas empresas tecnológicas de supervisar lo que ocurre en sus plataformas, y estas legislaciones permiten a los gobiernos imponer multas enormes.
“Las empresas no cambian la forma en que moderan el contenido de su plataforma para obtener un 5, 10 o 30 por ciento más de eficiencia”, dice Franssu de Tremau. “Lo que les motivará es si tienen miedo de recibir multas, especialmente multas tan grandes como el 6 por ciento de los ingresos anuales globales o responsabilidad penal, como podríamos ver en el Reino Unido”.
Las nuevas regulaciones en el Reino Unido y Europa también afectarán a plataformas más pequeñas, especialmente en cuanto al tipo de contenido y servicios a los que pueden acceder los niños. Las nuevas empresas pueden preferir comprar confianza y seguridad como un servicio en lugar de construir sus propios equipos y sistemas, dice Sara Ittelson, socia del fondo de inversión Accel, que ha invertido en la herramienta de confianza y seguridad Cinder. “Solía ser que las empresas pensaban que los problemas de confianza y seguridad solo surgían en plataformas de determinado tamaño”, dice. “Pero en realidad, los problemas pueden surgir bastante temprano”. Y, argumenta, la gente no quiere usar plataformas en las que no se sientan seguras o que estén llenas de contenido basura.
La explosión de interés en la IA generativa ha aumentado aún más la presión sobre las empresas para abordar los problemas de confianza y seguridad más temprano en su ciclo de vida. Las herramientas de IA generativa ahora pueden ser utilizadas para fabricar y compartir material de abuso sexual infantil y pornografía no consensuada, ambos casos violarían las directrices de la mayoría de las plataformas. “Hay mucha más conciencia sobre cómo se pueden aprovechar estas herramientas”, dice Ittelson. Esto ha planteado interrogantes a las empresas sobre cómo asegurarse de que sus plataformas no se vean inundadas de contenido de IA generativa o cómo evitar que sus herramientas sean mal utilizadas.
“La IA generativa lo empeora diez veces”, dice Dror Nahumi, socio en Norwest Venture Partners, que ha invertido en la nueva empresa de confianza y seguridad ActiveFence. “Si soy un actor malintencionado y antes creaba un artículo por semana, ahora podría crear 10 publicaciones diferentes en la misma semana sin hacer ningún esfuerzo adicional”.
Aunque los inversores que hablaron con ENBLE se mostraron reacios a especular sobre el tamaño potencial de la industria de confianza y seguridad como servicio, ActiveFence, que fue fundada en 2017 y es una de las empresas más antiguas en el campo, recaudó $100 millones en 2021 y fue valorada en aproximadamente medio billón de dólares en 2021. Y su cofundador, Noam Schwartz, afirma que esa valoración ha aumentado.
Aunque todavía es incipiente, la industria está claramente en crecimiento. “Esto es exactamente como estaba la industria de la ciberseguridad hace 20 años”, dice Schwartz. Un informe de 2020 de la firma de capital de riesgo Paladin Capital encontró que la industria ya había recaudado más de $1 mil millones en financiación, y un informe de 2023 del Departamento de Ciencia, Innovación y Tecnología del Reino Unido estimó que “la Tecnología de Seguridad”, que incluye desde la moderación de contenido hasta la detección de estafas, estaba en camino de alcanzar £1 mil millones (€1.22 mil millones) en ingresos para mediados de la década de 2020.
Aunque Nahumi dice que los despidos de las grandes empresas tecnológicas pueden indicar que hay, momentáneamente, menos interés en invertir en confianza y seguridad en general, “a largo plazo, lo vemos como algo positivo para las empresas en el sector, porque significa que [las empresas tecnológicas] tendrán que depender cada vez más de servicios de empresas especializadas en el área, y no de algo construido internamente.”
