El crítico de IA Gary Marcus LeCun de Meta finalmente está comenzando a entender las cosas que dije hace años.

AI critic Gary Marcus LeCun of Meta is finally starting to understand the things I said years ago.

El profesor emérito de la NYU, Gary Marcus, un crítico frecuente de la exageración que rodea a la inteligencia artificial, se sentó recientemente con ENBLE para ofrecer una refutación a los comentarios de Yann LeCun, científico jefe de IA de Meta, en una entrevista de ENBLE con LeCun en septiembre.

LeCun había puesto en duda el argumento de Marcus a favor de la manipulación de símbolos como un camino hacia una IA más sofisticada. LeCun también comentó que Marcus no tenía artículos revisados por pares en revistas de IA.

De hecho, Marcus ha publicado artículos revisados por pares, una lista de los cuales aparece en contexto en la entrevista a continuación. Pero la refutación de Marcus trata más sustancialmente de la ruptura entre los dos, que llevan años disputándose en las redes sociales.

• El verdadero objetivo de la IA puede que ya no sea la inteligencia
• Estos son los productos más antiguos de Apple que todavía se venden...
• Google presenta 11 nuevas características de seguridad para Workspa...

Marcus afirma que LeCun no ha interactuado realmente con las ideas de Marcus, simplemente las ha desestimado. Argumenta, además, que LeCun no ha dado a otros académicos una audiencia justa, como Judea Pearl, cuyas opiniones sobre la IA y la causalidad forman un cuerpo de trabajo notable.

Marcus argumenta que el comportamiento de LeCun es parte de un patrón en el que los investigadores de aprendizaje profundo desestiman a sus colegas que no pertenecen al ámbito del aprendizaje profundo y que expresan críticas o presionan por otras vías de investigación.

“Tienes a algunas personas que tienen mucho dinero y mucho reconocimiento, que están tratando de excluir a otras personas”, dijo Marcus sobre LeCun y otros académicos de aprendizaje profundo. Están, dijo, tomando prestado un término de la lingüista computacional Emily Bender, “absorbiendo el oxígeno de la habitación” al no interactuar con ideas competidoras.

La ruptura entre Marcus y LeCun, en opinión de Marcus, es extraña dado que Marcus sostiene que LeCun finalmente ha llegado a estar de acuerdo con muchas críticas que Marcus ha hecho durante años.

“Básicamente parecía que estaba diciendo que todas las cosas que yo había dicho, que él había dicho que estaban equivocadas, eran la verdad”, dijo Marcus. Marcus ha expresado sus fuertes opiniones sobre el aprendizaje profundo tanto en libros, siendo el más reciente “Rebooting AI” de 2019, con Ernie Davis, aunque también hay elementos en un trabajo mucho anterior, “The Algebraic Mind”, y en numerosos artículos, incluida su crítica más extensa, en 2018, “Deep Learning: A Critical Appraisal”.

De hecho, los puntos en común entre los dos académicos son tales que, “En un mundo diferente, LeCun y yo seríamos aliados”, dijo Marcus.

También: El gurú de IA de Meta, LeCun: la mayoría de los enfoques de IA actuales nunca conducirán a una verdadera inteligencia

“El punto número uno en el que LeCun y yo estamos alineados es que la escala por sí sola no es suficiente”, dijo Marcus, con lo que se refiere a que hacer versiones cada vez más grandes de redes neuronales como GPT-3 no conducirá, por sí solo, al tipo de inteligencia que importa.

También existen desacuerdos fundamentales entre los dos académicos. Marcus ha argumentado apasionadamente, desde “The Algebraic Mind”, a favor de lo que él llama “innateza”, algo que se encuentra ENBLE en la mente para dar estructura a la inteligencia.

“Mi opinión es que si miras la biología, somos simplemente una gran mezcla de estructura innata”, dijo Marcus. LeCun, dijo, quiere que todo se aprenda.

“Creo que la gran ironía es que la mayor contribución de LeCun a la IA es el prior innato de la convolución, que algunas personas llaman invariancia de la traducción”, dijo Marcus, aludiendo a las redes neuronales convolucionales.

Lo único que es más grande que cualquiera de los dos investigadores y más grande que la disputa entre ellos, es que la IA está en un callejón sin salida, sin una dirección clara para lograr el tipo de inteligencia con el que el campo siempre ha soñado.

“Hay un espacio de posibles arquitecturas para la IA”, dijo Marcus. “La mayoría de lo que hemos estudiado está en un pequeño rincón de ese espacio; ese rincón del espacio no está funcionando del todo bien. La pregunta es, ¿cómo salimos de ese rincón y comenzamos a mirar otros lugares?”

A continuación se presenta una transcripción de la entrevista editada por razones de longitud.

Si te interesa leer los escritos actuales de Marcus sobre IA, echa un vistazo a su Substack.

ENBLE: Esta conversación es en respuesta a la reciente entrevista de ENBLE con Yann LeCun de Meta, en la cual se te mencionó. Entonces, en primer lugar, ¿qué es importante mencionar sobre esa entrevista con LeCun?

Gary Marcus: Últimamente, LeCun me ha estado criticando mucho, en la entrevista de ENBLE, en un artículo en Noema y en Twitter y Facebook, pero aún no sé cuánto de lo que he dicho ha leído realmente LeCun. Y creo que parte de la tensión aquí es que a veces ha criticado mi trabajo sin leerlo, solo en base a cosas como los títulos. Escribí este artículo en 2018, “Deep Learning: A Critical Appraisal”, y él lo criticó públicamente en Twitter en cuanto tuvo la oportunidad. Dijo que estaba “mayormente equivocado”. Intenté presionarlo para que me dijera en qué estaba equivocado. Nunca lo dijo.

Inteligencia Artificial

• 7 consejos avanzados de escritura de prompts de ChatGPT que necesitas saber
• Las 10 mejores extensiones de ChatGPT del 2023 (y cómo aprovecharlas al máximo)
• He probado muchas herramientas de IA para el trabajo. Estas son mis 5 favoritas hasta ahora
• ¿Humano o bot? Este juego de prueba de Turing pone a prueba tus habilidades para detectar IA

Creo que él piensa que ese artículo dice que debemos desechar el aprendizaje profundo. Y le he corregido eso varias veces. Nuevamente cometió ese error [en la entrevista de ENBLE]. Si realmente lees el artículo, lo que dice es que creo que el aprendizaje profundo es solo una herramienta entre muchas, y que también necesitamos otras cosas.

En fin, él atacó este artículo anteriormente, y es una persona importante y experimentada. En ese momento [2018], estaba a cargo de la inteligencia artificial de Facebook. Ahora es el científico jefe de inteligencia artificial de Facebook y vicepresidente allí. Es ganador del Premio Turing. Entonces, sus palabras tienen peso. Y cuando ataca a alguien, otras personas siguen su ejemplo.

Por supuesto, no todos tenemos que leer los artículos de los demás, pero no deberíamos decir que están mayormente equivocados a menos que los hayamos leído. Eso no es realmente justo. Y para mí, se sintió un poco como un abuso de poder. Y luego me sorprendió mucho la entrevista que hiciste con él porque parecía que estaba argumentando todas las cosas que yo había planteado en ese artículo que él ridiculizó: No vamos a llegar completamente allí, al menos con las técnicas actuales de aprendizaje profundo. Hubo muchos otros puntos de coincidencia, de tal manera que básicamente parecía que estaba diciendo que todas las cosas que yo había dicho, que él había dicho que estaban equivocadas, eran la verdad.

Y eso sería, digamos, lo suficientemente irritante para mí, a ningún académico le gusta que no lo citen, pero luego él me atacó y dijo que nunca había publicado nada en una revista de inteligencia artificial revisada por pares. Lo cual no es cierto. Él no debe haber verificado eso. Temo que tú tampoco lo hayas hecho. Amablemente lo corregiste.

ENBLE: Me disculpo por no haberlo verificado.

[Marcus señala varios artículos revisados por pares en revistas de inteligencia artificial: Razonamiento del sentido común sobre contenedores utilizando información radicalmente incompleta en Inteligencia Artificial; Razonamiento a partir de información radicalmente incompleta: el caso de los contenedores en Avances en Sistemas Cognitivos; El alcance y los límites de la simulación en el razonamiento automatizado en Inteligencia Artificial; Razonamiento del sentido común y conocimiento del sentido común en Comunicaciones de la ACM; Repensando el conexionismo eliminativo, Cog Psy]

GM: Estas cosas suceden. Quiero decir, en parte, es como que una autoridad dice algo y simplemente lo crees. ¿Verdad? Quiero decir, él es Yann LeCun.

ENBLE: Debería verificarse. Estoy de acuerdo contigo.

GM: En fin. Él lo dijo. Yo lo corregí. Él nunca se disculpó públicamente. Entonces, en fin, lo que vi allí, la combinación de básicamente decir las mismas cosas que he estado diciendo desde hace tiempo y atacarme, fue parte de un esfuerzo de reposicionamiento. Y realmente expongo el caso de eso en este artículo de Substack: “¿Qué tan nuevas son las ‘nuevas’ ideas de Yann LeCun?”

Y el caso que presenté es que, de hecho, está tratando de reescribir la historia. Di numerosos ejemplos; como dicen hoy en día, traje pruebas. Aquellos que estén interesados pueden leerlo. No quiero repetir todos los argumentos aquí, pero veo esto en múltiples dimensiones. Ahora, algunas personas vieron eso y pensaron: “¿Será castigado LeCun por esto?” Y, por supuesto, la respuesta es que no, no lo será. Él es poderoso. Las personas poderosas nunca son castigadas por las cosas, o rara vez lo son.

También: Resistiendo la tentación de impresionarse; de lo que hablamos cuando hablamos de IA

Pero hay un conjunto de puntos más profundos. Sabes, aparte de que personalmente estoy enojado y sorprendido, no estoy solo. Di un ejemplo [en el artículo de Substack] de [Jürgen] Schmidhuber [profesor adjunto en el Instituto de Inteligencia Artificial IDSIA Dalle Molle] que siente lo mismo. Durante la semana intermedia, salió a la luz que Judea Pearl, quien también es ganador del Premio Turing al igual que Yann, también siente que su trabajo no ha sido mencionado por la comunidad principal de aprendizaje automático. Pearl lo expresó de manera bastante mordaz, diciendo más o menos: “LeCun ha sido desagradable con Marcus, pero ni siquiera se ha molestado en mencionarme”, eso fue lo que dijo Pearl. Y eso es bastante condenatorio, que un ganador del Premio Turing no cite ni siquiera al otro.

LeCun está pensando en la causalidad, y todos sabemos que el líder en causalidad es Pearl. Eso no significa que Pearl haya resuelto todos los problemas, pero ha hecho más para llamar la atención sobre por qué es importante para el aprendizaje automático que cualquier otra persona. Ha contribuido más, en cierto modo, con una maquinaria formal para ello. No creo que haya resuelto ese problema, pero ha abierto ese problema. [Para LeCun] decir que va a construir modelos del mundo, bueno, los modelos del mundo se tratan de comprender la causalidad, y descuidar a Pearl es impactante.

Y esto es parte de un estilo de “No inventado aquí”. Ahora, una ironía es que creo que probablemente todo lo que LeCun dijo en tu entrevista, no lo relacionado conmigo, sino sobre este tipo de estado del campo, probablemente lo descubrió por sí mismo. No creo que lo haya plagiado de mí. Y lo digo en el artículo de [Substack]. Pero, ¿por qué esperar cuatro años para descubrir estas cosas cuando tu vecino de NYU puede tener algo que decir al respecto?

También tuvo una gran pelea con Timnit Gebru [ex investigadora de Google y ahora fundadora y directora ejecutiva del Instituto de Investigación de Inteligencia Artificial Distribuida, DAIR] hace un par de años en Twitter, puedes buscarlo si quieres, al punto de que él [LeCun] abandonó Twitter. Intimidó a Timnit. Minimizó las contribuciones de Schmidhuber. Minimizó las de Pearl. Así que, como mucha gente que quiere defender el honor de la forma en que se hace el aprendizaje automático en este momento, me demonizó. Y eso se vio en [la entrevista ENBLE], me atacó directamente.

En mi opinión, todo esto es parte de algo más grande, que es que hay personas con mucho dinero y mucho reconocimiento que están tratando de excluir a otras personas. Y no se dan cuenta de la ironía de esto porque ellos mismos fueron excluidos hasta alrededor de 2012. Así que tenían ideas realmente buenas, y esas ideas realmente buenas no lucían tan bien en 2010. Mi cita favorita al respecto aún pertenece a Emily Bender. Ella dijo que el problema con esto es que están absorbiendo el oxígeno de la habitación, están dificultando que otras personas sigan otros enfoques y no están involucrándose con esos enfoques.

Existe todo un campo de IA neuro-simbólica con el que LeCun no se involucra, a veces lo critica como incoherente; cuando yo lo defendí en 2018, él dijo que estaba “principalmente equivocado”. Pero nunca se involucra realmente con el trabajo. Y eso no es apropiado para alguien de su estatura. Está bien que esté en desacuerdo y diga: “Lo haría de otra manera, de una mejor manera, o estas premisas son falsas”. Pero no se involucra.

Había un tweet maravilloso […] sobre otro tema por Mikell Taylor, que es una robótica, y ella decía que muchos de estos fanáticos de Tesla básicamente están diciendo, Bueno, ¿por qué no lo resuelves entonces? Y su punto era, Bueno, nadie puede hacer las cosas que Tesla está prometiendo en este momento. Y nadie puede hacer las cosas que el aprendizaje profundo pretende hacer en este momento. La realidad es que estas cosas se han vendido en exceso.

No tenemos en 2022 la preparación tecnológica para alimentar a un robot doméstico para que pueda entender el mundo. Todavía estamos fallando en los autos sin conductor. Tenemos estos bots de chat que a veces son geniales y a veces absolutamente tontos. Y mi opinión es que es como si estuviéramos en el K2, hemos escalado esta montaña increíble, pero resulta que es la montaña equivocada. Algunos de nosotros hemos estado señalándolo durante algún tiempo, LeCun ahora se está dando cuenta de que no es la montaña correcta.

También: OpenAI tiene un bot de texto absurdo, y aún tengo un trabajo de escritura

El punto de Taylor es que es legítimo criticar algo incluso si no tienes una mejor solución. A veces, las mejores soluciones simplemente no están a mano. Pero aún así, necesitas entender qué ha salido mal en este momento. Y LeCun quiere tenerlo de ambas maneras porque él tampoco tiene la solución a estos problemas. Ahora está dando una charla diciendo que ve que el campo está hecho un desastre. El mismo día en que se publicó esa entrevista, dio una charla en la que dijo que el aprendizaje automático es malo. Por supuesto, si yo dijera eso, la gente, como, me desinflaría los neumáticos, pero él puede decirlo porque es LeCun.

Él dice que el aprendizaje automático es malo y luego hace algunos ruidos vagos sobre cómo lo solucionará. Un interesante manifiesto (“Un camino hacia la inteligencia autónoma de las máquinas”) que escribió este verano que involucra múltiples módulos, incluido un tipo de predictor configurable. El punto es que [el nuevo enfoque de LeCun] tampoco es realmente una teoría implementada. No es como si LeCun pudiera ir a casa y decir: “Todas estas cosas de las que Marcus se preocupaba y de las que ahora me preocupo, se resuelven con esto”. Todo lo que puede decir es: “Tengo un presentimiento de que podríamos ir por este camino”.

Creo que hay algo en decir que necesitamos modelos más ricos del mundo. De hecho, eso es lo que he estado diciendo durante años. Por ejemplo, uno de los artículos revisados por pares que tengo en revistas de IA es un modelo de cómo entender lo que sucede en un contenedor, que es algo muy interesante porque mucho de lo que hacemos en el mundo tiene que ver con contenedores.

Entonces, en mi escritorio en este momento, tengo un contenedor que contiene bolígrafos y lápices y cosas así, y tengo otro que tiene un vaso de agua. Sé cosas sobre ellos, como que si saco algo, ya no está en el contenedor. Si vuelco el contenedor, todo se caerá. Podemos hacer todo tipo de razonamiento físico sobre contenedores. Sabemos que si tuviéramos una taza de café con agujeros, y vierto el café, entonces el café se derramará.

Ernie Davis, que es colega de LeCun en NYU, y yo escribimos ese artículo en Inteligencia Artificial, una de las principales revistas en el campo, donde damos una explicación clásica de lógica formal sobre esto. Y LeCun, en su entrevista contigo, hablaba de razonamiento físico en circunstancias de sentido común. Entonces, aquí hay un ejemplo perfecto de una posible teoría [alternativa] que Davis y yo propusimos. No creo que la teoría que Davis y yo propusimos sea correcta, siendo honesto. Creo que enmarca el problema. Pero es un problema difícil y hay espacio para hacer más trabajo al respecto. Pero el punto es que no es como si LeCun tuviera una teoría implementada de razonamiento físico sobre contenedores que pueda decir que es una alternativa. Así que él me señala y dice: Bueno, tú no tienes una alternativa. Bueno, él no tiene una alternativa a lo que yo propuse.

También: ¿Qué sigue para la IA: Gary Marcus habla sobre el viaje hacia una inteligencia artificial robusta

No se obtiene una buena ciencia cuando lo que la gente está haciendo es atacar las credenciales de las personas. Francis Crick no era biólogo. ¿Eso significa que su modelo de ADN es incorrecto? No. Era físico, pero puedes venir de otro campo y tener algo que decir. Hay muchos, muchos ejemplos de eso históricamente.

Si te llevas el oxígeno de la habitación intimidando a otras personas y descartando hipótesis alternativas, corres el riesgo de tener una idea equivocada. Existe un gran precedente histórico de esto, grande y triste, uno claro, que es a principios de 1900, la mayoría de las personas en el campo pensaban que los genes, que Mendel había descubierto, estaban compuestos de proteínas. Estaban buscando la base molecular de los genes, y todos estaban equivocados. Y escribieron artículos orgullosos al respecto. Alguien ganó un Premio Nobel, creo que fue en 1946, por el virus del tabaco, que pensaron que era una proteína pero en realidad no lo era. Es uno de los pocos Premios Nobel que se otorgó incorrectamente. Resulta que el ADN es en realidad un ácido, esta cosa extraña llamada ADN de la que las personas no sabían mucho en ese momento. Por lo tanto, hay períodos en la historia en los que las personas tienen una idea muy clara de cuál es la respuesta y están equivocadas.

A largo plazo, la ciencia se corrige a sí misma. Pero la razón por la que tenemos una especie de etiqueta y mejores prácticas sobre no ad hominem, citar el trabajo de otras personas, construir sobre él, es para que no tengamos errores como ese y para que podamos ser más eficientes. Si somos despectivos, y esa es realmente la palabra que más usaría en torno a LeCun, si despreciemos el trabajo de otras personas, como el trabajo de Judea Pearl, mi trabajo, el trabajo de Schmidhuber, toda la comunidad neuro-simbólica, corremos el riesgo de aferrarnos a un conjunto incorrecto de modelos durante demasiado tiempo.

ENBLE: En cuanto a su artículo de 2018, que es un artículo maravilloso, la cita clave para mí es: “Hasta ahora, el aprendizaje profundo es superficial, tiene una capacidad limitada para transferir, aunque el aprendizaje profundo es capaz de hacer cosas asombrosas”. Todos estamos un poco enamorados de las cosas asombrosas, es decir, cambia nuestras fotografías en nuestras imágenes de alta resolución de teléfonos inteligentes. Seamos francos: esto funciona a cierto nivel. Y ahora usted y LeCun están diciendo que esto no es inteligencia, ni siquiera es el comienzo de la inteligencia, es realmente primitivo. Ambos se enfrentan, parece, a un régimen industrial que cada vez se beneficia más al presentar estas cosas asombrosas que hacen estas máquinas.

GM: Lo primero que diré es que no quiero discutir si es o no es inteligencia. Eso depende de cómo definas los términos. Así que diría que no es irrazonable llamar al aprendizaje profundo una forma de inteligencia, dependiendo de tu definición. Podrías llamar inteligente a una calculadora si quieres, o a una computadora de ajedrez. Realmente no me importa. Pero me preocupa la forma de inteligencia que podríamos llamar inteligencia general o inteligencia adaptativa. Me pregunto cómo podemos crear máquinas en las que puedas decir: “Aquí está mi problema, resuélvelo”, de la misma manera que le puedes decir a un estudiante universitario en prácticas algunas cosas sobre algo y hacer que trabajen en ello y hagan un trabajo digno de reconocimiento. No tenemos máquinas así. No tenemos máquinas que tengan un nivel suficientemente alto de comprensión del mundo, o comprensión del mundo, para poder lidiar con la novedad. Muchos de los ejemplos de los que hablas son cosas en las que tenemos una gran cantidad de datos que no cambian demasiado. Por lo tanto, puedes obtener miles de millones de intentos de personas diciendo la palabra “Alexa”, y ciertamente puedes usar estos algoritmos para reconocer la palabra “Alexa”.

También: Para una era más peligrosa, una mordaz crítica de la IA actual

Por otro lado, Eric Topol, que es una de las personas que más admiro y que trabaja en IA y medicina, publicó un tweet hace dos días mostrando que todavía existen problemas graves para lograr que la IA haga algo realmente útil en medicina. Y esto se debe a que la biología está cambiando constantemente.

Para darte otro ejemplo, muchos de estos grandes modelos de lenguaje piensan que Trump todavía es presidente porque hay muchos datos que dicen “Presidente Trump”, y no hacen el razonamiento temporal básico de comprender que una vez que otra persona jura el cargo, ya no eres presidente. Simplemente no lo hacen.

Si solo acumulas pruebas estadísticas y no comprendes la dinámica de las cosas, tienes un problema. O, Walid Saba [científico de IA y ML] tenía este hermoso ejemplo. ¿De quién preferirías recibir consejos, le preguntó a GPT-3, de un niño pequeño o de una mesa brillante? Y, solo conoce la palabra “brillante”, por lo que dice: “Preferiría recibir consejos de la mesa brillante”. No hay profundidad allí, no comprende realmente el mundo.

Es una especie de brillantez pero también terror del marketing que la frase “deep learning” implique profundidad conceptual, y eso es lo que le falta. En realidad, solo significa un cierto número de capas en la red, digamos tres o más, y hoy en día podrían ser 150, pero “deep” en “deep learning” solo significa el número de capas, no significa profundidad conceptual. No significa que uno de estos sistemas sepa qué es una persona, qué es una mesa, qué es cualquier cosa.

ENBLE: Entonces, parece que las fuerzas en tu contra son mayores que las fuerzas entre tú y LeCun. Ambos están en contra de un régimen en el que las cosas serán, como él dijo, diseñadas. El mundo logrará algo que funciona más o menos, pero realmente no es inteligente.

GM: Es interesante: en un mundo diferente, LeCun y yo seríamos aliados. Hay una gran cantidad de cosas en las que estamos de acuerdo. Recientemente las he resumido en un artículo con el título “cambio de paradigma”. En realidad, estaba respondiendo a Slate Star Codex, Scott Alexander. Escribí un artículo en mi Substack, “¿Realmente necesita la inteligencia artificial un cambio de paradigma?” Y hay una sección en la que detallo todas las formas en las que LeCun y yo estamos de acuerdo.

Si observas la estructura general del campo, en realidad estamos alineados en la mayoría de los puntos. Y voy a enumerar algunos porque creo que son importantes. El punto número uno en el que LeCun y yo estamos alineados es que el simple escalado no es suficiente. Ahora, no somos los únicos que pensamos eso, pero hay una verdadera división en el campo. Creo que muchas personas de la generación más joven han quedado muy impresionadas por las demostraciones de escalado. [El investigador de DeepMind] Nando de Freitas escribió algo en Twitter en el que dijo que el juego había terminado, la AGI es solo una cuestión de escalar. A lo que yo respondí con un artículo llamado “Alt Intelligence”, que fue la primera pieza en mi Substack. Últimamente la han llamado maximalismo de escalado, como si el escalado fuera todo lo que necesitas. Esa es una de las preguntas más importantes en el campo en este momento. Y LeCun y yo estamos totalmente de acuerdo en que el maximalismo de escalado, eso simplemente no es suficiente para llegar a la inteligencia adaptativa más profunda que creo que a él y a mí nos importa.

De manera similar, tanto él como yo pensamos que el aprendizaje por refuerzo, en el que DeepMind ha invertido mucho tiempo, pero otras personas también, también creemos que es insuficiente. A él le gusta usar la metáfora de “es solo la guinda del pastel”, y estoy de acuerdo con él en eso. Creo que no se puede hacer un buen aprendizaje por refuerzo hasta que realmente se comprenda el mundo.

También: Debate de IA 2: Noche de mil académicos de IA

Ambos estamos de acuerdo en que los modelos de lenguaje grandes, aunque son muy interesantes, también son problemáticos. Ahí es donde creo que realmente lo señalé primero, y él fue bastante agresivo cuando lo señalé. Pero estamos de acuerdo en el mismo punto. Ambos creemos que esos sistemas, por muy impresionantes que sean, no nos llevan a la inteligencia general. Y eso está relacionado con el punto del escalado.

Estos son algunos de los problemas más importantes. Y en cierto sentido, nuestra opinión colectiva es una opinión minoritaria, y creo que ambos estamos en lo correcto en esos puntos. El tiempo lo dirá. Son todas preguntas empíricas. Tenemos que hacer más trabajo. No conocemos las respuestas científicas, pero ciertamente LeCun y yo compartimos intuiciones bastante profundas en esos puntos.

Otro punto en el que estamos totalmente de acuerdo es que necesitas tener modelos y sentido común, son realmente dos cosas. Necesitas tener modelos de cómo funciona el mundo, y relacionado con eso, aunque probablemente también estemos de acuerdo en que es algo difuso, ambos creemos que necesitas algo como sentido común y que eso es realmente crítico.

Puedo imaginar que compartimos un panel en el Festival Mundial de la Ciencia y luego comenzamos a hablar sobre las siete cosas en las que estamos de acuerdo, y ahora aquí está por qué creo que los modelos del mundo deben ser de esta manera o de esa manera, y sería una discusión interesante si pudiéramos volver a ese lugar en el que alguna vez estuvimos.

ENBLE: ¿Y en qué difieren?

GM: Yo argumentaría que hay mucho conocimiento simbólico que podríamos querer utilizar. Yo diría que hasta ahora, las herramientas simbólicas ofrecen una forma mucho mejor de generalizar más allá de la distribución, y eso es realmente importante. Todos sabemos hoy en día que el cambio de distribución es un problema crítico. Lo mencioné en 2018, creo que sigue siendo el problema esencial, cómo generalizar más allá de los datos que has visto. Y creo que los modelos simbólicos podrían tener alguna ventaja allí. Concedería que no sabemos cómo aprender esos modelos. Y creo que la mejor esperanza de LeCun para avanzar en ese sentido estaría en el aspecto de aprendizaje de esos modelos. No estoy seguro de que tenga la arquitectura correcta, pero al menos tiene el espíritu correcto en ese sentido.

También: El diablo está en los detalles en el debate histórico de la IA

Y luego el otro lugar donde estamos en desacuerdo sustancialmente, y este fue el debate de 2017, que fue sobre la innatismo. Creo que necesitamos más innatismo. Y creo que la gran ironía es que la mayor contribución de LeCun a la IA es la convolución innata, que algunas personas llaman invariancia de la traducción. Y dice que, esencialmente, es una forma de cablear para que un objeto se vea igual si aparece en diferentes ubicaciones. Creo que necesitamos más prioridades como esta. Más cosas innatas como esta. Y LeCun realmente no lo quiere. Realmente no quiere que haya una estructura innata. Él está en el campo llamado, no accidentalmente, aprendizaje automático. Y las personas en el aprendizaje automático quieren que todo se aprenda. No todos, pero muchos.

Mi opinión es que si observamos la biología, somos simplemente una gran mezcla de estructura innata y maquinaria de calibración aprendida. Entonces, la estructura de nuestro corazón, por ejemplo, es claramente innata. Hay cierta calibración. Tus músculos cardíacos pueden crecer cuando haces ejercicio, y así sucesivamente. Pero hay mucha estructura innata. Encuentro que hay un sesgo en el campo del aprendizaje automático en contra del innatismo que creo que realmente ha perjudicado al campo y lo ha frenado. Así que ese es un lugar donde diferiríamos.

Hago lo que creo que las personas deberían hacer. Entiendo las opiniones de mi oponente. Creo que puedo caracterizarlas y hablar sobre puntos de acuerdo y desacuerdo y caracterizar lo que son. Mientras que creo que LeCun ha estado tratando de simplemente desestimarme del escenario. No creo que esa sea la forma correcta de hacer ciencia.

Pregunta de salida: ¿Qué crees que es importante con lo que estamos lidiando que es más grande que tú y Yann LeCun?

GM: Bueno, no creo que ninguno de nosotros tenga la respuesta, eso es lo primero que diré. Y la razón por la que desearía que él realmente debatiera conmigo en última instancia es porque creo que el campo está estancado y que la única forma de salir de ese estancamiento es si algún estudiante o alguna persona joven ve las cosas de manera un poco diferente a como el resto de nosotros lo hemos visto. Y tener personas como LeCun y yo que tienen puntos de vista sólidos que pueden articular, puede ayudar a las personas a ver cómo solucionarlo. Entonces, claramente hay una gran razón para querer un sistema basado en el aprendizaje y no querer una conexión fija. Y claramente hay una gran razón para querer las ventajas de la manipulación de símbolos. Y no hay una forma conocida de, como dice el refrán, tener nuestro pastel y comérnoslo también.

Entonces, me gusta pensar que hay un espacio de modelos posibles, ¿verdad? Las redes neuronales se tratan de explorar espacios multidimensionales. Hay un espacio de arquitecturas posibles para la IA. La mayor parte de lo que hemos estudiado está en un pequeño rincón de ese espacio. Ese rincón del espacio no está funcionando del todo bien. LeCun y yo estamos de acuerdo en eso. La pregunta es, ¿cómo salimos de ese rincón y comenzamos a mirar otros lugares? Y ambos tenemos nuestras suposiciones al respecto, pero ciertamente no sabemos con certeza. Y creo que hay mucho espacio para que ocurran muchos cambios de paradigma en el futuro. De hecho, en ese artículo mío llamado “cambio de paradigma”, cito a LeCun diciendo eso. Hay una parte del campo que piensa que no necesitamos otro cambio de paradigma, solo necesitamos más datos. Pero LeCun y yo creemos que sí necesitamos cambios de paradigma, es decir, necesitamos mirar fuera del espacio de modelos en el que estamos mirando ahora mismo. La mejor manera de ayudar a otras personas a hacer eso es articular dónde estamos atascados.

---

• artificial intelligence
• Innovation