Introducción
¿Qué es el razonamiento acumulativo con modelos de lenguaje de gran escala? ¿Por qué necesitamos razonamiento acumulativo para LLMs? ¿Cómo se ve el razonamiento acumulativo con LLMs? ¿Pueden los LLMs realizar razonamiento acumulativo bien? En este blog, discutiremos estas preguntas una por una de manera sencilla y clara, haciendo referencia al artículo titulado “Cumulative Reasoning with Large Language Models” de Yifan Zhang, Jingqin Yang, Yang Yuan y Andrew Chi-Chih Yao.
¿Qué es el Razonamiento Acumulativo?
La idea central detrás del marco de razonamiento acumulativo es descomponer problemas complejos de razonamiento en pasos más pequeños, y luego construir iterativamente la solución final acumulando y verificando cada paso intermedio.
Inspirándose en los procesos cognitivos humanos, el razonamiento acumulativo introduce roles especializados como el “proponente” para sugerir posibles pasos de razonamiento, “verificadores” para validar propuestas contra el contexto, y un “relator” para sintetizar puntos acumulados en una solución final.
El razonamiento acumulativo permite el almacenamiento dinámico y la composición de proposiciones intermedias verificadas, formando un grafo acíclico dirigido (DAG).
Específicamente, en el marco de razonamiento acumulativo:
- El proponente sugiere posibles pasos de razonamiento basados en el contexto actual, que se representan como nuevos nodos en el DAG.
- El(los) verificador(es) evalúa(n) si las sugerencias del proponente son correctas e incorpora los pasos válidos en el contexto de solución en evolución, lo que corresponde a agregar nuevas aristas dirigidas al DAG.
- El relator determina si el contexto acumulado ha alcanzado una solución final basada en el estado actual. Si es así, genera el resultado.
Por lo tanto, todo el proceso de razonamiento puede representarse como un DAG construido dinámicamente, donde los nodos son pasos intermedios de razonamiento, y las aristas dirigidas capturan cómo se derivan nuevos pasos de razonamiento a partir de los anteriores. El DAG permite que el proceso de razonamiento se ramifique y vuelva a converger, y permite revisitar y reutilizar resultados de razonamiento previos, reflejando mejor el proceso de pensamiento flexible y multi-ruta de los humanos al resolver problemas complejos.
¿Por qué Necesitamos Razonamiento Acumulativo para LLMs?
A pesar de los recientes avances de los modelos de lenguaje de gran escala (LLMs) en diversas aplicaciones, su capacidad para resolver problemas complejos de razonamiento de múltiples pasos sigue siendo limitada. Métodos existentes como el Chain-of-Thought (CoT) y el Tree-of-Thought (ToT), aunque intentan guiar a los LLMs a través de un proceso de razonamiento paso a paso más estructurado, carecen de mecanismos dinámicos para almacenar y aprovechar los resultados intermedios generados durante el proceso de razonamiento. Esta incapacidad para construir y componer eficazmente proposiciones anteriores restringe su rendimiento en problemas intrincados y multifacéticos que requieren un razonamiento matizado a lo largo de múltiples pasos.
Inspirándose en los procesos cognitivos humanos, el razonamiento acumulativo introduce roles especializados como el “proponente” para sugerir posibles pasos de razonamiento, “verificadores” para validar propuestas contra el contexto, y un “relator” para sintetizar puntos acumulados en una solución final. Esta descomposición en ciclos iterativos de propuesta, verificación y presentación de informes permite a los LLMs dividir tareas complejas en componentes manejables.
Fundamentalmente, el razonamiento acumulativo permite el almacenamiento dinámico y la composición de proposiciones intermedias verificadas, formando un grafo acíclico dirigido (DAG) en lugar de solo una cadena lineal o estructura de árbol. Esta flexibilidad estructural para aprovechar un contexto más amplio de validaciones previas refleja el razonamiento matizado y no lineal empleado por los humanos para abordar problemas complejos de múltiples pasos. Como tal, el razonamiento acumulativo desbloquea capacidades de razonamiento más robustas y versátiles para los modelos de lenguaje de gran escala.
¿Cómo se Ve el Razonamiento Acumulativo con LLMs?
Construcción de Roles del Modelo de Lenguaje
Siguiendo el marco de Razonamiento Acumulativo, los autores construyeron tres roles del modelo de lenguaje:
- Proponente: Sugiere posibles pasos de razonamiento basados en el contexto actual
- Verificador: Evalúa las sugerencias del proponente para verificar su corrección e incorpora pasos válidos en el contexto
- Relator: Determina si el contexto acumulado conduce a una solución definitiva
Estos tres roles pueden usar el mismo modelo de lenguaje de gran escala, con indicaciones específicas para asignar diferentes roles.
Configuración de Líneas Base
Para evaluar la efectividad del Razonamiento Acumulativo, los autores establecieron las siguientes líneas base:
- Indicación directa de entrada-salida (Direct)
- Indicación de Cadena de Pensamiento (CoT)
- Indicación de Cadena de Pensamiento con Autoverificación (CoT-SC)
- Indicación de Árbol de Pensamiento (ToT)
Siguiendo los Procedimientos Experimentales
Los autores probaron varios modelos de lenguaje de gran escala, incluyendo GPT-3.5, GPT-4 y modelos LLaMA. Los procedimientos experimentales son los siguientes:
- Para cada problema en un conjunto de datos, se ingresa el problema al proponente
- El proponente genera una serie de sugerencias de razonamiento como pasos intermedios
- Se alimentan los pasos intermedios al verificador, que evalúa cada paso
- Los pasos válidos se incorporan al contexto, mientras que los pasos inválidos se descartan
- Se repite el proceso anterior hasta que el relator determine que se puede dar una solución final
- En algunos experimentos, se utilizan estrategias de votación mayoritaria u otras para mejorar la robustez
Selección de Conjuntos de Datos de Evaluación
Los autores seleccionaron múltiples conjuntos de datos de diferentes tipos de tareas de razonamiento complejo para la evaluación, incluyendo:
- Tareas de inferencia lógica: conjunto de datos FOLIO wiki, conjunto de datos AutoTNLI
- Rompecabezas matemático del Juego del 24
- Resolución de problemas matemáticos: conjunto de datos MATH
¿Pueden los LLMs Realizar Razonamiento Acumulativo Bien?
¡La respuesta simple es: Sí! Los resultados experimentales demuestran que el marco CR supera significativamente a los métodos base en todas las tareas evaluadas.
Rendimiento General
En el conjunto de datos FOLIO wiki, mejora la precisión del 85.02% al 98.04%; en el conjunto de datos AutoTNLI, muestra hasta un 9.3% de mejora relativa sobre Chain-of-Thought; en el Juego del 24, alcanza un 98% de precisión, lo que representa una mejora del 24% sobre el mejor método anterior; en el conjunto de datos MATH, CR obtiene una mejora absoluta del 4.2% y una ganancia relativa del 43% en los problemas más desafiantes de nivel 5. Notablemente, al integrar CR con un entorno de código, los autores logran un 72.2% de precisión en el conjunto de datos MATH, superando al mejor anterior en un 38.8% relativo.
Superioridad sobre Chain of Thought (CoT) y Tree of Thought (ToT)
El Razonamiento Acumulativo (CR) demuestra su superioridad sobre Chain of Thought (CoT) y Tree of Thought (ToT) a través de una serie de resultados empíricos en varias tareas. En tareas de inferencia lógica utilizando conjuntos de datos como FOLIO wiki y AutoTNLI, CR mostró un rendimiento notable, alcanzando una tasa de precisión del 98.04% en el conjunto de datos FOLIO curado, lo que es un salto notable desde el 96.09% de CoT-SC. Este avance se atribuye a la capacidad de CR para almacenar y aprovechar dinámicamente los resultados intermedios, formando un Grafo Acíclico Dirigido (DAG) que permite un contexto más amplio de proposiciones validadas.
En el Juego del 24, un rompecabezas matemático, CR sobresalió con una tasa de precisión del 98%, mejorando a ToT en un 24% y haciéndolo con solo una cuarta parte de los estados visitados, lo que subraya su eficiencia y capacidad de resolución de problemas.
Además, en el conjunto de datos MATH, CR no solo estableció nuevos puntos de referencia con un aumento del 4.2% sobre métodos anteriores, sino que también mostró una mejora relativa del 43% en los problemas más difíciles. La integración de CR con un entorno de código Python condujo a una sorprendente precisión del 72.2%, superando a métodos como PoT y PAL en un 38.8%. Estos resultados ilustran colectivamente la adaptabilidad, robustez y capacidades de razonamiento mejoradas de CR en comparación con CoT y ToT.
¿Cuáles son las Direcciones Futuras del Razonamiento Acumulativo con LLMs?
Integración con Sistemas Simbólicos
El artículo discute el potencial de combinar CR con un entorno de código Python para aprovechar las capacidades computacionales y de razonamiento lógico de los LLMs. El trabajo futuro podría explorar una integración más profunda con sistemas simbólicos, grafos de conocimiento o demostradores de teoremas formales para mejorar aún más la precisión y complejidad del razonamiento.
Mejora de las Capacidades de Generalización
Si bien CR ha mostrado éxito en dominios específicos, extender sus capacidades de generalización a un rango más amplio de tareas y dominios será crucial. Esto podría implicar adaptar CR para manejar diferentes tipos de razonamiento y resolución de problemas en diversas disciplinas.
Aumento de la Robustez y Tolerancia a Errores
El artículo destaca la naturaleza tolerante a errores de CR. El trabajo futuro podría centrarse en hacer que CR sea aún más robusto, especialmente en el manejo de datos ambiguos o ruidosos, y mejorar su capacidad para recuperarse de pasos intermedios incorrectos.
Evaluación Comparativa y Estandarización
Desarrollar puntos de referencia estandarizados y métricas de evaluación específicamente para tareas de razonamiento acumulativo podría ayudar a evaluar sistemáticamente el progreso y comparar diferentes enfoques.
¿Cómo Puedo Implementar el Razonamiento Acumulativo con Modelos de Lenguaje de Gran Escala?
La mayoría de los códigos proporcionados por los autores requieren una conexión a la API de OpenAI para los modelos GPT 3.5 y 4, lo cual debería ser tu primer paso.
A continuación, ya sea que quieras resolver problemas matemáticos, jugar al Juego del 24 o replicar experimentos de razonamiento acumulativo, simplemente ejecuta los archivos Python específicos proporcionados en esta página de Github: https://github.com/iiis-ai/cumulative-reasoning.
Además, si deseas probar el razonamiento acumulativo con modelos LLaMA como hicieron los autores en el artículo o con otros LLMs, puedes usar Novita AI LLM API para acceder a múltiples LLMs.
Conclusión
En conclusión, la publicación del blog ha ofrecido una visión general completa del razonamiento acumulativo con LLMs, un enfoque novedoso que mejora significativamente las capacidades de resolución de problemas complejos de los LLMs. Al descomponer problemas complejos en pasos más pequeños y construir soluciones iterativamente a través de un proceso de propuesta, verificación y presentación de informes, el razonamiento acumulativo refleja las estrategias cognitivas humanas.
Los resultados de varios conjuntos de datos fueron impresionantes, mostrando mejoras sustanciales en precisión, especialmente cuando el razonamiento acumulativo se integró con un entorno de código. Además, los resultados demostraron la superioridad del razonamiento acumulativo sobre métodos existentes como Chain-of-Thought y Tree-of-Thought.
En general, las direcciones futuras del razonamiento acumulativo con LLMs tienen el potencial de impulsar a los LLMs a nuevas alturas en el razonamiento de IA, lo que conducirá a capacidades de resolución de problemas más sofisticadas y similares a las humanas.
Referencias
Zhang, Y., Yang, J., Yuan, Y., & Yao, A. C.-C. (2024). Cumulative Reasoning with Large Language Models. IIIS, Tsinghua University. https://arxiv.org/pdf/2308.04371
Novita AI, la plataforma integral para la creatividad ilimitada que te da acceso a más de 100 APIs. Desde generación de imágenes y procesamiento de lenguaje hasta mejora de audio y manipulación de video, pago por uso económico, te libera de las preocupaciones de mantenimiento de GPU mientras construyes tus propios productos. Pruébalo gratis.
