Este artículo ofrece una visión general de los ajustes de configuración de los modelos de lenguaje grandes (LLM), profundizando en las ventajas y desventajas de las ventanas de contexto grandes. También proporciona ejemplos prácticos que ilustran cómo el ajuste de estos parámetros afecta la salida del LLM en diversas tareas.
Introducción
Los modelos de lenguaje grandes se basan en probabilidades para determinar el token o palabra más probable a continuación, según sus datos de entrenamiento, instrucciones y ajustes. Discusiones anteriores han destacado cómo las técnicas de prompting pueden inculcar razonamiento similar al humano en los LLM, mientras que técnicas como la Generación Aumentada por Recuperación (RAG) mejoran sus capacidades al otorgar acceso a fuentes de conocimiento externas.
Sin embargo, modificar los ajustes o parámetros del LLM puede impactar significativamente la salida final, independientemente del contexto y las instrucciones proporcionadas. Dominar estos ajustes es crucial para aprovechar eficazmente los modelos de lenguaje grandes y guiarlos hacia los comportamientos deseados. En este artículo, exploramos parámetros fundamentales de los LLM como temperature, top P, max tokens y ventana de contexto, explicando cómo influyen en la salida del modelo.
¿Qué es la temperature de los LLM?
En términos simples, la temperature es un parámetro que va de 0 a 1 y determina el nivel de aleatoriedad en las respuestas generadas por un modelo de lenguaje grande (LLM). Temperatures más altas generan resultados más diversos y creativos, mientras que temperatures más bajas producen respuestas más conservadoras y predecibles.
Cuando la temperature se establece en cero, un LLM producirá consistentemente la misma salida para la misma instrucción. Aumentar la temperature incrementa la creatividad del modelo, ofreciendo un rango más amplio de resultados. Sin embargo, temperatures excesivamente altas pueden llevar a resultados que carecen de coherencia o significado.
Los ajustes de temperature por defecto varían entre diferentes LLM, dependiendo de factores como el tipo de modelo y si se accede a él mediante API o interfaz web. Por ejemplo, en discusiones sobre ChatGPT-3.5 y 4, se mencionan comúnmente ajustes de temperature por defecto alrededor de 0.7 a 0.8, aunque los valores precisos a menudo no se divulgan.
Ajustes de temperature
El parámetro de temperature es un valor numérico que típicamente oscila entre 0 y 1, aunque a veces puede exceder este rango, e influye en el grado de toma de riesgos o conservadurismo en las elecciones de palabras del modelo. Ajusta la distribución de probabilidad de la siguiente palabra.
A continuación se presenta un desglose de los diferentes parámetros de temperature para modelos de lenguaje grandes:
Temperature baja (<1.0) — Cuando se establece en un valor inferior a 1, la salida del modelo tiende a ser más determinista y repetitiva. Temperatures más bajas priorizan la selección de la siguiente palabra más probable, reduciendo la variabilidad de la salida. Esto puede ser ventajoso para obtener respuestas predecibles y conservadoras, pero también puede generar textos menos creativos o diversos, dando al modelo un tono más robótico.
Temperature alta (>1.0) — Establecer la temperature por encima de 1 aumenta la aleatoriedad en el texto generado. El modelo tiende más a elegir palabras menos probables como siguiente palabra en la secuencia, resultando en resultados más variados y a veces más creativos. Sin embargo, esta mayor aleatoriedad puede llevar a errores o respuestas sin sentido, ya que el modelo está menos sujeto a la distribución de probabilidad de sus datos de entrenamiento.
Temperature de 1.0 — Este suele ser el ajuste por defecto, buscando un equilibrio entre aleatoriedad y determinismo. El modelo genera texto que no es ni excesivamente predecible ni demasiado aleatorio, basándose en la distribución de probabilidad aprendida durante su entrenamiento.
Casos de uso para el modelado de temperature en LLM
El ajuste fino del parámetro de temperature en el modelado implica encontrar el equilibrio adecuado entre aleatoriedad y determinismo, un aspecto crítico en aplicaciones donde la calidad del texto generado impacta profundamente la experiencia del usuario o los procesos de toma de decisiones.
En escenarios prácticos, la elección del ajuste de temperature depende del resultado deseado. Las tareas que demandan creatividad o respuestas diversas pueden beneficiarse de temperatures más altas, mientras que aquellas que requieren precisión o corrección factual suelen favorecer temperatures más bajas.
Aquí hay algunos casos de uso comunes y ajustes de temperature recomendados para modelos LLM:
Escritura creativa — Emplear temperatures más altas puede estimular la creatividad y generar una variedad de resultados, siendo beneficioso para superar el bloqueo del escritor o generar ideas innovadoras de contenido.
Documentación técnica — Se prefieren temperatures más bajas para garantizar la precisión y fiabilidad del contenido, crucial en documentación técnica donde la exactitud y la consistencia son primordiales.
Interacción con clientes — Ajustar la temperature permite personalizar las respuestas en chatbots o asistentes virtuales para alinearse con la marca y el tono de la organización, así como satisfacer las preferencias del público objetivo.
¿Qué es Top P?
Top P, también conocido como muestreo de núcleo (nucleus sampling), es otro parámetro que influye en la aleatoriedad de la salida del LLM. Este parámetro determina el umbral de probabilidad para incluir tokens en un conjunto candidato que el LLM utiliza para generar la salida. Valores más bajos de este parámetro resultan en respuestas más precisas y basadas en hechos por parte del LLM, mientras que valores más altos aumentan la aleatoriedad y diversidad en la salida generada.
Por ejemplo, establecer el parámetro top P en 0.1 lleva a una salida determinista y enfocada del LLM. Por otro lado, aumentar top P a 0.8 permite respuestas menos restringidas y más creativas.
¿Qué son los Max Tokens?
Mientras que la temperature y top P regulan la aleatoriedad de las respuestas del LLM, no establecen ninguna restricción sobre el tamaño de la entrada aceptada o la salida generada por el modelo. En contraste, otros dos parámetros, la ventana de contexto y los max tokens, afectan directamente el rendimiento del LLM y sus capacidades de procesamiento de datos.
La ventana de contexto, medida en tokens (que pueden ser palabras completas, subpalabras o caracteres), determina la cantidad de palabras que un LLM puede procesar a la vez. Por otro lado, el parámetro de max tokens establece el límite superior para el número total de tokens, abarcando tanto la entrada proporcionada al LLM como instrucción (prompt) como los tokens de salida generados por el LLM en respuesta a dicha instrucción.
Comprendiendo la ventana de contexto
En general, el tamaño de la ventana de contexto en los modelos de lenguaje grandes (LLM) determina la cantidad de información que el modelo puede retener y utilizar al generar la salida. Una ventana de contexto más grande permite al LLM recordar más contexto, lo que lleva a respuestas más coherentes y precisas. Sin embargo, si la entrada excede la ventana de contexto, el modelo comienza a “olvidar” información anterior, lo que potencialmente resulta en una salida de menor calidad y menos relevante.
Además, el tamaño de la ventana de contexto impone restricciones en las técnicas de ingeniería de instrucciones. Métodos como Tree-of-Thoughts o Generación Aumentada por Recuperación (RAG) requieren ventanas de contexto grandes para ser efectivos, ya que dependen de alimentar al modelo con suficiente información para generar respuestas de alta calidad.
A medida que los LLM evolucionan, sus ventanas de contexto también se expanden, permitiéndoles procesar más tokens a la vez. Por ejemplo, mientras que GPT-4 tiene un límite de contexto de 8,192 tokens, modelos más nuevos como GPT-4 Turbo admiten una ventana de contexto de hasta 128K tokens. Del mismo modo, Anthropic ha aumentado el límite de contexto en la herramienta Claude de 9,000 tokens a 200K tokens en la versión Claude 2.1.
¿Cuándo una ventana de contexto grande no genera una mejor salida?
Si bien una ventana de contexto más grande permite a los LLM procesar entradas más largas, lo que lleva a respuestas potencialmente más relevantes, expandir los límites de contexto no es universalmente ventajoso. Hay varios inconvenientes a considerar.
En primer lugar, conjuntos de entrada más grandes requieren más tiempo para que los LLM generen respuestas. La mayor complejidad computacional de procesar ventanas de contexto más grandes agrava aún más este problema.
En segundo lugar, los costos computacionales asociados con ventanas de contexto más grandes aumentan proporcionalmente.
Además, una investigación de Liu et al. (2023) destaca otro desafío: los modelos de lenguaje grandes a menudo luchan por acceder eficazmente a la información dentro de contextos de entrada largos. Su estudio reveló que los LLM logran un rendimiento óptimo cuando la información relevante se sitúa al principio o al final de la entrada. Por el contrario, utilizar información del medio de un contexto largo conduce a un rendimiento disminuido del modelo.
Otros ajustes de los LLM
Varios otros ajustes pueden influir en la salida de los modelos de lenguaje, incluyendo secuencias de parada, penalizaciones por frecuencia y penalizaciones por presencia.
Secuencias de parada
Las secuencias de parada indican cuándo el modelo debe detener la generación de la salida, permitiendo controlar la longitud y estructura del contenido. Por ejemplo, al indicar a la IA que redacte un correo electrónico, establecer “Saludos cordiales,” o “Atentamente,” como secuencia de parada asegura que el modelo se detenga antes del saludo de despedida, resultando en un correo conciso y enfocado. Las secuencias de parada son valiosas para generar salidas que se espera que sigan un formato estructurado, como correos electrónicos, listas numeradas o diálogos.
Penalización por frecuencia
La penalización por frecuencia es un ajuste que desalienta la repetición en el texto generado al penalizar los tokens según su frecuencia de aparición. Los tokens que ocurren con más frecuencia en el texto tienen menos probabilidades de ser utilizados nuevamente por la IA.
Penalización por presencia
La penalización por presencia opera de manera similar a la penalización por frecuencia, pero aplica una penalización fija a los tokens basada en si han aparecido o no en el texto, en lugar de penalizarlos proporcionalmente.
Fuente: novita.ai
Importar personaje (opcional)
Algunos LLM tienen sus ajustes especiales, por ejemplo, importar personaje. Al importar tarjetas de personaje, puedes chatear con tus personajes favoritos, sin importar quiénes sean.
novita.ai LLM con la función Importar personaje
¿Cómo ajustar los parámetros de los LLM?
Como se demostró anteriormente, ajustar parámetros como temperature, top P y max tokens puede ayudar a afinar los LLM para producir resultados más relevantes y precisos. Reducir la temperature o top P a valores como 0.1 o 0.2 disminuye la aleatoriedad, generando respuestas más enfocadas adecuadas para tareas como generación de código o scripting de análisis de datos. Por el contrario, aumentar los parámetros de temperature o top P a alrededor de 0.7 o 0.8 fomenta una salida más creativa y diversa, ideal para escritura creativa o narración de historias. Generalmente se aconseja modificar solo uno de los parámetros, temperature o top P, pero no ambos simultáneamente.
Mientras tanto, alterar el parámetro de max tokens permite personalizar la longitud de la salida del LLM. Esta flexibilidad resulta beneficiosa al adaptar los LLM para generar respuestas cortas para chatbots o contenido más extenso para artículos. Además, ajustar el parámetro de max tokens puede ser útil en escenarios como la generación de código para desarrollo de software o el resumen de documentos largos.
Conclusión
En resumen, adquirir competencia en ajustes como temperature, top P, longitud máxima y otros es crucial al utilizar modelos de lenguaje. Estos parámetros permiten un control preciso de la salida del modelo, adaptándola a tareas o aplicaciones particulares. Gobiernan factores como la aleatoriedad de las respuestas, la longitud y la frecuencia de repetición, todos los cuales contribuyen a mejorar las interacciones con la IA.
novita.ai, la plataforma integral para la creatividad sin límites que te ofrece acceso a más de 100 APIs. Desde generación de imágenes y procesamiento de lenguaje hasta mejora de audio y manipulación de video, con precios económicos de pago por uso, te libera de las tareas de mantenimiento de GPU mientras construyes tus propios productos. Pruébalo gratis.
Lectura recomendada
Novita AI LLM Inference Engine: el mayor rendimiento y la inferencia más económica disponible
