Introducción
Con la multitud de Modelos de Lenguaje Grandes (LLM) disponibles, identificar uno que se ajuste a tus necesidades específicas puede parecer abrumador. El panorama evoluciona constantemente, con nuevos modelos y versiones refinadas que aparecen casi cada semana. En consecuencia, cualquier intento de catalogar LLM y sus atributos quedará obsoleto rápidamente.
En lugar de intentar describir cada LLM principal y detallar sus fortalezas y debilidades, este artículo pretende proporcionar un conjunto de criterios para evaluar modelos. Al ofrecer un marco de análisis, los lectores podrán evaluar modelos recién publicados según características clave y compararlos de manera efectiva. Los atributos principales a considerar al evaluar un LLM incluyen:
- tamaño
- tipo de arquitectura
- rendimiento en benchmarks
- procesos de entrenamiento y sesgos
- licencia/disponibilidad
¿Cuál es el tamaño de un LLM?
Tu consideración principal al seleccionar un LLM es tu limitación presupuestaria. Operar LLM puede incurrir en costos sustanciales, lo que subraya la importancia de optar por un modelo que se mantenga dentro de los límites presupuestarios. Un factor indicativo del costo es la cantidad de parámetros dentro de un LLM.
¿Cuál es el número de parámetros de un modelo?
La cantidad de parámetros corresponde al recuento de pesos y sesgos que el modelo ajusta durante el entrenamiento y utiliza para calcular su salida. ¿Por qué es importante esta cantidad? Ofrece una aproximación aproximada de la sobrecarga de rendimiento y la velocidad de inferencia de un modelo. En términos generales, estos factores están directamente relacionados: a medida que aumenta el número de parámetros, también aumenta el costo asociado con la generación de una salida.
¿Cuál es la velocidad de inferencia de un modelo?
La velocidad de inferencia de un modelo de lenguaje se refiere al tiempo que tarda en procesar una entrada, esencialmente midiendo su velocidad de salida. Es importante reconocer que la velocidad de inferencia y el rendimiento general de un modelo son complejos y multifacéticos, y no están determinados únicamente por el número de parámetros. Sin embargo, para el contexto de este artículo, el recuento de parámetros proporciona una estimación aproximada del rendimiento potencial de un modelo. Afortunadamente, existen varios métodos establecidos para mitigar el tiempo de inferencia de los modelos de aprendizaje automático.
Número de parámetros de cada LLM.
Un modelo de tamaño mediano suele tener menos de 10 mil millones de parámetros, mientras que los más asequibles pueden tener menos de 1 mil millones. Sin embargo, los modelos con menos de 1 mil millones de parámetros suelen ser más antiguos o no están específicamente diseñados para tareas de generación de texto. En el otro extremo del espectro, los modelos costosos cuentan con más de 100 mil millones de parámetros, ejemplificado por GPT-4 con la asombrosa cifra de 1,76 billones de parámetros. Muchas series de modelos, incluidas LLaMa 2, Mistral, Falcon y GPT, ofrecen versiones más pequeñas, con menos de 10 mil millones de parámetros, y versiones más grandes que van de 10 a 100 mil millones de parámetros.
¿Cuáles son los diferentes tipos de LLM?
En términos generales, los LLM basados en transformadores se pueden clasificar en tres grupos según su arquitectura: solo codificador, codificador-decodificador y solo decodificador. Esta clasificación ayuda a comprender el propósito previsto del modelo y su rendimiento en tareas de generación de texto.
¿Qué es un modelo solo codificador?
Los modelos solo codificadores utilizan únicamente un componente codificador, encargado de codificar y categorizar el texto de entrada. Estos modelos resultan útiles para asignar texto a categorías específicas. BERT, el modelo solo codificador predominante, se entrenó como modelo de lenguaje enmascarado (MLM) y para predicción de la siguiente oración (NSP). Ambos objetivos de entrenamiento implican discernir elementos esenciales dentro de una oración.
¿Qué es un modelo codificador-decodificador?
Los modelos codificador-decodificador primero codifican el texto de entrada, similar a los modelos solo codificadores, antes de proceder a generar o decodificar una respuesta basada en las entradas codificadas. Un ejemplo de arquitectura de modelo codificador-decodificador es BART. Estos modelos son versátiles, adecuados tanto para tareas de generación como de comprensión de texto, lo que los hace particularmente valiosos para fines de traducción. BART, por ejemplo, sobresale en la síntesis de textos largos, como artículos, en salidas coherentes. Por ejemplo, BART-Large-CNN es una variante ajustada especializada en generar resúmenes de texto, entrenada en una diversa gama de artículos de noticias. En general, los modelos codificador-decodificador cumplen un doble propósito, atendiendo tanto a tareas de comprensión como de generación de texto.
¿Qué es un modelo solo decodificador?
Los modelos solo decodificadores se especializan en generar la siguiente palabra o token a partir de un mensaje dado, centrándose exclusivamente en tareas de generación de texto. Ofrecen simplicidad en el entrenamiento y son particularmente eficientes para fines de generación de texto puro. Series de modelos como GPT, Mistral y LLaMa pertenecen a la categoría solo decodificador. Si tu requisito principal gira en torno a la generación de texto, los modelos solo decodificador son la opción preferida.
Sin embargo, cabe señalar que Mistral 8x7B (también conocido como Mixtral) emplea una arquitectura única denominada “mezcla de expertos”, que lo diferencia de los modelos convencionales solo decodificador. Del mismo modo, hay indicios de que GPT-4 podría utilizar una técnica similar. Por lo tanto, estos modelos pueden no encajar perfectamente en la categoría solo decodificador. Además, técnicas arquitectónicas emergentes como la generación aumentada por recuperación (RAG) desafían la clasificación dentro de estas categorías establecidas.
Puedes profundizar en nuestro blog sobre la tecnología RAG: ¿Qué es RAG: Una introducción completa a la generación aumentada por recuperación
Cómo medir la calidad de rendimiento de un LLM
Se emplean diversas métricas para evaluar la capacidad de un modelo de lenguaje para comprender, interpretar y proporcionar respuestas precisas a mensajes diversos. Estos métodos de evaluación difieren según el uso previsto del modelo de lenguaje. Por ejemplo, BERT, un modelo solo codificador diseñado principalmente para tareas como clasificación, no se evalúa con los mismos criterios que GPT-3, un modelo solo decodificador diseñado para generación de texto. En las siguientes secciones, explicaremos algunas de las metodologías utilizadas para evaluar LLM de generación de texto.
Medir la calidad de un LLM mediante exámenes académicos
Un método común para evaluar la efectividad de un modelo de lenguaje generativo es someterlo a exámenes. Por ejemplo, GPT-4 fue evaluado frente a GPT-3.5 en una variedad de pruebas académicas. A través de este proceso, el rendimiento del modelo se compara con puntuaciones humanas y con las de modelos anteriores, proporcionando información sobre sus capacidades de razonamiento dentro de un contexto académico. A continuación se presenta una breve compilación de algunos de los exámenes administrados a GPT-4, junto con sus puntuaciones comparativas frente a GPT-3.5 y el rendimiento humano promedio:
Rendimiento de GPT-4 y GPT-3.5 en exámenes estandarizados comparado con el promedio humano.
Otra métrica de rendimiento similar a los exámenes académicos consiste en presentar al modelo diversos conjuntos de datos de preguntas y respuestas (QnA). Este enfoque se utiliza en el Hugging Face Open LLM Leaderboard, ofreciendo un recurso valioso para comparar diferentes LLM según su rendimiento en conjuntos de datos QnA. Estos conjuntos de datos proporcionan un medio sencillo para comparar un LLM, permitiendo evaluar su inteligencia general y capacidades lógicas.
Tabla de comparación de calidad entre LLM
Es importante tener en cuenta que comparar una puntuación de 0 disparos con una puntuación de 25 disparos tiene poco valor. Idealmente, para comparaciones de calidad, debes mantener la consistencia en el tipo de aviso utilizado. Incluso al comparar dos puntos de datos con el mismo método de aviso, las diferencias en los procedimientos de prueba aún pueden provocar imprecisiones. Sin embargo, lo siguiente debería proporcionar una comparación aproximada de calidad:
Una tabla de comparación de calidad entre LLM en las pruebas ARC, MMLU y WinoGrande utilizando avisos de pocos disparos y cero disparos.
¿Cuál es el mejor LLM actual para usar como chatbot?
Examinando esta tabla, teniendo en cuenta las advertencias mencionadas anteriormente, es evidente que GPT-4 destaca como el LLM de mejor rendimiento en términos de calidad general. Sin embargo, para una relación calidad-precio óptima, los modelos Mistral ofrecen la mejor opción. En particular, la versión 8x7B de Mistral emplea una técnica única que amalgama múltiples modelos Mistral 7b, lo que resulta en salidas de mayor calidad. Este enfoque crea un modelo altamente eficiente que también sobresale en evaluaciones comparativas.
Cómo los datos de entrenamiento pueden afectar a los LLM
La selección de conjuntos de datos de entrenamiento para un modelo plantea consideraciones significativas. ¿Qué tipo de datos se utilizaron? ¿Está el conjunto de datos adaptado específicamente para aplicaciones particulares? ¿Existen sesgos inherentes dentro del conjunto de datos que puedan afectar al modelo?
Cómo surgen los sesgos del modelo, tomando BERT como ejemplo
Para la mayoría de los LLM, los datos de entrenamiento suelen ser extensos, con el objetivo de proporcionar al modelo una comprensión fundamental del lenguaje. BERT, por ejemplo, se preentrenó utilizando Wikipedia (2500 millones de palabras) y BookCorpus (800 millones de palabras). Sin embargo, en algunos casos, como con los modelos de Mistral, el conjunto de datos de entrenamiento no está disponible públicamente.
Examinar estos conjuntos de datos puede ofrecer información sobre los posibles sesgos inherentes al modelo. Consideremos BERT, que depende en gran medida del conjunto de datos de Wikipedia en inglés para el entrenamiento. Si bien Wikipedia a menudo se considera una fuente neutral y objetiva, esto no siempre es cierto. Por ejemplo, The Guardian informó que solo el 16% de los editores de Wikipedia son mujeres, y solo el 17% de los artículos sobre personas notables tratan sobre mujeres. Además, el contenido sobre el África subsahariana es escrito principalmente por personas fuera de la región. Dada la dependencia de BERT de la Wikipedia en inglés, es plausible que los sesgos presentes en la plataforma puedan heredarse en el modelo. De hecho, hay evidencia que sugiere que BERT muestra sesgos de género y raza en sus salidas. En resumen, los sesgos dentro de los conjuntos de datos de entrenamiento de los modelos preentrenados pueden influir en sus capacidades de generación de texto. Por lo tanto, es esencial considerar tales sesgos, ya que afectan la experiencia del usuario final.
¿Qué es un modelo ajustado (fine-tuned)?
El ajuste fino implica volver a entrenar un modelo ya entrenado con nuevos datos, lo que a menudo lleva a la creación de modelos derivados especializados para propósitos específicos. La elección de los datos utilizados para el ajuste fino es crucial al evaluar las aplicaciones potenciales de un modelo. Por ejemplo, FinBERT, un derivado de BERT, se ha ajustado en un conjunto de datos sustancial de lenguaje financiero, lo que lo hace particularmente útil para analizar el sentimiento financiero del texto. Si quieres saber más sobre el ajuste fino, lee nuestro artículo: ¿Cómo ajustar modelos de lenguaje grandes?
Mientras que algunos modelos están diseñados con la intención de permitir un mayor ajuste fino, otros ya están ajustados para cumplir objetivos específicos. Por ejemplo, modelos como Falcon pueden tener versiones de chat refinadas para funcionar eficazmente como chatbots. Se emplean varios métodos para ajustar modelos, aunque los detalles de estas técnicas están fuera del alcance de este artículo. En general, un modelo ajustado típicamente proporciona información sobre sus propósitos previstos y las técnicas de ajuste fino aplicadas.
¿Qué conjunto de datos utiliza cada modelo de lenguaje?
Dado el impacto significativo de los datos de entrenamiento en el rendimiento de un modelo, los desarrolladores han ideado diversos métodos de extracción web para adquirir conjuntos de datos de alta calidad. Por ejemplo, la herramienta Webtext de OpenAI extrae “todos los enlaces salientes de Reddit que recibieron al menos 3 karma”. A continuación se presenta una compilación de conjuntos de datos utilizados por algunos de los modelos más notables hasta la fecha, teniendo en cuenta que muchos desarrolladores no revelan los conjuntos de datos que emplean.
Conjuntos de datos con los que se entrenaron los LLM más populares.
La licencia y disponibilidad de los LLM
Para el uso comercial de LLM, es imperativo evaluar los términos de licencia asociados con un modelo específico. Además, la disponibilidad puede ser matizada: ciertos modelos son de código cerrado, lo que requiere acceso únicamente a través de su API.
¿Qué es un modelo de lenguaje de código cerrado?
Un modelo de código cerrado implica que su código fuente no es accesible públicamente. Modelos como GPT-3 y GPT-4 caen en esta categoría, típicamente accesibles solo a través de una API. Sin embargo, aunque la integración de la API puede ser sencilla, también conlleva gastos. En general, para la integración en plataformas, dependiendo de la escala, es más rentable utilizar un modelo de lenguaje de código abierto y entrenarlo o implementarlo utilizando una plataforma como UbiOps.
API de LLM de novita.ai
¿Qué es un LLM de código abierto?
Un LLM de código abierto se refiere a un modelo que es accesible públicamente y, sujeto a su licencia, puede emplearse para fines comerciales. Además, dependiendo de los términos de la licencia, puede ajustarse, bifurcarse (fork) o modificarse según sea necesario. Típicamente, para la integración en plataformas o fines de ajuste fino, es recomendable optar por un modelo de código abierto.
Además, aprovechar las tecnologías de código abierto es propicio para avanzar en el campo de los LLM, ya que fomenta incentivos para la mejora y personalización de modelos, beneficiando en última instancia a toda la comunidad.
Licencias comerciales
Un modelo que posee una licencia comercial es adecuado para fines comerciales, permitiendo su integración en plataformas comerciales.
Resumen de LLM y sus licencias.
Conclusión
Seleccionar un LLM que se alinee con tus requisitos puede parecer abrumador, pero puedes optimizar tu proceso de evaluación comparando las características clave con tus necesidades. Estas incluyen tamaño, tipo, puntos de referencia de calidad, metodologías de entrenamiento, sesgos y licencias. Si bien esta lista sirve como punto de partida, hay numerosos otros factores a considerar. No obstante, este artículo tiene como objetivo proporcionarte el conocimiento necesario para evaluar un modelo de IA recién lanzado, permitiéndote determinar su idoneidad potencial para tus requisitos y decidir si se justifica una investigación adicional.
novita.ai, la plataforma integral para la creatividad ilimitada que te brinda acceso a más de 100 API. Desde generación de imágenes y procesamiento de lenguaje hasta mejora de audio y manipulación de video, con un sistema de pago por uso económico, te libera de las molestias del mantenimiento de GPU mientras construyes tus propios productos. ¡Pruébalo gratis!
Lecturas recomendadas
Novita AI LLM Inference Engine: el mayor rendimiento y la inferencia más barata disponible
