Modelo de lenguaje pequeño

Un modelo de lenguaje pequeño (en inglés: Small Language Model, SLM) es un tipo de modelo de lenguaje de inteligencia artificial diseñado para procesar y generar lenguaje natural, pero con un tamaño y complejidad menores en comparación con los modelos de lenguaje grandes (LLM). Los modelos pequeños se caracterizan por tener un número reducido de parámetros, lo que implica un menor consumo de recursos computacionales y una mayor eficiencia en contextos específicos.

Los modelos de lenguaje pequeños se utilizan principalmente en tareas relativamente simples y en entornos con hardware limitado. Gracias a su menor tamaño, pueden ejecutarse en equipos personales y, en algunos casos, en dispositivos móviles de alto rendimiento.

Uno de los modelos de lenguaje pequeños más destacados es Phi-3, una familia de modelos abiertos de Microsoft que incluye versiones de 3 mil millones de parámetros (Mini) y 14 mil millones de parámetros (Medium).

Phi-3 y comparativa con GPT-3.5

La serie Phi-3, desarrollada por Microsoft, representa una nueva generación de modelos de lenguaje enfocados en la eficiencia. El más destacado es Phi-3-mini, que con solo 3.8 mil millones de parámetros logra un rendimiento comparable e incluso superior en ciertos casos a modelos mucho más grandes como Mixtral 8×7B o incluso GPT-3.5, el cual se estima que posee alrededor de 175 mil millones de parámetros. Dentro de la misma familia existen versiones más grandes como Phi-3-small (7B) y Phi-3-medium (14B), además de variantes más avanzadas en la serie Phi-3.5, que incluyen características como tokenización extendida, arquitecturas tipo Mixture of Experts (MoE) o la capacidad multimodal en el caso de Phi-3.5-Vision.

En cuanto a rendimiento, Phi-3-mini alcanza un 69 % en MMLU y un 8.38 en MT-bench, resultados muy cercanos a los de GPT-3.5 (≈69 % y 8.4, respectivamente). Sus hermanos mayores suben aún más la barra: Phi-3-small llega al 75 % en MMLU, mientras que Phi-3-medium alcanza un 78%. Estos datos confirman que Phi-3 logra competir directamente con GPT-3.5 a pesar de su tamaño reducido, lo que demuestra la eficacia del entrenamiento con datos filtrados y sintéticos.

Uno de los puntos más relevantes es su eficiencia técnica. Phi-3-mini puede ejecutarse en un smartphone como el iPhone 14, ocupando apenas 1.8 GB gracias a la cuantización en 4 bits. Además, ofrece versiones con contextos ultralargos de hasta 128K tokens, soporte para múltiples entornos (CPU, GPU, móviles, Azure, ONNX Runtime) y opciones de fine-tuning accesibles. Su despliegue es mucho más flexible que GPT-3.5, que sigue dependiendo de la nube y un consumo mayor de recursos, con límites de contexto generalmente más bajos.

La comunidad ha destacado estos logros, subrayando que, pese a su tamaño reducido, los modelos Phi-3.5 mini superan en diversos benchmarks a competidores más grandes, incluyendo tareas de razonamiento matemático, generación de código y comprensión multimodal.

En conclusión, mientras GPT-3.5 se mantiene como un modelo robusto para aplicaciones complejas en la nube, la serie Phi-3 prueba que el diseño inteligente puede alcanzar resultados similares con una fracción de los parámetros. Esto abre la puerta a aplicaciones locales, privadas y eficientes, ideales para dispositivos móviles o soluciones que buscan equilibrio entre potencia y economía de recursos.

Referencias

• Datos: Q123759530