La tecnológica Apple lanzó una familia Open-source Efficient Language Models (Modelos de lenguaje eficientes de código abierto), que fueron diseñados para ofrecer resultados precisos en ordenadores portátiles, empleando menos tokens de entrenamiento que otros modelos de inteligencia artificial, como OLMo.
Esta es una familia que utiliza una estrategia de “escalamiento por capas” para asignar parámetros de forma eficiente dentro de una capa del modelo, por lo que se centra en tareas específicas y permite a los usuarios obtener resultados más precisos.
La familia está compuesta por cuatro modelos de lenguaje grande (LLM) que se presentan en diferentes tamaños: de 270 millones de parámetros, 450 millones, mil 100 millones y tres mil millones de parámetros.
Cada uno viene con dos versiones, la de preentrenamiento (preetrained, una variante genérica entrenada con conjuntos de datos de la biblioteca CoreNet de GitHub) y la optimizada (instruction tuned, ajustada e instruida para emplearla con propósitos concretos. Algo que se explica en el documento de investigación que fue publicado en Arxiv.org.
Los modelos fueron probados en un modelo de MacBook Pro con SoC M2 Max de 64 Gb de RAM y basado en macOS 14.4.1 y en un ordenador con CPU Intel i9-13900KF, DDR5-4000 DRAM y GPU NVIDIA RTX 4090 con 24 Gb de VRAM.
Si bien en sus pruebas, señala Europa Press, Apple descubrió que OpenELM funciona de forma más eficiente que otros LLM similares (como OLMo desarrollado por Allen Instute for AI) ya que el suyo ofrece una mejora de 2.36 por ciento en la precisión, requiriendo a la vez una menor cantidad de tokens de preentrenamiento.
Finalmente la tecnológica reconoció que OpenELM, cuyo repositorio está en Huggin Face, se ha entrenado con un conjunto de datos disponibles públicamente y sin “ninguna garantía de seguridad””. Lo que quiere decir que existe la posibilidades de que estos modelos produzcan resultados inexactos, dañinos o sesgados.
Fuente: Europa Press.
