Aleph Alpha lanza Kolibri-1, un modelo abierto de 78.000 millones de parámetros con hasta 1 millón de tokens de contexto
Aleph Alpha, la empresa alemana de IA, ha publicado este 3 de octubre, Día de la Unidad Alemana, Kolibri, su nuevo modelo de lenguaje. Los pesos son abiertos: el modelo completo se puede descargar desde Hugging Face y usar con la licencia Apache 2.0.
Es un modelo de mezcla de expertos (reparte el trabajo entre partes especializadas): tiene 78.000 millones de parámetros en total, pero en cada paso solo activa 3.000 millones. Según la empresa, así necesita menos cálculo, aunque el modelo completo tiene que estar cargado en memoria.
Admite hasta 1 millón de tokens de contexto (la cantidad de texto que puede tener en cuenta de una vez), aunque la propia empresa recomienda no pasar de unos 262.000 para trabajar con eficiencia y en tareas complejas.
Puede razonar paso a paso y llamar a herramientas externas. Según Aleph Alpha, en matemáticas, programación y textos largos iguala a modelos con hasta cuatro veces más parámetros activos.
Está pensado para la administración pública, la industria y el sector aeroespacial, y para ejecutarlo en servidores propios sin enviar datos internos a terceros.
Eso sí: solo trabaja en alemán y en inglés, y necesita equipos potentes, como dos tarjetas gráficas A100 de 80 GB o una H200.
Vemos aquí un paso más de la IA europea en abierto, aunque hoy, para la mayoría de las pymes, encaja mejor como referencia que como herramienta del día a día.
