¿Mezcla de EXPERTOS o AGENTES? MoE Vs MoA 🤖
Tenemos nueva estructura en los LLMs, Los Agentes de IA empiezan a tener relevancia y a priori parecen más eficientes
El ValorAñadido de esta entrada es explicaros la estructura MoA y sus diferencias con MoE que ya hablamos en anteriores publicaciones
¿Qué pasaría si pudiéramos combinar las fortalezas de múltiples LLMs para superar sus limitaciones individuales? Esta es la pregunta que los investigadores de la empresa Together AI y Stanford University abordaron en su estudio «Mixture-of-Agents Enhances Large Language Model Capabilities»
https://arxiv.org/pdf/2406.04692
MoA se basa en la colaboración de los LLMs. Imagina que cada modelo de lenguaje es como un experto en un tema específico dentro de un panel de discusión. Cada experto aporta sus conocimientos únicos, y a través de varias rondas de intercambio de ideas, el grupo llega a una conclusión mucho más sólida que cualquier experto individual
En términos técnicos, el MoA estructura múltiples capas de LLMs donde cada agente genera respuestas basadas en las salidas de la capa anterior, optimizando así la calidad de las respuestas finales
Pero…, esto se parece a la arquitectura MoE, ¿no?
Aquí viene lo interesante de esta publicación, poder explicar dónde está la diferencia entre ambas. Debo deciros que no me ha resultado fácil hacer este ejemplo 😅
Vamos a contextualizar nuestras arquitecturas (MoE y MoA) en un colegio, con sus aulas y profesores.
MoA es como tener varios profesores en diferentes aulas, donde cada profesor enseña una lección basada en lo que el profesor anterior enseñó. Por ejemplo, el Profesor A enseña un tema a los alumnos en el Aula 1. Luego, los alumnos se trasladan al Aula 2, donde el Profesor B toma las ideas del Profesor A y las expande, refinando y añadiendo nueva información. Este proceso se repite en varias aulas, con cada profesor construyendo sobre el trabajo del anterior, lo que resulta en una comprensión más profunda y completa del tema al final del recorrido.
En cambio, MoE es como tener una única aula con varios profesores especializados en diferentes materias. Cada vez que un alumno tiene una pregunta específica, un moderador decide cuál profesor (experto) es el más adecuado para responder. Por ejemplo, si la pregunta es sobre matemáticas, el profesor de matemáticas responde; si es sobre literatura, el profesor de literatura toma la palabra. El moderador integra las respuestas de los diferentes profesores para proporcionar una solución coherente y completa.
Los resultados de MoA son interesantes. Los investigadores lograron un rendimiento superior en varios benchmarks como AlpacaEval 2.0, MT-Bench y FLASK, superando incluso al avanzado GPT-4 Omni.
MoE y MoA no son incompatibles, tienen sus propios méritos y aplicaciones, y la elección dependerá de los requisitos específicos del proyecto y los recursos.
Aunque mi pregunta es, ¿Tenemos LLMs más inteligentes o con respuestas más precisas?
