En ‘Intel Vision‘, Intel present贸 el acelerador de Inteligencia Artificial (IA) Intel Gaudi 3 AI, que ofrece cuatro veces m谩s capacidad de c谩lculo de IA para BF16, 1,5 veces m谩s ancho de banda de memoria y dos veces m谩s ancho de banda de red para un escalado masivo del sistema en comparaci贸n con su predecesor.
Eso supone un salto significativo en el rendimiento y la productividad para la formaci贸n y la inferencia de IA en los populares modelos de grandes lenguajes (LLM) y modelos multimodales.
Bas谩ndose en el rendimiento y la eficiencia demostrados del acelerador Intel Gaudi 2 AI, la 煤nica alternativa MLPerf聽para LLM del mercado, Intel les ofrece a los clientes la posibilidad de elegir entre un software abierto basado en la comunidad y una red Ethernet est谩ndar del sector para escalar sus sistemas de forma m谩s flexible.
“A pesar de su constante evoluci贸n, el mercado de la IA atraviesa una brecha significativa en la oferta actual.聽Los comentarios de nuestros clientes y del mercado en general subrayan el deseo de disponer de m谩s opciones.聽Las empresas sopesan consideraciones como la disponibilidad, la escalabilidad, el rendimiento, el coste y la eficiencia energ茅tica.聽Intel Gaudi 3 destaca como la alternativa GenAI que presenta una combinaci贸n convincente de rendimiento de precio, escalabilidad del sistema y ventaja de tiempo-valor”, afirm贸 Justin Hotard, vicepresidente ejecutivo de Intel y director general del Data Center & AI Group.
El acelerador Intel Gaudi 3, dise帽ado para la computaci贸n eficiente de IA a gran escala, se fabrica en un proceso de 5 nan贸metros (nm) y ofrece avances significativos con respecto a su predecesor.
Est谩 dise帽ado para permitir la activaci贸n de todos los motores en paralelo con el motor de multiplicaci贸n de matrices (MME), los n煤cleos procesadores de tensor (TPC) y las tarjetas de interfaz de red (NIC), lo que permite la aceleraci贸n necesaria para un c贸mputo de aprendizaje profundo r谩pido, eficiente y a escala.
Entre las caracter铆sticas clave se incluyen:
Motor de c贸mputo dedicado a la IA
El acelerador Intel Gaudi 3 fue dise帽ado especialmente para c贸mputo GenAI de alto desempe帽o y alta eficiencia.
Cada acelerador cuenta con un motor inform谩tico heterog茅neo compuesto por 64 TPC personalizadas y programables para IA y ocho MME.
Cada MME de Intel Gaudi 3 es capaz de realizar la impresionante cantidad de 64.000 operaciones paralelas, lo que permite un alto grado de eficiencia computacional, haci茅ndolos expertos en el manejo de operaciones matriciales complejas, un tipo de computaci贸n que es fundamental para los algoritmos de aprendizaje profundo.
Este dise帽o 煤nico acelera la velocidad y la eficiencia de las operaciones paralelas de IA y admite m煤ltiples tipos de datos, incluidos FP8 y BF16.
- Aumento de memoria para LLM requisitos de capacidad
Los 128 gigabytes (GB) de capacidad de memoria HBMe2, los 3,7 terabytes (TB) de ancho de banda de memoria y los 96 megabytes (MB) de memoria est谩tica de acceso aleatorio (SRAM) incorporada proporcionan memoria de sobra para procesar grandes conjuntos de datos de GenAI, lo que resulta especialmente 煤til para servir grandes modelos ling眉铆sticos y multimodales
- Escala eficiente del sistema para GenAI empresarial
Cada acelerador Intel Gaudi 3 integra 24 puertos Ethernet de 200 gigabits (Gb), lo que proporciona una red flexible y de est谩ndar abierto.
Permiten un escalado eficiente para admitir grandes cl煤steres inform谩ticos y eliminan la dependencia de proveedores de tejidos de red propietarios.
El acelerador Intel Gaudi 3 est谩 dise帽ado para ampliarse y reducirse eficientemente desde un solo nodo hasta miles, a fin de satisfacer los requisitos expansivos de los modelos GenAI.
- Software abierto del sector para la productividad de los desarrolladores聽
El software Intel Gaudi integra el marco PyTorch y proporciona modelos optimizados basados en la comunidad Hugging Face, el marco de IA m谩s com煤n para los desarrolladores de GenAI en la actualidad.
Eso les permite a los desarrolladores de GenAI operar a un alto nivel de abstracci贸n para facilitar el uso y la productividad, as铆 como la portabilidad de modelos entre distintos tipos de hardware.
- Gaudi 3 PCIe聽
La tarjeta complementaria Gaudi 3 Peripheral Component Interconnect Express (PCIe) es una novedad en la l铆nea de productos.
Este nuevo factor de forma, dise帽ado para ofrecer una alta eficiencia con un menor consumo de energ铆a, es ideal para cargas de trabajo como el ajuste fino, la inferencia y la generaci贸n aumentada por recuperaci贸n (RAG).
La tarjeta est谩 equipada como factor de forma de altura completa a 600 vatios, con una capacidad de memoria de 128 GB y un ancho de banda de 3,7 TB por segundo.
Por otra parte, el acelerador Intel Gaudi 3 ofrecer谩 importantes mejoras de rendimiento para tareas de formaci贸n e inferencia en los principales modelos聽de GenAI.
En concreto, se prev茅 que el acelerador Gaudi 3 ofrezca, de media, en comparaci贸n con Nvidia H100:
- 50 por ciento m谩s de velocidad聽de entrenamiento聽聽en los modelos Llama2 de 7B y 13B par谩metros, y GPT-3 de 175B par谩metros.
- Rendimiento de inferencia un 50 por ciento m谩s r谩pido聽y聽eficiencia energ茅tica de inferencia un 40 por ciento mayor聽en los modelos de par谩metros Llama 7B y 70B, y Falcon 180B. Una ventaja de rendimiento de inferencia a煤n mayor en secuencias de entrada y salida m谩s largas.
- Un 30 por ciento m谩s r谩pida聽聽en los modelos de par谩metros Llama 7B y 70B, y Falcon 180B frente a Nvidia H200.