NVIDIA lanza NIM Microservicios para IA Generativa en Japón y Taiwán

Por qué son importantes las inteligencias artificiales que apoyan las necesidades nacionales?

Los microservicios respaldan modelos comunitarios populares diseñados para satisfacer las necesidades regionales. Mejoran las interacciones de los usuarios mediante una comprensión precisa y respuestas mejoradas basadas en los idiomas locales y el patrimonio cultural.

Solo en la región Asia-Pacífico, se espera que los ingresos por software de IA generativa alcancen los 48 mil millones de dólares para 2030, frente a los 5 mil millones de dólares de este año. Llama-3-Swallow-70B, entrenado con datos japoneses, y Llama-3-Taiwan-70B, entrenado con datos mandarín, son modelos de idiomas regionales que brindan una comprensión más profunda de las leyes, regulaciones y otras costumbres locales.

El entrenamiento de un modelo lingüístico amplio (LLM) en idiomas regionales mejora la eficacia de sus resultados al garantizar una comunicación más precisa y matizada, ya que comprende y refleja mejor las sutilezas culturales y lingüísticas.

Los modelos ofrecen un rendimiento líder para la comprensión de los idiomas japonés y mandarín, tareas legales regionales, respuesta a preguntas y traducción y resumen de idiomas en comparación con los LLM básicos como Llama 3.

Los nuevos microservicios NIM permiten a las empresas, agencias gubernamentales y universidades alojar LLM nativos en sus propios entornos, lo que permite a los desarrolladores crear copilotos avanzados, chatbots y asistentes de IA.

Desarrollo de aplicaciones con microservicios de inteligencia artificial soberana NIM

Los desarrolladores pueden implementar fácilmente los modelos de IA soberanos, empaquetados como microservicios NIM, en producción y, al mismo tiempo, lograr un rendimiento mejorado.

Los microservicios, disponibles con NVIDIA AI Enterprise , están optimizados para la inferencia con la biblioteca de código abierto NVIDIA TensorRT-LLM .

Los microservicios NIM para Llama 3 70B (que se utilizaron como modelo base para los nuevos microservicios NIM Llama–3-Swallow-70B y Llama-3-Taiwan-70B) pueden proporcionar un rendimiento hasta 5 veces mayor. Esto reduce el costo total de ejecución de los modelos en producción y brinda mejores experiencias de usuario al disminuir la latencia.

Los nuevos microservicios NIM están disponibles hoy como interfaces de programación de aplicaciones (API) alojadas.

Aprovechar NVIDIA NIM para obtener resultados de IA generativa más rápidos y precisos

Los microservicios NIM aceleran las implementaciones, mejoran el rendimiento general y brindan la seguridad necesaria para organizaciones de todas las industrias globales, incluidas la atención médica, las finanzas, la fabricación, la educación y la legal.

Por ejemplo, una empresa japonesa de inteligencia artificial, Preferred Networks, utiliza el modelo para desarrollar un modelo específico de atención médica entrenado en un corpus único de datos médicos japoneses, llamado Llama3-Preferred-MedSwallow-70B, que obtiene las mejores puntuaciones en el Examen Nacional de Médicos de Japón.

El Hospital Chang Gung Memorial (CGMH), uno de los hospitales líderes de Taiwán, está construyendo un servicio de inferencia de inteligencia artificial (AIIS) personalizado para centralizar todas las aplicaciones LLM dentro del sistema hospitalario. Con Llama 3-Taiwan 70B, está mejorando la eficiencia del personal médico de primera línea con un lenguaje médico más matizado que los pacientes pueden comprender.

Pegatron, fabricante de dispositivos electrónicos con sede en Taiwán, adoptará el microservicio NIM Llama 3-Taiwan 70B para aplicaciones internas y externas. Lo ha integrado con su sistema de inteligencia artificial PEGAAi Agentic para automatizar procesos y aumentar la eficiencia en la fabricación y las operaciones.

El NIM Llama-3-Taiwan 70B también lo utilizan el fabricante petroquímico global Chang Chun Group, la empresa líder mundial de placas de circuito impreso Unimicron, la empresa de medios de comunicación centrada en la tecnología TechOrange, la empresa de servicios de contratos en línea LegalSign.ai y la startup de inteligencia artificial generativa APMIC. Estas empresas también están colaborando en el modelo abierto.

Obtenido de: https://blogs.nvidia.com/blog/nim-microservices-generative-ai/