Según Google, su nueva IA aborda los problemas más apremiantes de la humanidad, si se combina con otras herramientas. Gemma 2 está optimizado para ejecutarse a gran velocidad en potentes portátiles para juegos, PCs de alta gama y con mucha precisión en Google AI Studio. Novedades de Gemma 2.
Gemma 2 ya está disponible para investigadores y desarrolladores ofreciendo según Google, el mejor rendimiento de su clase. Se ejecuta a una velocidad increíble en diferentes hardware y se integra fácilmente con otras herramientas de inteligencia artificial.
Gemma es una familia de modelos abiertos livianos y de última generación, construidos a partir de la misma investigación y tecnología utilizadas para crear los modelos Gemini.
CodeGemma, RecurrentGemma y PaliGemma, buscan ofrecer capacidades únicas para diferentes tareas de IA, con fácil accesibilidad, mediante integraciones con socios como Hugging Face, NVIDIA y Ollama.
Te puede interesar: ¿Sobrevivirán discográficas ante IA? Demandadas Suno y Udio por violar derechos de autor de canciones
Gemma 2 está disponible en tamaños de parámetros de 9 mil millones (9B) y 27 mil millones (27B), con mayor rendimiento, mitad del peso promedio y eficiencia. Trae importantes avances de seguridad incorporados con ofrece alternativas competitivas en en 27B.
Ahora con un rendimiento que se puede lograr en un único host de GPU o TPU NVIDIA H100 Tensor Core, lo que reduce significativamente los costos de implementación.
“El modelo 9B Gemma 2 también ofrece un rendimiento líder en su clase, superando al Llama 3 8B y otros modelos abiertos en su categoría de tamaño. Para conocer desgloses detallados del rendimiento, consulte el informe técnico”.
En cuanto al modelo 27B “Gemma 2 está diseñado para ejecutar inferencia de manera eficiente y con total precisión en un único host de TPU de Google Cloud, una GPU NVIDIA A100 de 80 GB Tensor Core o una GPU NVIDIA H100 Tensor Core, lo que reduce significativamente los costos y mantiene un alto rendimiento. Esto permite implementaciones de IA más accesibles y económicas”.
Sobre la inferencia afirman que es “increíblemente rápida en todo el hardware: Gemma 2 está optimizado para ejecutarse a una velocidad increíble en una variedad de hardware, desde potentes portátiles para juegos y computadoras de escritorio de alta gama hasta configuraciones basadas en la nube”.
Te puede interesar: IA llegó para hacernos más productivos y creativos, pero también con efectos adversos ¿Cuáles?
Gemma 2 se puede probar, prometiendo total precisión “en Google AI Studio, desbloquee el rendimiento local con la versión cuantificada con Gemma.cpp en su CPU o pruébelo en la computadora de su hogar con una NVIDIA RTX o GeForce RTX a través de Hugging Face Transformers”.
No sólo sería más potente, sino que está diseñado para integrarse más fácilmente en sus flujos de trabajo. Abierto y accesible, al igual que los modelos Gemma originales; “Gemma 2 está disponible bajo nuestra licencia Gemma comercial, lo que brinda a los desarrolladores e investigadores la capacidad de compartir y comercializar sus innovaciones”.
Gemma 2 guarda compatibilidad con los principales marcos de IA como Hugging Face Transformers y JAX, PyTorch y TensorFlow a través de Keras 3.0 nativo, vLLM, Gemma.cpp, Llama.cpp y Ollama. Además, está optimizada con NVIDIA TensorRT-LLM para ejecutarse en una infraestructura acelerada por NVIDIA o como un microservicio de inferencia NIM de NVIDIA, y próximamente habrá optimización para NeMo de NVIDIA.
La implementación se podrá hacer partir de julio de 2024, donde los clientes de Google Cloud podrán implementar y administrar fácilmente Gemma 2 en Vertex AI.
El nuevo Gemma Cookbook, conlleva una colección de ejemplos prácticos y recetas que guían en la creación de propias aplicaciones y el ajuste de los modelos Gemma 2 para tareas específicas.
Imagen: Archivo ENTER.CO
