Google Presenta DataGemma: Nuevos Modelos de IA para Mejorar la Precisión Factual

Introducción a DataGemma

En un esfuerzo por abordar algunos de los mayores desafíos en el dominio de la inteligencia artificial, Google ha ampliado su familia de modelos de IA con el lanzamiento de DataGemma, un par de modelos de código abierto ajustados por instrucciones. Estos nuevos modelos se centran en la mitigar el fenómeno de las alucinaciones en los modelos de lenguaje, específicamente en respuestas relacionadas con datos estadísticos.

Acceso y Uso

DataGemma está disponible en Hugging Face para uso académico y de investigación. Ambos modelos se construyen sobre la ya existente familia Gemma de modelos abiertos y hacen uso de datos extensos del Data Commons de Google, una plataforma que proporciona un grafico de conocimiento abierto con más de 240 mil millones de puntos de datos provenientes de organizaciones de confianza en múltiples sectores.

Desafío de las Alucinaciones en Modelos de Lenguaje

A pesar de los avances en la tecnología de LLMs, la tendencia de estos modelos a proporcionar respuestas inexactas en preguntas relacionadas con datos numéricos y estadísticos sigue siendo un problema. Según un estudio de los investigadores de Google, las causas de estas alucinaciones incluyen la naturaleza probabilística de las generaciones de LLM y la insuficiencia de cobertura factual en los datos de entrenamiento.

Enfoques para Mejorar la Precisión

Para abordar estos desafíos, los investigadores de Google implementaron dos enfoques distintos utilizando Data Commons:

1. Recuperación Intercalada de Generación (RIG)

Este enfoque mejora la precisión factual al comparar la generación original del modelo con estadísticas relevantes almacenadas en Data Commons. El LLM ajustado produce consultas en lenguaje natural que describen el valor generado, las cuales son luego transformadas en consultas de datos estructurados para recuperar respuestas estadísticamente correctas.

2. Generación Aumentada por Recuperación (RAG)

El segundo enfoque utiliza un método similar de generación aumentada por recuperación que muchas empresas ya emplean. En este caso, el modelo Gemma extrae variables relevantes de la pregunta original para construir una consulta en lenguaje natural para Data Commons. Esto permite que la consulta se ejecute y recupere estadísticas que se utilizan para generar la respuesta final.

Resultados de las Pruebas

Las pruebas con un conjunto de 101 consultas mostraron que los modelos DataGemma ajustados con RIG lograron mejorar la factualidad en un 58%, comparado con un incremento del 24-29% de respuestas estadísticas correctas con RAG. Si bien el LLM fue generalmente preciso con los números (99%), tuvo dificultades para realizar inferencias correctas en un 6-20% de los casos.

Implicaciones Futuras

Ambos enfoques, RIG y RAG, demuestran ser efectivos en la mejora de la precisión en consultas estadísticas, lo cual es esencial para la investigación y la toma de decisiones. Google espera que el lanzamiento público de DataGemma impulse investigaciones adicionales en este campo y contribuya al desarrollo de modelos más sólidos y mejor fundamentados.

Compromiso de Google

Google ha manifestado su compromiso con la investigación continua en este ámbito, asegurando que refinarán estas metodologías y las integrarán en sus modelos Gemma y Gemini en el futuro.

Conclusión

Con la llegada de DataGemma, Google no solo está abordando los problemas actuales de precisión en sus modelos de IA, sino que también está estableciendo un camino hacia la creación de modelos más robustos y confiables en el campo de la inteligencia artificial.