La Inteligencia Artificial en la nube, soluciones y servicios de Azure

Foto: Microsoft

KEAR (Atención externa informada para el razonamiento con sentido común) ha sido uno de los más recientes hitos alcanzados por Azure AI, el área de Inteligencia Artificial (IA) de la nube de Microsoft.

Junto a otros logros en visión artificial y texto a voz neuronal, KEAR ha sido parte de una misión más grande de Azure AI para proporcionar soluciones y servicios de IA relevantes y significativos que funcionan mejor para las personas.

Estas herramientas pueden capturar cómo las personas aprenden y trabajan, con una mejor visión, comprensión del conocimiento y capacidades del habla, según lo informado en una entrada de blog.

Yichong Xu, investigador senior; Chenguang Zhu, gerente principal de Investigación; Shuohang Wang, investigador; Michael Zeng, gerente de Investigación asociado; y Xuedong Huang, miembro técnico y director de Tecnología Azure AI, han explicado las bondades de esta tecnología.

En el centro de estos esfuerzos se encuentra el código XYZ, que se trata de una representación conjunta de tres atributos cognitivos: texto monolingüe (X), señales sensoriales de audio o visuales (Y) y multilingüe (Z).

“Nuestro equipo de Azure Cognitive Services, compuesto por investigadores e ingenieros con experiencia en Inteligencia Artificial, logró un hito innovador al promover la comprensión del lenguaje de sentido común”.

Cuando se le ha hecho una pregunta que requiere basarse en conocimientos previos y cinco opciones de respuesta, el modelo KEAR se ha desempeñado mejor que las personas que responden la misma pregunta, calculada como el voto mayoritario entre cinco personas.

KEAR ha alcanzado una precisión del 89,4 % en la clasificación de CommonsenseQA en comparación con el 88,9 % de precisión humana.

“Si bien el punto de referencia CommonsenseQA está en inglés, seguimos una técnica similar para el razonamiento de sentido común multilingüe y encabezamos la tabla de clasificación X-CSR”.

Tecnología con sentido común

Aunque los grandes modelos de Aprendizaje Profundo (Deep Learning, DL) entrenados con big data han logrado avances significativos en la comprensión del lenguaje natural, se ha indicado que todavía luchan con el conocimiento del sentido común sobre el mundo.

Los investigadores creen que el conocimiento del sentido común a menudo ha estado ausente de la entrada de tareas, pero sería crucial para la comprensión del lenguaje.

“Por ejemplo, tome la pregunta ‘¿Qué golosina disfrutará su perro?’ Para seleccionar una respuesta de las opciones ensalada, caricias, cariño, hueso y mucha atención, necesitamos saber que los perros generalmente disfrutan de alimentos como huesos que golosinas”.

La mejor respuesta, por lo tanto, sería “hueso”. Entonces, sin este conocimiento externo, incluso, los modelos a gran escala pueden generar respuestas incorrectas. “Por ejemplo, el modelo de lenguaje DeBERTa selecciona ‘mucha atención’, que no es una respuesta tan buena como ‘hueso’”.

Con KEAR se han equipado los modelos de lenguaje con conocimiento de sentido común a partir de un gráfico de conocimiento, un diccionario y datos de Aprendizaje Automático (ML) disponibles públicamente.

Modelos de atención

Mientras los modelos de Transformer procesan la entrada al mirar hacia adentro a través de la autoatención, la atención externa hace que un modelo mire hacia afuera al proporcionarle contexto relacionado y conocimiento de varias fuentes.

Se incluyen gráficos de conocimiento, diccionarios, corpus y la salida de otros modelos de lenguaje; luego, se deja que el modelo conduzca la autoatención a la entrada y la atención externa al conocimiento.

“La información externa se almacena de forma simbólica (por ejemplo, en texto sin formato o en entradas de gráficos de conocimiento) y, por lo tanto, permite que un modelo de Transformer de tamaño moderado sobresalga en la comprensión del lenguaje”.

La concatenación de entrada y conocimiento de texto que utiliza KEAR no implica ningún cambio en la arquitectura del modelo Transformer, según lo informado, lo que permite que los sistemas existentes se adapten fácilmente a la atención externa.

“Al incorporar conocimiento explícito del mundo, el proceso de decisión del modelo también se vuelve más transparente y explicable”.

Estos beneficios pueden facilitar la aplicación de tecnología de atención externa a varios proyectos y productos de investigación de procesamiento de lenguaje natural.

Para los investigadores, esto ha abierto la puerta para comprender mejor el significado del texto, asociarlo con conocimientos relacionados y generar resultados más precisos.