La IA de Alibaba supera la comprensión de lectura de los humanos

Foto: Alizila

La tecnología de Aprendizaje Automático (Machine Learning, ML) de Alibaba Group ha resultado ser mejor que los humanos en comprensión de lectura, de acuerdo con una prueba desarrollada por Microsoft para la industria.

El modelo de Alibaba ha superado los puntajes humanos cuando fue probado por el conjunto de datos de comprensión de lectura de Microsoft Machine, calificada como una de las pruebas más difíciles del mundo de la Inteligencia Artificial (IA) para la comprensión de lectura.

El modelo, desarrollado por científicos de la Academia DAMO (programa de investigación global de Alibaba), ha obtenido un puntaje de 0.54 en la tarea de respuesta a preguntas de MS Marco.

Este proceso evalúa la capacidad de una máquina para usar lenguaje natural, la forma en que los humanos se comunican, para responder a preguntas reales planteadas por los humanos.

Ese puntaje ha superado la marca humana de 0.539, un punto de referencia proporcionado por Microsoft, de acuerdo a lo informado.

Los modelos de Aprendizaje Automático, para obtener una puntuación ganadora, deben responder a las consultas reales planteadas por el motor de búsqueda de Microsoft (Bing).

“Según su sitio web, el conjunto de datos de MS Marco tiene una colección de más de tres millones de documentos web, aproximadamente 1.010.916 consultas de usuarios anónimos y 182.669 respuestas reales escritas por humanos”.

Para las máquinas, esta habilidad en particular es cada vez más importante con la creciente popularidad de las tecnologías inteligentes como los chatbots y los parlantes inteligentes.

“Las respuestas y las preguntas realistas ayudan a los sistemas de capacitación a lidiar mejor con los matices y las complejidades que las personas normales realmente hacen, incluidas las preguntas que no tienen una respuesta clara o múltiples respuestas posibles”, dijeron los desarrolladores de MS Marco.

La comprensión de lectura

El desafío de la comprensión lectora ha atraído a universidades, institutos de investigación y los brazos de IA de empresas de todo el mundo, tales como Alibaba, Baidu, Samsung y Facebook.

Para Si Luo, director del Laboratorio de Tecnología del Lenguaje en la Academia DAMO, usar el marco del modelo de aprendizaje en cascada profunda de desarrollo propio del laboratorio ha sido un factor clave para superar el desafío.

Aseguró que el modelo simplifica el proceso tradicional de preguntas y respuestas a través de la multitarea: varios componentes trabajan en conjunto para eliminar rápidamente los párrafos y documentos irrelevantes, al tiempo que filtran el contenido restante para mejores resultados posibles.

Un modelo de aprendizaje profundo más sofisticado, una vez que se completa ese proceso, puede examinar los textos restantes con más detalle para encontrar la mejor respuesta.

“El modelo evoluciona progresivamente de grueso a fino, pasando de la clasificación de documentos candidatos a nivel de párrafo y, de párrafo, a una extracción de respuesta de comprensión de máquina más precisa”.

Esto, a consideración de Si Luo, acelera el tiempo requerido para buscar los documentos y frases relevantes, al tiempo que garantiza la precisión de las respuestas.

IA de Alibaba

No ha sido la primera vez que el software de Alibaba ha superado a los humanos en comprensión de lectura.

La compañía ha obtenido un puntaje más alto que el punto de referencia humano en el conjunto de datos de respuestas de Stanford, uno de los desafíos de comprensión de lectura de máquinas más populares en todo el mundo.

Desde Alibaba se ha dicho que ya se había aplicado la tecnología de Procesamiento de Lenguaje Natural que solía usar MS Marco y SQuAD para las operaciones diarias.

“La tecnología impulsa a Alime, el servicio de atención al cliente chatbot de la compañía, que atendió a unos 50 millones de usuarios activos diarios en sus sitios de comercio electrónico Taobao y Tmall durante el 11.11 Global Shopping Festival, el día de ventas más grande de Alibaba del año”.

En ese entonces se supo que el bot de Alime manejó aproximadamente el 98 % de las solicitudes realizadas en las plataformas ese día. En su punto máximo, se ha indicado que atendió a más de 83 mil usuarios en un minuto.