Con todo el boom que hay montado con ChatGPT y sus capacidades (que no es para menos), parece que la IA "tradicional" está empezando a pasar a un injusto segundo plano. Para poner un poco de resistencia en ese proceso, hoy traigo esta entrada en la que vamos a ver como podemos reentrenar a un modelo de AI Builder para conseguir una mejora continua en los resultados de dicho modelo. En concreto vamos a ver en detalle como podemos reentrenar un modelo custom de procesamiento de documentos.
Cuando trabajamos con este modelo de AI Builder, seguro que alguna vez has pensado: "si muy bonito, pero si quiero reentrenar el modelo tengo que ponerme a buscar documentos que no obtengan buenos resultados de forma manual...". Bueno pues para evitar eso ha llegado a nuestras vidas la funcionalidad de Mejora Continua de modelos de AI Builder. A fecha de publicación de este post esta funcionalidad está en preview y su salida a GA está prevista para el próximo mes de Junio.
Manos a la obra
Vamos a empezar suponiendo que contamos con un flujo de Power Automate que se ejecuta cuando llega un mail con ficheros adjuntos y determinado patrón en el asunto. Este flujo procesa los datos adjuntos del mail, con un modelo de AI Builder. Un aspecto parecido al de la siguiente imagen, ¿cierto?.
Ademas parto de un modelo de AI Builder de procesamiento de formularios que contiene dos colecciones (una por formato) de los documentos que voy a procesar.
Pero bien, ¿qué ocurre si llega un documento de un formato distinto y el porcentaje de confianza que devuelve el modelo como output es inferior a un determinado umbral?. Pasa que ahora y gracias a la funcionalidad de Mejora Continua podemos redirigir esos documentos a una cola (en realidad es una tabla de Dataverse), para poder reentrenar el modelo en esos casos. ¿Cómo? Vamos a verlo.
En el flujo de Power Automate donde se procesan los documentos recibidos, voy a añadir una nueva condición para evaluar el porcentaje de confianza. Si ese porcentaje es menor a 0.7 (70%), voy a utilizar la acción del conector de AI Builder con nombre: "Save file to AI Builder feedback loop".
Lo que hace esta acción es guardar en la tabla de Dataverse con nombre: "AI Builder Feedback Loop" el nombre y contenido del fichero procesado, el output que ha generado el modelo de AI Builder y el propio modelo de AI Builder. De esta forma vamos a poder reentrenar el modelo con los documentos que no hayan superado ese umbral de confianza.
Cuando se ejecute el flujo de Power Automate que envía documentos para su revisión, dirígete a los modelos disponibles en tu entorno y observa que lo primero que aparece ahora es que el estado de nuestro modelo está en "Documents to review". Además, cuando entras al detalle del modelo también aparece una notificación que avisa que tenemos documentos para revisar y reentrenar el modelo.
Edita el modelo y si no quieres añadir mas campos a extraer de los documentos, avanza hasta la etapa "Add collections of documents".
Si un determinado documento recibido no ha superado el porcentaje de confianza, lo mas probable es que dicho documento tenga un formato para el que no tenemos una colección de documentos. Crea una nueva colección y selecciona "Add Documents". Pero... ¡oops! ¿Aparece una opción que hasta ahora no había aparecido? ¡Correcto!. Selecciona la opción "Feedback loop" y... ¡voilá!
Etiqueta los campos que va a extraer AI Builder en los nuevos documentos, guarda y reentrena el modelo...
... y ¡listo! No puede ser mas fácil mejorar el modelo con los documentos que no han obtenido un mínimo de confianza e implementar así la mejora continua de nuestros modelos de procesamiento de formularios.
¡Espero haber resultado interesante!. ¡Gracias por haber leído hasta aquí! ¡Hasta la siguiente!