Tag-Nav : navigation graphique agnostique de tâche améliore l’IA des interfaces mobiles

Introduction

Les agents d’interface graphique mobile (GUI) ont réalisé d’importants progrès dans la perception des écrans et la génération de tapotements, glissements ou saisies textuelles. Pourtant, un point noir persiste : ils ne disposent pas d’une carte durable indiquant où se trouvent les fonctions au sein d’une application. Sans cette connaissance, chaque nouvelle instruction contraint l’agent à redécouvrir les mêmes chemins de navigation, gaspillant du calcul et nuisant à la fiabilité.

What Happened

L’équipe de recherche d’Alibaba a publié un article intitulé Not All Graphs Are Maps: A Task‑Agnostic Exploration Framework for Mobile GUI Navigation (arXiv:2610.22672). Les auteurs y présentent TAG‑Nav, une couche qui équipe n’importe quel agent GUI existant d’une mémoire de destination construite lors d’une exploration hors ligne. Cette mémoire conserve des enregistrements compacts des fonctions de l’application, des pages cibles et des itinéraires intermédiaires, permettant à l’agent de récupérer un trajet avant même de recevoir une instruction précise.

Pour isoler la performance pure de navigation, les auteurs ont également créé DestBench, un benchmark qui ne demande aux agents que d’atteindre l’écran pré‑action correct, en éliminant les complexités d’exécution ultérieures.

Key Details

• Agnostique de tâche : TAG‑Nav ne dépend d’aucune démonstration spécifique à une tâche ; il construit un graphe réutilisable une fois par application.
• Exploration hors ligne : le cadre effectue une phase d’exploration systématique, distillant le graphe d’UI de l’application en enregistrements légers.
• Récupération de mémoire : lors de l’inférence, l’agent interroge la mémoire pour la destination souhaitée et reçoit un itinéraire clair.

Key Highlights:

Why It Matters:

FAQs: []