Tag-Nav: टास्क-एग्नॉस्टिक ग्राफ़ नेविगेशन से मोबाइल GUI AI में वृद्धि

Introduction

मोबाइल ग्राफिकल यूज़र इंटरफ़ेस (GUI) एजेंट्स स्क्रीन को समझने और टैप, स्वाइप या टेक्स्ट इनपुट देने में उल्लेखनीय प्रगति कर चुके हैं। फिर भी एक स्थायी खामी बनी हुई है: वे ऐप के भीतर फ़ंक्शन्स कहाँ स्थित हैं, इसका मानचित्र नहीं रखते। इस जानकारी के बिना, हर नई निर्देश एजेंट को वही नेविगेशन पथ फिर से खोजने पर मजबूर करता है, जिससे कंप्यूट खर्च बढ़ता है और विश्वसनीयता घटती है।

What Happened

अलीबाबा की रिसर्च टीम ने Not All Graphs Are Maps: A Task‑Agnostic Exploration Framework for Mobile GUI Navigation (arXiv:2610.22672) शीर्षक वाला पेपर प्रकाशित किया। इस काम में TAG‑Nav पेश किया गया है, जो किसी भी मौजूदा GUI‑एजेंट बैकबोन को डेस्टिनेशन मेमोरी से सुसज्जित करता है, जिसे ऑफ़लाइन एक्सप्लोरेशन के दौरान बनाया जाता है। यह मेमोरी ऐप फ़ंक्शन्स, लक्ष्य पेज और मार्गों के संक्षिप्त रिकॉर्ड संग्रहीत करती है, जिससे एजेंट विशिष्ट निर्देश मिलने से पहले ही मार्ग पुनः प्राप्त कर सके।

शुद्ध नेविगेशन प्रदर्शन को अलग‑अलग मापने के लिए, लेखकों ने DestBench नामक बेंचमार्क भी बनाया, जो एजेंट को केवल सही प्री‑एक्शन स्क्रीन तक पहुँचने की मांग करता है, और आगे के कार्य निष्पादन की जटिलताओं को हटाता है।

Key Details

• टास्क‑एग्नॉस्टिक: TAG‑Nav कार्य‑विशिष्ट डेमोंस्ट्रेशन पर निर्भर नहीं करता; यह प्रत्येक ऐप के लिए एक बार पुन: उपयोग योग्य ग्राफ बनाता है।
• ऑफ़लाइन एक्सप्लोरेशन: फ्रेमवर्क एक व्यवस्थित एक्सप्लोरेशन चरण चलाता है, जिससे ऐप के UI ग्राफ को हल्के रिकॉर्ड में संक्षिप्त किया जाता है।
• मेमोरी रिट्रीवल: इन्फ़रेंस समय पर, एजेंट मेमोरी से वांछित डेस्टिनेशन क्वेरी करता है और एक साफ़ वेपॉइंट मार्ग प्राप्त करता है।

Key Highlights

• ग्राफ‑आधारित मेमोरी ने नेविगेशन सफलता दर को दो-अंकीय प्रतिशत तक बढ़ाया।
• DestBench ने नेविगेशन की शुद्धता को अलग‑अलग मापने की सुविधा प्रदान की।
• TAG‑Nav किसी भी मौजूदा GUI‑एजेंट में आसानी से इंटीग्रेट किया जा सकता है।

Why It Matters

नेविगेशन को कार्य से अलग करके, मोबाइल AI एजेंट्स कम कंप्यूटेशनल ओवरहेड और अधिक स्थिर उपयोगकर्ता अनुभव हासिल कर सकते हैं, जिससे वास्तविक‑विश्व अनुप्रयोगों में विश्वसनीयता बढ़ती है।

FAQs