DeepSeek शोधकर्ताओं ने प्रस्तुत किया ArchSpace – LLM आर्किटेक्चर के लिए

शोधकर्ताओं जिए वांग, टोंग झू, और जियाहाओ कुआंग ने ArchSpace प्रस्तुत किया है, जो एक ओपन प्लेटफ़ॉर्म है जो बड़े भाषा मॉडल (LLM) आर्किटेक्चर शोध को रिकॉर्ड, रिव्यू और रेफ़रेंस करने के लिए समर्पित है। यह फ्रेमवर्क उद्योग और अकादमी दोनों में मौजूद प्रणालीगत अंतराल को संबोधित करता है, जिसमें कम्युनिटी पीयर रिव्यू को फिटेड स्केलिंग लॉज़ के साथ मिलाकर छोटे‑स्केल प्रयोगों से बड़े‑स्केल मॉडल लॉस की भविष्यवाणी की जाती है.

क्या है ArchSpace और इसे LLM आर्किटेक्चर शोध के लिए क्यों बनाया गया?

मॉडल आर्किटेक्चर आधुनिक फ़ाउंडेशन मॉडल की स्केलिंग व्यवहार, प्रशिक्षण दक्षता और इन्फ़रेंस लागत को मूल रूप से निर्धारित करता है। DeepSeek, Qwen, और Kimi जैसे उद्योग के नेता नियमित रूप से आर्किटेक्चरल घटकों में बदलाव करते हैं, लेकिन व्यावसायिक गोपनीयता के कारण विफल प्रयास, त्यागे गए विचार और आंतरिक डिजाइन तर्क आम जनता के साथ साझा नहीं होते.

अकादमी में, शोध टीमों को एक अलग बाधा का सामना करना पड़ता है: सीमित कंप्यूट बजट और गैर‑मानकीकृत बेसलाइन। परिणामस्वरूप, अकादमिक LLM प्रयोग अक्सर छोटे‑स्केल, एकल‑बिंदु तुलना तक सीमित रहते हैं, जो यह साबित नहीं कर पाते कि कोई आर्किटेक्चरल ट्यूनिंग मल्टी‑बिलियन‑पैरामीटर मॉडल तक प्रभावी रूप से स्केल होती है। ArchSpace दोनों समस्याओं का समाधान करने के लिए बनाया गया है, जहाँ आर्किटेक्चरल विचारों को प्रयोगात्मक टेलीमेट्री के साथ लॉग किया जाता है, AI समुदाय द्वारा पीयर‑रिव्यू किया जाता है, और डाउनस्ट्रीम शोधकर्ताओं द्वारा उद्धृत किया जाता है.

ArchSpace स्केलिंग लॉज़ का उपयोग करके मॉडल प्रदर्शन की भविष्यवाणी कैसे करता है?

हाई‑कम्प्यूट प्री‑ट्रेनिंग रन करोड़ों डॉलर खर्च करते हैं... (आगे के विवरण)

मुख्य बिंदु:

• ArchSpace LLM आर्किटेक्चर शोध को रिकॉर्ड, रिव्यू और रेफ़रेंस करने के लिए ओपन प्लेटफ़ॉर्म प्रदान करता है।
• फिटेड स्केलिंग लॉज़ का उपयोग करके छोटे‑स्केल प्रयोगों से बड़े‑स्केल मॉडल लॉस की भविष्यवाणी करता है।
• अकादमी में कंप्यूट बाधाओं और उद्योग में पारदर्शिता अंतर को दूर करता है।
• Qwen3.5 और OLMo3 जैसे ओपन बेसलाइन और पुन: उपयोग योग्य ट्रेनिंग रेसिपी शामिल करता है।
• कम्युनिटी‑वैलिडेटेड आर्किटेक्चरल नवाचारों को मानक उद्योग बेसलाइन में प्रमोट करता है.

क्यों महत्वपूर्ण है:

मॉडल आर्किटेक्चर AI मॉडल की कंप्यूट लागत, मेमोरी फुटप्रिंट और इन्फ़रेंस लेटेंसी को निर्धारित करता है। ऐतिहासिक रूप से, छोटे लैब और शैक्षणिक संस्थानों के पास यह साबित करने के लिए आवश्यक कंप्यूट नहीं था कि आर्किटेक्चरल बदलाव स्केल होगा, जबकि बड़े टेक कंपनियां अपने आर्किटेक्चरल सीख को आंतरिक रखती थीं.

ArchSpace एक साझा शोध सब्सट्रेट स्थापित करता है जहाँ स्केलिंग लॉज़ वैज्ञानिक रूप से आर्किटेक्चरल दक्षता को वैलिडेट करते हैं, इससे लाखों डॉलर खर्च होने से पहले ही मॉडल प्रशिक्षण की दिशा तय होती है। यह LLM नवाचार को लोकतांत्रिक बनाता है और कुशल ओपन‑सोर्स मॉडल डिज़ाइन के अपनाने को तेज़ करता है.

व्यवसायों के लिए, मानकीकृत आर्किटेक्चरल मूल्यांकन यह सुनिश्चित करता है कि ओपन‑सोर्स मॉडल छोटे, तेज़ और अधिक लागत‑प्रभावी बनते रहें, बिना आउटपुट गुणवत्ता में समझौता किए.