एआई हार्डवेयर स्टोर
मिनी पीसी, NAS, वर्कस्टेशन, सर्वर और एज एआई हार्डवेयर ब्राउज़ करें — प्रत्येक सिस्टम को ⏻ On Intelligence द्वारा इंस्टालेशन सेवा और सॉफ़्टवेयर नवाचार के साथ जोड़ा जा सकता है।
| तस्वीर | उत्पाद | कीमत | क्षमता |
|---|
मॉडल क्षमता को समझना
मॉडल क्षमता एक AI मॉडल में मौजूद पैरामीटरों की संख्या को दर्शाती है (उदाहरण: 70B = 70 अरब पैरामीटर)। बड़े मॉडलों को आम तौर पर अधिक मेमोरी और कंप्यूटिंग शक्ति की आवश्यकता होती है, लेकिन वे बेहतर तर्क और आउटपुट गुणवत्ता प्रदान कर सकते हैं।
परिशुद्धता (FP16 / FP8 / FP4) यह प्रभावित करती है कि किसी दी गई मॉडल क्षमता के लिए कितनी मेमोरी की आवश्यकता होती है: कम परिशुद्धता वाले फॉर्मेट प्रत्येक चरण (FP16 → FP8 → FP4) में मेमोरी आवश्यकताओं को लगभग आधा कर देते हैं, जिससे आउटपुट परिशुद्धता पर कुछ असर पड़ता है।
| मॉडल आकार | सामान्य मेमोरी (FP16) | सामान्य मेमोरी (FP4) |
|---|---|---|
| ~70B | ~140GB | ~40GB |
| ~120B | ~240GB | ~65GB |
| ~405B | ~810GB | ~220GB |
| ~700B | ~1.4TB | ~380GB |