एक सिंगल जीपीयू सर्वर यह साबित कर सकता है कि मांग मौजूद है। सर्वरों का एक बेड़ा यह बताता है कि आपने एक व्यवसाय खड़ा किया है या सिर्फ महंगे हार्डवेयर का एक संग्रह।
जीपीयू इंफ्रास्ट्रक्चर को स्केल करना अब केवल ग्राफिक्स कार्ड की विशिष्टताओं का प्रश्न नहीं है। बाधाएं बिजली, शीतलन, नेटवर्क, लोड, नकदी प्रवाह और प्रत्येक बाद की मशीन को समान रूप से सेवा प्रदान करने की क्षमता हैं।
पहले अर्थव्यवस्था का विस्तार करें
सबसे बड़ी गलती यह होती है कि आप कुछ हफ्तों तक ठीक से काम करने वाले पहले जीपीयू को खरीदकर और भी जीपीयू खरीद लेते हैं। असल बात तो भुगतान किए जाने वाले काम की मात्रा है, न कि जीपीयू कार्डों की संख्या।
आपको कार्यों के प्रकार को समझना होगा। इन्फ़रेंस में उपलब्धता और नेटवर्क कनेक्टिविटी को प्राथमिकता दी जाती है। ट्रेनिंग में VRAM और तेज़ इंटरकनेक्ट को प्राथमिकता दी जाती है। रेंडरिंग का लोड प्रोफाइल अलग होता है। यह ज़रूरी नहीं कि एक ही बिल्ड सभी बाज़ारों में समान रूप से अच्छा प्रदर्शन करे।
अपना अगला सर्वर ऑर्डर करने से पहले, डीपिन वर्ल्ड कैलकुलेटर के माध्यम से एक सीमित लोड और वास्तविक बिजली लागत के साथ कॉन्फ़िगरेशन की जांच करें।
एक दोहराने योग्य सर्वर इकाई बनाएं
प्रत्येक सर्वर को अलग-अलग प्रयोग नहीं बनाना चाहिए। ज्ञात तापमान, BIOS, ऑपरेटिंग सिस्टम, ड्राइवर, नेटवर्क और संगत स्पेयर पार्ट्स वाले कई परीक्षण किए गए कॉन्फ़िगरेशन चुनें।
यदि भिन्नताओं का कोई आर्थिक औचित्य हो तो वे स्वीकार्य हैं: उदाहरण के लिए, भारी एआई के लिए उच्च-वीआरएएम वाला वर्ग और अनुमान या प्रतिपादन के लिए अधिक किफायती वर्ग।
GPU, CPU, RAM, स्टोरेज, NIC, PSU, एयरफ्लो, रिमोट मैनेजमेंट और सॉफ्टवेयर वर्जन को डॉक्यूमेंट करें। यदि किसी नोड को विफलता के बाद निर्देशों का पालन करके तुरंत पुनर्स्थापित नहीं किया जा सकता है, तो वह अभी स्केलिंग के लिए तैयार नहीं है।
बिजली और शीतलन भौतिक सीमा बन जाते हैं
GPU पर ही सारा ध्यान जाता है, लेकिन वास्तव में कितने कार्ड चलेंगे यह विद्युत प्रणाली पर निर्भर करता है। आप दो किलोवाट के सर्वर को ठीक दो किलोवाट का नहीं बना सकते: इसके लिए अतिरिक्त क्षमता, पंखे, नेटवर्किंग, PSU में होने वाले नुकसान और स्टार्टअप की स्थितियों का ध्यान रखना पड़ता है।
वास्तविक लोड के तहत दीवार की बिजली खपत को मापें। कंप्यूटिंग की प्रति किलोवाट-घंटे लागत की गणना करने और अक्षम घटकों की पहचान करने का यही एकमात्र तरीका है।
खपत होने वाली सारी बिजली अंततः ऊष्मा में परिवर्तित हो जाती है। रैक घनत्व बढ़ने के साथ, वायु प्रवाह, आने वाली हवा का तापमान और एचवीएसी (गर्म हवा और वेंटिलेशन सिस्टम) जीपीयू की कीमत जितने ही महत्वपूर्ण व्यावसायिक मापदंड बन जाते हैं।
यह नेटवर्क राजस्व का हिस्सा है।
वह बिजली जो ग्राहक नेटवर्क के माध्यम से भरोसेमंद तरीके से प्राप्त नहीं कर सकता, वह बेकार पूंजी में परिवर्तित हो जाती है। व्यावसायिक संचालन के लिए, अपस्ट्रीम विश्वसनीयता, विलंबता, बैंडविड्थ और रिमोट प्रबंधन महत्वपूर्ण हैं।
मैनेजमेंट ट्रैफिक को वर्कलोड ट्रैफिक से अलग रखना सबसे अच्छा है। अनुमानित एड्रेसिंग, वीएलएएन, एक्सेस कंट्रोल और एक दस्तावेजित टोपोलॉजी डायग्नोस्टिक्स को बहुत सरल बना देते हैं।
मल्टी-जीपीयू सिस्टम में, आपको आंतरिक बाधाओं की भी जांच करनी चाहिए: पीसीआईई, एनआईसी, स्टोरेज और जीपीयू-से-जीपीयू संचार। ऐसी कोई भी विशिष्टता न बेचें जिसका वास्तविक दुनिया के भार के तहत परीक्षण न किया गया हो।
इससे पहले कि बहुत देर हो जाए, इसे स्वचालित कर लें।
पांच मशीनों की मरम्मत अभी भी मैन्युअल रूप से की जा सकती है। पचास मशीनों की मरम्मत मैन्युअल रूप से करने पर मुनाफे पर लगातार बोझ बन जाता है।
प्रोविजनिंग, मॉनिटरिंग और नियमित रिकवरी दोहराने योग्य होनी चाहिए। तापमान, मेमोरी त्रुटियों, डिस्क, नेटवर्क, पंखे और लोड की निगरानी करें और अलर्ट को विशिष्ट और उपयोगी बनाएं।
बुनियादी अवसंरचना सुरक्षा के लिए, नेटवर्क और सुरक्षा बेस से सिद्धांतों का उपयोग करें: विभाजन, मजबूत प्रमाणीकरण, कुंजी रोटेशन और सुरक्षित प्रशासन।
मांग के आधार पर क्षमता खरीदें, खबरों के आधार पर नहीं।
कृत्रिम बुद्धिमत्ता (AI) के बढ़ते उपयोग से यह धारणा बन सकती है कि GPU की आपूर्ति कम हो जाएगी। लेकिन मांग और कीमतें बदल रही हैं, और हार्डवेयर की नई पीढ़ियां तेजी से बाजार को नया आकार दे रही हैं।
धीरे-धीरे विस्तार करें। क्षमता बढ़ाएं, लोड, तापमान, खराबी और मार्जिन का आकलन करें, और उसके बाद ही अगला ऑर्डर दें। यह धीमी गति पूंजी को बचाती है और त्रुटियों को कम लागत में ही पहचान लेती है।
सिस्टम का स्वामित्व रखें, केवल जीपीयू का नहीं।
एक स्वतंत्र ऑपरेटर केवल बॉक्स की संख्या से नहीं जीतता। वे तब जीतते हैं जब उनके पास एक ऐसी प्रणाली होती है जहां ऊर्जा, शीतलन, ग्रिड, स्वचालन, सुरक्षा और मांग एक साथ मिलकर काम करते हैं।
यदि प्रत्येक आगामी सर्वर एक सिद्ध मॉडल का नियंत्रित पुनरावृति है, तो लाभ मार्जिन को कम किए बिना सर्वरों की संख्या बढ़ाई जा सकती है। अन्यथा, विस्तार करने से समस्याएं और भी बढ़ जाती हैं।