NVIDIA CMP 170HX GPU तासाने भाड्याने घ्या
NVIDIA CMP 170HX हे Ampere आर्किटेक्चरवर आधारित डेटासेंटर GPU आहे, ज्यामध्ये 64 GB VRAM आणि 250 W TDP आहे. यात सुमारे 1516 GB/s मेमरी बँडविड्थ आणि compute capability 8.0 वर सुमारे 12.1 TFLOPS सिंगल-प्रिसिजन कंप्यूट मिळते. ONIE वर तुम्ही हे कार्ड प्रति-तास बिलिंग, पूर्ण SSH प्रवेश आणि PyTorch/CUDA, vLLM, Ollama व ComfyUI साठी तयार टेम्पलेट्ससह डिप्लॉय करू शकता.
तपशील
प्रति GPU VRAM
आर्किटेक्चर
कंप्यूट क्षमता
FP32 कंप्यूट
मेमरी बँडविड्थ
पॉवर मर्यादा
सध्या सूचीबद्ध मशीनसाठी इन्फ्रास्ट्रक्चर प्रदात्याने नोंदवलेली मूल्ये; प्रत्यक्ष कार्यक्षमता मशीननुसार बदलू शकते.
उपलब्ध कॉन्फिगरेशन
थेट स्टॉक आणि किंमती, सतत अपडेट होत आहेत. ऑर्डर करण्यापूर्वी अंतिम किंमत निश्चित केली जाते.
थेट किंमती लोड होत आहेत…
CMP 170HX कशासाठी उपयुक्त आहे
मेमरी-बाउंड LLM इन्फरन्स
64 GB VRAM क्षमता आणि सुमारे 1516 GB/s मेमरी बँडविड्थचा वापर करून vLLM किंवा Ollama द्वारे मोठी भाषा मॉडेल्स (LLM) सर्व्ह करा.
हाय-मेमरी डीप लर्निंग
मोठ्या मेमरी क्षमतेची आणि compute capability 8.0 ची गरज असलेले PyTorch/CUDA वर्कलोड्स मॉडेल्स वेगवेगळ्या डिव्हाइसेसमध्ये विभागल्याशिवाय चालवा.
जटिल इमेज जनरेशन वर्कफ्लो
ComfyUI मध्ये एकाच वेळी अनेक मोठे डिफ्यूजन चेकपॉइंट्स आणि control nets लोड करा, जे 64 GB मेमरी पूलमध्ये बसतात.
डेटा प्रोसेसिंग आणि सिम्युलेशन
250 W पॉवर मर्यादेत उच्च मेमरी थ्रुपुटचा फायदा घेणारी मेमरी-केंद्रित डेटासेंटर कार्ये पार पाडा.
हा तुमच्यासाठी योग्य GPU आहे का?
जेव्हा तुमचा वर्कलोड रॉ सिंगल-प्रिसिजन कंप्यूटऐवजी मेमरी क्षमता आणि बँडविड्थमुळे मर्यादित असेल तेव्हा CMP 170HX निवडा. जलद ट्रेनिंग इटरेशन्सची गरज असल्यास जास्त कंप्यूट थ्रुपुट असलेला GPU निवडा, किंवा तुमच्या मॉडेल्सना 64 GB VRAM ची गरज नसल्यास लहान कन्झ्युमर कार्ड निवडा.
तत्सम GPU सोबत तुलना करा
वारंवार विचारले जाणारे प्रश्न
CMP 170HX LLM इन्फरन्ससाठी योग्य आहे का?
होय, 64 GB VRAM आणि सुमारे 1516 GB/s मेमरी बँडविड्थमुळे vLLM आणि Ollama सारखे टेम्पलेट्स वापरून मोठी भाषा मॉडेल्स लोड करणे आणि सर्व्ह करणे यासाठी हे योग्य आहे. तथापि, सुमारे 12.1 TFLOPS सिंगल-प्रिसिजन कंप्यूटमुळे प्रॉम्प्ट प्रोसेसिंग जास्त कंप्यूट घनता असलेल्या डेटासेंटर GPU पेक्षा हळू असेल.
हा GPU मानक डेटासेंटर अॅक्सिलरेटर्सच्या तुलनेत कसा आहे?
CMP 170HX मानक Ampere डेटासेंटर कार्ड्सप्रमाणेच मोठा 64 GB मेमरी बफर आणि उच्च मेमरी बँडविड्थ देते, आणि 250 W TDP वर चालते. याचा मुख्य तोटा म्हणजे सुमारे 12.1 TFLOPS इतका कमी कंप्यूट थ्रुपुट, त्यामुळे हे जड कंप्यूट वर्कलोड्सपेक्षा मेमरी-बाउंड कार्यांसाठी अधिक योग्य आहे.
या GPU साठी कोणती सॉफ्टवेअर वातावरणे उपलब्ध आहेत?
हे कार्ड CUDA compute capability 8.0 ला सपोर्ट करते आणि ONIE वर PyTorch/CUDA, vLLM, Ollama आणि ComfyUI सह पूर्व-कॉन्फिगर टेम्पलेट्स वापरून लॉन्च करता येते. सानुकूल लायब्ररी इन्स्टॉल करण्यासाठी आणि तुमचे वातावरण व्यवस्थापित करण्यासाठी तुम्हाला थेट SSH प्रवेशही मिळतो.
CMP 170HX भाड्याने घेतल्यास बिलिंग कसे चालते?
ONIE वरील इन्स्टन्सेससाठी प्रति-तास बिलिंग आहे, त्यामुळे GPU सक्रिय असलेल्या कालावधीसाठीच तुम्ही पैसे देता.
CMP 170HX तासाच्या दराने भाड्याने घ्या
खाते तयार करा, कॉन्फिगरेशन निवडा आणि SSH द्वारे कनेक्ट करा. GPU हटवताच बिलिंग थांबते.
CMP 170HX भाड्याने घ्या