NVIDIA A40 GPU કલાકના હિસાબે ભાડે લો
NVIDIA A40 એ Ampere આર્કિટેક્ચર પર બનેલું ડેટાસેન્ટર GPU છે, જેમાં compute capability 8.6 અને 45 GB VRAM છે. ONIE પર, તે 300 W પાવર એન્વેલપમાં લગભગ 29.9 TFLOPS સિંગલ-પ્રિસિઝન પરફોર્મન્સ અને લગભગ 536 GB/s મેમરી બેન્ડવિડ્થ પૂરી પાડે છે. તમે પ્રતિ-કલાક બિલિંગ, પૂર્ણ SSH એક્સેસ, અને PyTorch/CUDA, vLLM, Ollama, અને ComfyUI સહિતના તૈયાર ટેમ્પલેટ સાથે તેને ડિપ્લોય કરી શકો છો.
સ્પેસિફિકેશન
પ્રતિ GPU VRAM
આર્કિટેક્ચર
કમ્પ્યુટ ક્ષમતા
FP32 કમ્પ્યુટ
મેમરી બેન્ડવિડ્થ
પાવર મર્યાદા
હાલમાં સૂચિબદ્ધ મશીનો માટે ઇન્ફ્રાસ્ટ્રક્ચર પ્રદાતા દ્વારા જાણ કરાયેલાં મૂલ્યો; વાસ્તવિક પ્રદર્શન મશીન પ્રમાણે બદલાય છે.
ઉપલબ્ધ રૂપરેખાંકનો
લાઇવ સ્ટોક અને કિંમતો, સતત અપડેટ થાય છે. ઓર્ડર આપતા પહેલાં અંતિમ કિંમતની પુષ્ટિ થાય છે.
લાઇવ કિંમતો લોડ થઈ રહી છે…
A40 શા માટે સારું છે
મોટા ભાષા મોડેલ (LLM) ઇન્ફરન્સ
પૂર્વ-કોન્ફિગર કરેલા vLLM અથવા Ollama ટેમ્પલેટનો ઉપયોગ કરીને 45 GB સુધીની મેમરીની જરૂર હોય તેવા મોડેલ ચલાવો.
ડીપ લર્નિંગ ફાઇન-ટ્યુનિંગ
મોટા બેચ સાઇઝ અને વેઇટ્સ માટે પૂરતી VRAM સાથે PyTorch/CUDA માં ન્યુરલ નેટવર્કને ફાઇન-ટ્યુન કરો.
જનરેટિવ ઇમેજ વર્કફ્લો
ComfyUI નો ઉપયોગ કરીને જટિલ ડિફ્યુઝન પાઇપલાઇન ચલાવો અને એકસાથે મેમરીમાં અનેક ચેકપોઇન્ટ રાખો.
ડેટાસેન્ટર કમ્પ્યુટ કાર્યો
સિમ્યુલેશન અને રેન્ડરિંગ વર્કલોડ માટે લગભગ 29.9 TFLOPS સિંગલ-પ્રિસિઝન કમ્પ્યુટ અને લગભગ 536 GB/s મેમરી બેન્ડવિડ્થનો ઉપયોગ કરો.
શું આ તમારા માટે યોગ્ય GPU છે?
જ્યારે તમારા વર્કલોડને ડેટાસેન્ટર Ampere આર્કિટેક્ચર પર 45 GB VRAM ની જરૂર હોય, જે સામાન્ય ગ્રાહક મેમરી ક્ષમતાથી વધુ છે, ત્યારે A40 પસંદ કરો. જો તમારા મોડેલ ઓછી મેમરીમાં ફિટ થઈ શકે, તો નાનું ગ્રાહક કાર્ડ પસંદ કરો; જો તમારા ટ્રેનિંગ જોબ મેમરી થ્રુપુટથી ભારે રીતે અવરોધિત હોય, તો વધુ બેન્ડવિડ્થવાળા ડેટાસેન્ટર GPU પર જાઓ.
સમાન GPU સાથે સરખામણી કરો
વારંવાર પૂછાતા પ્રશ્નો
શું NVIDIA A40 LLM ઇન્ફરન્સ અને ફાઇન-ટ્યુનિંગ માટે યોગ્ય છે?
હા, 45 GB VRAM ક્ષમતાને કારણે A40 મધ્યમથી મોટા ભાષા મોડેલ હોસ્ટ કરવા અને પેરામીટર-કાર્યક્ષમ ફાઇન-ટ્યુનિંગ કરવા માટે સારી રીતે યોગ્ય છે. તમે ONIE પર સીધા vLLM, Ollama, અથવા PyTorch/CUDA ટેમ્પલેટ લોન્ચ કરીને તરત કામ શરૂ કરી શકો છો.
A40 નાના ગ્રાહક GPU અથવા મોટા ડેટાસેન્ટર GPU ની તુલનામાં કેવું છે?
A40 માં 45 GB VRAM છે, જે મેમરી-બાઉન્ડ વર્કલોડ માટે સામાન્ય ગ્રાહક GPU કરતાં વધુ મેમરી હેડરૂમ આપે છે. જોકે, લગભગ 536 GB/s નું તેનું મેમરી બેન્ડવિડ્થ HBM મેમરીવાળા ઉચ્ચ-સ્તરના ડેટાસેન્ટર GPU કરતાં ઓછું છે.
ONIE પર A40 માટે કયા સોફ્ટવેર એન્વાયર્નમેન્ટ ઉપલબ્ધ છે?
A40 CUDA compute capability 8.6 ને સપોર્ટ કરે છે અને PyTorch/CUDA, vLLM, Ollama, અને ComfyUI માટેના તૈયાર ટેમ્પલેટ સાથે ડિપ્લોય કરી શકાય છે. પૂર્ણ SSH એક્સેસ શામેલ છે, જેથી તમે જરૂર મુજબ તમારું સોફ્ટવેર સ્ટેક કસ્ટમાઇઝ કરી શકો.
A40 ઇન્સ્ટન્સ માટે બિલિંગ કેવી રીતે કામ કરે છે?
ONIE બધી A40 રેન્ટલ માટે પ્રતિ-કલાક બિલિંગનો ઉપયોગ કરે છે. તમે ફક્ત જ્યારે તમારું ઇન્સ્ટન્સ સક્રિય હોય તે સમય માટે ચૂકવણી કરો છો, જે ટૂંકા પ્રયોગો અને લાંબા પ્રોડક્શન રન બંને માટે વ્યવહારુ બનાવે છે.
A40 કલાક પ્રમાણે ભાડે લો
એકાઉન્ટ બનાવો, રૂપરેખાંકન પસંદ કરો અને SSH દ્વારા કનેક્ટ કરો. GPU કાઢી નાખો ત્યારે બિલિંગ બંધ થાય છે.
A40 ભાડે લો