NVIDIA L4 GPU በሰዓት ይከራዩ
NVIDIA L4 የ Ada Lovelace አርክቴክቸር ያለው የዳታ ሴንተር GPU ሲሆን 22 GB VRAM እና 72 W የኃይል ፍጆታ አለው። በ CUDA compute capability 8.9 እስከ 24.2 TFLOPS የነጠላ-ትክክለኛነት (single-precision) የሂሳብ አፈጻጸም እና ወደ 221 GB/s የማህደረ ትውስታ ባንድዊድዝ ይሰጣል። በONIE በሰዓት ክፍያ፣ ሙሉ SSH መዳረሻ እና ለ PyTorch/CUDA፣ vLLM፣ Ollama እና ComfyUI ዝግጁ ቴምፕሌቶች ይከራዩት።
ዝርዝር መግለጫዎች
በእያንዳንዱ GPU VRAM
አርክቴክቸር
ኮምፒውት ካፓቢሊቲ (Compute capability)
FP32 ኮምፒውት
የማህደረ ትውስታ ባንድዊድዝ
የኃይል ገደብ
እሴቶቹ አሁን በዝርዝር የቀረቡ ማሽኖች ላይ በመሠረተ ልማት አቅራቢው የተገለጹ ናቸው፤ ትክክለኛው አፈጻጸም ከማሽን ወደ ማሽን ይለያያል።
ይገኛሉ ያሉ ውቅሮች
የቀጥታ ክምችትና ዋጋዎች፣ ያለማቋረጥ የሚዘምኑ። የመጨረሻው ዋጋ ትዕዛዝ ከማስገባትዎ በፊት ይረጋገጣል።
የቀጥታ ዋጋዎችን በመጫን ላይ…
L4 ለምን ይጠቅማል
Language Model ኢንፈረንስ
በ22 GB VRAM ውስጥ ኳንታይዝድ የተደረጉ ወይም መካከለኛና ትንሽ የቋንቋ ሞዴሎችን በቅድመ-ውቅር የተዘጋጁ vLLM ወይም Ollama ቴምፕሌቶችን በመጠቀም ያሂዱ።
የምስል ማመንጫ የሥራ ፍሰቶች
የ Ada Lovelace አርክቴክቸር ባህሪያትን በመጠቀም በ22 GB ማህደረ ትውስታ ውስጥ በቀላሉ የሚገቡ ComfyUI ፓይፕላይኖችን ያሰማሩ።
ቀላል ፋይን-ትዩኒንግ
ከፍተኛ ኃይል የሚጠቀም የዳታ ሴንተር ካርድ ሳያስፈልግ በ PyTorch/CUDA አካባቢዎች ውስጥ parameter-efficient ፋይን-ትዩኒንግ እና adapter ትምህርት ስራዎችን ያከናውኑ።
ባች ሚዲያ እና ቪዥን
በ72 W የተገመተ የዳታ ሴንተር GPU ላይ የኮምፒውተር ቪዥን ኢንፈረንስ እና የቪዲዮ ስራዎችን ያካሂዱ።
ለእርስዎ ትክክለኛው GPU ነው?
ለኢንፈረንስ ወይም መካከለኛ የትምህርት ስራዎች 22 GB VRAM እና Ada Lovelace compute capability 8.9 ሲፈልጉ L4 ይምረጡ። ሞዴሎችዎ 22 GB ካለፉ ወይም ወደ 221 GB/s በላይ የማህደረ ትውስታ ባንድዊድዝ ከፈለጉ ወደ ትልቅ የዳታ ሴንተር GPU ይሂዱ፤ ትንሽ ማህደረ ትውስታ ለሚፈልጉ መሰረታዊ የልማት ስራዎች ደግሞ ትንሽ ካርድ ይምረጡ።
ከተመሳሳይ GPUዎች ጋር ያወዳድሩ
በተደጋጋሚ የሚጠየቁ ጥያቄዎች
NVIDIA L4 ለ LLM ኢንፈረንስ ተስማሚ ነው?
አዎ፣ 22 GB VRAM ትናንሽና መካከለኛ የቋንቋ ሞዴሎችን ወይም ኳንታይዝድ ክብደቶችን ለማስተናገድ ያስችላል። ሞዴሎችን ወዲያውኑ ማገልገል ለመጀመር በONIE ላይ vLLM ወይም Ollama ቴምፕሌቶችን ማስጀመር ይችላሉ።
L4 ከትልልቅ የዳታ ሴንተር GPUs ጋር እንዴት ይነጻጸራል?
L4 በ72 W የኃይል ፍጆታ፣ ወደ 24.2 TFLOPS የነጠላ-ትክክለኛነት ስሌት እና ወደ 221 GB/s የማህደረ ትውስታ ባንድዊድዝ ያለው ለቅልጥፍና የተነደፈ ነው። ትልልቅ የዳታ ሴንተር GPUs ለከባድ ትምህርት ተጨማሪ VRAM እና ከፍተኛ የማህደረ ትውስታ ባንድዊድዝ ሲሰጡ፣ L4 ግን ወጪ ቆጣቢ ኢንፈረንስ እና ቀላል ስራዎች ላይ ያተኩራል።
በONIE ላይ ለ L4 ምን የሶፍትዌር ቴምፕሌቶች ይገኛሉ?
L4ን ለ PyTorch/CUDA፣ vLLM፣ Ollama እና ComfyUI ዝግጁ ቴምፕሌቶችን በመጠቀም ማሰማራት ይችላሉ። ሁሉም ኢንስታንሶች የሶፍትዌር አካባቢዎን እና CUDA compute capability 8.9 የሥራ ፍሰቶችዎን ለማበጀት የSSH መዳረሻ ይዘው ይመጣሉ።
ለ L4 ኢንስታንሶች ክፍያ እንዴት ይሰራል?
ONIE ለ L4 ኢንስታንሶች በሰዓት ያስከፍላል። ኢንስታንስዎ ንቁ በሆነበት ጊዜ ብቻ ይከፍላሉ፤ ይህም ለአጭር ሙከራዎችም ሆነ ለቀጣይ ኢንፈረንስ ስራዎች ተግባራዊ ያደርገዋል።
L4ን በሰዓት ይከራዩ
መለያ ይፍጠሩ፣ ውቅር ይምረጡ እና በSSH ያገናኙ። GPUውን ሲሰርዙ ክፍያው ይቆማል።
L4 ይከራዩ