Pangisha GPU ya NVIDIA Tesla P40 kwa saa
NVIDIA Tesla P40 ni GPU ya kituo cha data yenye usanifu wa Pascal, ikiwa na VRAM ya GB 24 na uwezo wa kompyuta 6.1. Inatoa takriban TFLOPS 9.4 za hesabu ya usahihi mmoja (single-precision) na kasi ya kumbukumbu ya takriban GB/s 257 ndani ya kikomo cha joto cha W 250. Kwenye ONIE, unaweza kukodisha GPU hii kwa malipo ya kila saa, ufikiaji wa SSH, na violezo vilivyosanidiwa awali vya PyTorch/CUDA, vLLM, Ollama, na ComfyUI.
Vipimo
VRAM kwa kila GPU
Usanifu
Uwezo wa kompyuta
Kukokotoa FP32
Bandwidth ya kumbukumbu
Kikomo cha nguvu
Thamani zilizotolewa na mtoa miundombinu kwa mashine zilizoorodheshwa sasa; utendaji halisi hutofautiana kulingana na mashine.
Mipangilio inayopatikana
Hisa na bei za moja kwa moja, zinazosasishwa mfululizo. Bei ya mwisho inathibitishwa kabla ya kuagiza.
Inapakia bei za moja kwa moja…
Matumizi bora ya Tesla P40
Uendeshaji wa LLM Zilizopunguzwa Usahihi (Quantized)
Endesha modeli za lugha za ndani zinazohitaji hadi GB 24 za kumbukumbu kwa kutumia violezo vilivyo tayari kama Ollama au vLLM.
Mitiririko ya Kuzalisha Picha
Endesha mitiririko ya ComfyUI inayonufaika na uwezo mkubwa wa VRAM wa kupakia checkpoints nyingi na control nets.
Uundaji wa CUDA kwa Usanifu wa Zamani
Jenga, jaribu na udumishe programu za PyTorch/CUDA zinazolenga usanifu wa Pascal na uwezo wa kompyuta 6.1.
Usindikaji wa Makundi Unaotegemea Kumbukumbu
Endesha kazi za kituo cha data zinazopa kipaumbele kutosheleza seti kubwa za data ndani ya GB 24 za VRAM kuliko kasi ghafi ya hesabu.
Je, ni GPU sahihi kwako?
Chagua Tesla P40 ikiwa hitaji lako kuu ni GB 24 za VRAM kwa kazi za uendeshaji au maendeleo zinazohitaji kumbukumbu nyingi, na hesabu ya Pascal ya zamani inatosha. Chagua GPU mpya au kubwa zaidi ikiwa unahitaji kasi ya juu ya kumbukumbu au kuongeza kasi ya kisasa ya tensor kwa mafunzo mazito, au GPU ndogo zaidi ikiwa kazi yako inatumia kumbukumbu kidogo.
Linganisha na GPU zinazofanana
Maswali yanayoulizwa mara kwa mara
Je, Tesla P40 inafaa kuendesha modeli kubwa za lugha?
Uwezo wa VRAM wa GB 24 unaiwezesha Tesla P40 kuhifadhi kwenye kumbukumbu modeli za lugha za ukubwa wa wastani zilizopunguzwa usahihi, kwa kutumia violezo kama Ollama. Hata hivyo, kwa kuwa kasi yake ya kumbukumbu ni takriban GB/s 257 na inatumia usanifu wa zamani wa Pascal, uzalishaji wa tokeni utakuwa polepole zaidi kuliko kwenye GPU mpya za kituo cha data.
Je, nitegemee utangamano gani wa programu na uwezo wa kompyuta 6.1?
Uwezo wa kompyuta 6.1 unaunga mkono kazi za kawaida za usahihi mmoja (single-precision) kwa takriban TFLOPS 9.4, jambo linalofanya kazi vizuri na violezo vya kawaida vya PyTorch/CUDA. Baadhi ya maktaba za kisasa za kujifunza kwa mashine au vipengele vinavyohitaji maelekezo mapya ya vifaa huenda visiendeshwe kwenye usanifu wa Pascal.
Ninawezaje kuunganisha na kusanidi seva yangu ya Tesla P40 kwenye ONIE?
Unaweza kuzindua seva kwa kutumia violezo vilivyo tayari vya PyTorch/CUDA, vLLM, Ollama, au ComfyUI. Ufikiaji wa moja kwa moja wa SSH umejumuishwa, ili uweze kusimamia faili na mazingira maalum kutoka kwenye terminal yako.
Malipo yanafanyaje kazi unapokodisha Tesla P40?
Seva kwenye ONIE hutumia malipo ya kila saa, hivyo unalipia tu muda ambao seva yako ya GPU ya kituo cha data inatumika.
Kodi Tesla P40 kwa saa
Fungua akaunti, chagua mpangilio na uunganishe kupitia SSH. Malipo yanakoma unapofuta GPU.
Kodi Tesla P40