- NVIDIA GeForce RTX 4060 / 4070 S/Ti/TiS (AD104/103)
- AMD GPU-k jövője - amit tudni vélünk
- OLED TV topic
- HiFi műszaki szemmel - sztereó hangrendszerek
- Így nem hajlik, úgy kettétörik az új iPad
- Intel Core i5 / i7 / i9 "Alder Lake-Raptor Lake/Refresh" (LGA1700)
- AMD Ryzen 9 / 7 / 5 7***(X) "Zen 4" (AM5)
- Fél tucat Core Ultra CPU jöhet az asztali piacra
- Milyen CPU léghűtést vegyek?
- Hisense LCD és LED TV-k
Hirdetés
-
AMD-s alternatívát ajánl az NVIDIA AI ellen a Microsoft
it AMD-s alternatívát kapnak az NVIDIA AI-processzorokra a Microsoft felhős ügyfelei.
-
Újabb előzetesen a GreedFall II: The Dying World
gp Az új rész korai kiadása a nyáron érkezik PC-re, a teljes változat PlayStation 5-re és Xbox Series X/S-re is befut majd.
-
Fehér zakót öltenek a Super Flower platinás Leadex VII Pro tápjai
ph A kétféle kapacitással készülő, 12+4 tűs csatolóval szállított típus érdekessége, hogy az eszköz felőli oldalon egységesített konnektorokkal jön.
Új hozzászólás Aktív témák
-
Busterftw
veterán
Kb 70GB-t foglal telepites utan.
Egy COD online tobbet foglal.[ Szerkesztve ]
-
Sok alternatíva van, sok száz ha nem ezer modellel. CUDA, OpenCL, CPU... gyorsítással. Van miből válogatni. Vannak kifejezetten kezdőknek egyszerűen beállíthatóak (pl gpt4all, koboldcpp ami egy darab exe és a modell)
Szóval az csak marketing korlátozás hogy RTX30-40 kell ilyenhez.
Ahogy olvastam a LLaMa 2 13B AWQ 4bit quantized modellt használja de javítsatok ki ha tévedek.[ Szerkesztve ]
Vintage Story PH szervere újra fut!
-
Raymond
félisten
válasz MasterDeeJay #5 üzenetére
A korlatozas a konkret TensortRT es model formatum/verzio kombinaciojabol akad, a 20-as sorozat nem tamogat minden formatumot, gondolom a bfloat16 amit hasznalnak. A 8GB kartyakon a Mistral-7b a 10GB+ kartyakon pedig a Llama-2-13b tudtommal mindketto a 4bit quantized valtozat.
Az LM Studio-ban a Llama-2-7b 5bit-es verzioja (Q5_K_M) egy sima RTX2080-al olyan 55 tok/s sebeseget ad.
Az NV demot eleg problemas letolteni, nalam csak 8-10Mbit-el jott es azert igy 35GB altart egy darabig. Hagytam menni, de olyan 11GB korul megszakadt. Az hogy mennyit hozna a TensorRT egy 4090-el nem tudom, de Stable Diffusion generalasnal a konvertalt modellek olyan 70-75% pluszt hoztak sebessegben a simahoz kepest.
Privat velemeny - keretik nem megkovezni...
-
Stable diffusionnal szórakoztam, procis, cuda és intel féle openvino verzióval de leginkább cuda-val volt gyors.
Chatgpt-t szeretnék localba valamit összerakni de még nem tiszta számomra melyik miben jó. Openai-t használom felhőből gpt-3.5-fast de valami megközelítőleg hasonlót akarnék localba. Ahogy tudom a 3.5fast az 20b (skyrim AI-hoz)
Az zavar leginkább hogy a legtöbb helyen odaírják hogy cuda de nem írják hardverből mi a követelmény. (tesla P40 24gb lenne jó de az pascal és a fene se tudja mennyire támogatott)
Tegnap próbának koboltcpp-t használtam 7b teljesen jól fut, 30b már lassú igaz nocuda módban (A770 16gb + 18 mag 4.5ghz, 128gb ddr4 4000 ramokkal). Most pont nincs modern cuda képes erősebb kártyám csak régi teslák de tervben van valami modernebb.
Meg szeretném ismeri amennyire csak lehet mert iszonyat sok lehetőséget látok benne játékok terén. [link]
A gond ugye az hogy prociból lassú, videókari meg a játékot futtatja bár nincs 100%-on de vramot megzabálja a játék így az kiesik. Második kártya kell majd. Meg van még egy audio-text oda vissza (xavsynth) azzal még nem foglalkoztam.[ Szerkesztve ]
Vintage Story PH szervere újra fut!
-
Raymond
félisten
válasz MasterDeeJay #7 üzenetére
"Chatgpt-t szeretnék localba valamit összerakni de még nem tiszta számomra melyik miben jó."
Ez most eleg nehez ugy mert mivel vadnyugati aranylaz van, naponta jonnek mindenfele hirek es hype hogy az uj XY modell a legjobb a vilagon stb. Rengeteg a zaj, de ha maradsz az alapoknal (Llama-2b, Mistral, Mixtral-8x7b) es ezek nepszerubb valtozatai (Nuos-Hermes) abban a valtozatban ami erdekel (generic, chat, instruct) akkor OK. Ha nem akarsz sok "Sorry Dave, I can not do that!" valaszt latni akkor az uncensored verziot keresd meg abbol amit hasznalni akarsz.
Az LM Studio-ban latod egyebkent ha rakeresel valamelyikre hogy melyik rep a legnepszerubb, az egy jo mutato.
Az zavar leginkább hogy a legtöbb helyen odaírják hogy cuda de nem írják hardverből mi a követelmény. (tesla P40 24gb lenne jó de az pascal és a fene se tudja mennyire támogatott)
Meg Maxwell-en is megy, a P40 (remelem a 24GB-os ) jo lesz, ott is van kozel 350GB/s savszel es az dob rajta sokat. A CPU-nal joval gyorsabb lesz az biztos es a nagyobb modellek is belefernem a VRAM-ba. A 13b modellek Q8-as verzioja siman.
Ha ilyen Skyrim szeru jatek chat-re kell akkor viszont tenyleg a modifikalt uncensored es roleplay-re optimalizalt modelleket nezd.
Lattam par hete az Intel videot a YT-on, gondoltam is rad hogy az A770-el kiprobalhatnad mert eleg jo it/s ertekeket produkalt Aztan kiment a fejembol, de latom te is megtalaltad.
A P40-nek egyebkent adj egy power limitet mert az inference sebessegre nem lesz kihatassal, de a fogyasztas es melegedesnek jot tesz [link]
Privat velemeny - keretik nem megkovezni...
-
P40 még nincs meg (igen a 24gb-osat néztem). Most csak kicsik vannak (K20, C2075) de azok régiek. Illetve egy nagy batár AMD V540-es (kb 5700XT 2x8GB HBM2 rammal) de az ugye nem cuda képes és egy kályha.
P4-esem volt de az nem volt egy erőgép viszont alig kellett hűteni. M40-est is sokáig használtam.
Lett volna egy P102-100 10Gb de meghalt hamar, korábban volt P104-100 azzal is elvoltam. (mindkettőnél lehetett szoftveresen unlockolni a vramot 4-8-ra és 5-ről 10-re)
Igazából valami nagyobb modern kellene olyan max 100-120eft körül, azért gondoltam a 90HX-re mert az már RTX3xxx gen bár csak 10Gb vrammal. Bányász kártyákat szórják ki, teslák lenneének még jók de hűtést kell hozzá építeni. Hozzáteszem van egy álomkártyám amit vennék szívesen de még drága és arra is kell hűtés. 170HX [link](ez azért is érdekes mert esélyes hogy itt is fel lehet oldani az extra ramot) [link] (van rá 16gb-os bios)
Az inteles A770 elvileg elég erős lenne ha támogatná valami. Ez alapján próbálom belőni melyik milyen erős mert nem nagyon találok rendes teszteket ilyenre és a játéktesztek nem mérvadóak. A770 opencl-ben elég jó, a 16Gb ram 512gb/s sávszél pont ideálissá tenné ilyenre.
Ramsávszél számít azt tudom, proci oldalon is van 100Gb+ ami nem sok de procihoz képest nem kevés. Ha lenne normálisan AMD támogatva akkor vennék valami 16gb-os HBM2-es olcsó amd MI kártyát. De legtöbb progi cuda-ra van.
P40 power limit érdekes, ha lesz olyan megnézem mert lehetne így gyengébb hűtéssel is használni.[ Szerkesztve ]
Vintage Story PH szervere újra fut!
-
Raymond
félisten
válasz MasterDeeJay #9 üzenetére
A 90HX szerintem nem igazan jo, a hasznalt kartyaknal a VRAM-ra erdemes utazni de ott is csak ugy hogy jobb uzlet legyen mint a 280EUR-os uj 3060 12GB vagy a hasznalt ugyanebbol esetleg a 200-250EUR kozotti hasznalt 2080Ti. A 170HX nem ugyanaz mint az M10? Ott is 4 GPU es 4x 8GB VRAM vagy egy kartyan, ahhoz tul draga szerintem, egy kb ugyanannyiba kerulo 3090 24GB-nak tobb ertelme van. Legalabbis ezt irtam volna par hete, de ahogy nezem azok felmentek 700-800 koze igy nem annyira jo mar.
En ezt a videot neztem [link], ez alapjan olyan 2080Ti sebessege lehet az A770-nek SDXL kepgeneralasnal.
A 100GB/s nem rossz egy CPU-nal, de a 4090 pl. meg igy is 12x gyorsabb mint az i7-13700K es DDR5-6400 nalam a Llama-2-13b szovegeneralasnal. A 2080-am is kb. annyival gyorsabb mint az abban a gepben levo i7-6700K DDR4-2133 kombo.
Privat velemeny - keretik nem megkovezni...
-
-
Raymond
félisten
válasz MasterDeeJay #11 üzenetére
Hat nem tudom, eleg rizikos azert az arert, akkor meg a rizikomentes 3090 is jol nez ki 700-800EUR kozott. Vagy egy uj 4060Ti 16GB is jobban nez ki 460EUR-ert.
Privat velemeny - keretik nem megkovezni...
-
Raymond
félisten
válasz MasterDeeJay #11 üzenetére
Kiprobaltam a chat-et leggyengebb gepen amit itthon van, egy Intel NUC6-os egy Celeron J3455 CPU-val. Nemhogy AVX2, meg AVX sincs benne. Ubuntu 22.04 es egy docker container-ben futo ollama elindul es megy, de meg a 3B-s mini-orca vagy a 2.7B-s phi-2 mellett is tobb mint 1 percig tart amig valaszol es talan 1 masodperc per szotag sebessegel general
Privat velemeny - keretik nem megkovezni...
-
Geller72
veterán
Milyen modulokkal működik?
Új hozzászólás Aktív témák
Állásajánlatok
Cég: Ozeki Kft.
Város: Debrecen
Cég: Alpha Laptopszerviz Kft.
Város: Pécs