Új hozzászólás Aktív témák

• #8 Raymond félisten MasterDeeJay #7

  Új Válasz 2024-02-15 11:18:09 #8

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  Raymond

  félisten

  válasz MasterDeeJay #7 üzenetére

  "Chatgpt-t szeretnék localba valamit összerakni de még nem tiszta számomra melyik miben jó."

  Ez most eleg nehez ugy mert mivel vadnyugati aranylaz van, naponta jonnek mindenfele hirek es hype hogy az uj XY modell a legjobb a vilagon stb. Rengeteg a zaj, de ha maradsz az alapoknal (Llama-2b, Mistral, Mixtral-8x7b) es ezek nepszerubb valtozatai (Nuos-Hermes) abban a valtozatban ami erdekel (generic, chat, instruct) akkor OK. Ha nem akarsz sok "Sorry Dave, I can not do that!" valaszt latni akkor az uncensored verziot keresd meg abbol amit hasznalni akarsz.

  Az LM Studio-ban latod egyebkent ha rakeresel valamelyikre hogy melyik rep a legnepszerubb, az egy jo mutato.

  Az zavar leginkább hogy a legtöbb helyen odaírják hogy cuda de nem írják hardverből mi a követelmény. (tesla P40 24gb lenne jó de az pascal és a fene se tudja mennyire támogatott)

  Meg Maxwell-en is megy, a P40 (remelem a 24GB-os ) jo lesz, ott is van kozel 350GB/s savszel es az dob rajta sokat. A CPU-nal joval gyorsabb lesz az biztos es a nagyobb modellek is belefernem a VRAM-ba. A 13b modellek Q8-as verzioja siman.

  Ha ilyen Skyrim szeru jatek chat-re kell akkor viszont tenyleg a modifikalt uncensored es roleplay-re optimalizalt modelleket nezd.

  Lattam par hete az Intel videot a YT-on, gondoltam is rad hogy az A770-el kiprobalhatnad mert eleg jo it/s ertekeket produkalt Aztan kiment a fejembol, de latom te is megtalaltad.

  A P40-nek egyebkent adj egy power limitet mert az inference sebessegre nem lesz kihatassal, de a fogyasztas es melegedesnek jot tesz [link]

  Privat velemeny - keretik nem megkovezni...

Új hozzászólás Aktív témák