Az Intel 2016-ban vásárolta fel a Nervana Systems nevű céget, amelynek a Nervana technológiáját teljesen saját fejlesztésben még nem hasznosították, inkább a tervezett lapkákat fejezték be. Ebből a legfontosabb a Lake Crest kódnevű ASIC volt, de nyilván a vállalat útiterveire olyan fejlesztések is felkerültek, amelyekben már igen aktív részt vállalat az Intel is.

A Spring Crest és Spring Hill kódnevű lapkákat magába foglaló Nervana NNP termékcsalád már erősen magán viseli az Intel mérnökeinek munkáját is, és előbbi a tréning, míg utóbbi a gépi tanulás dedukció szakaszára való.

A tréninggel kezdve a Spring Crest kódnevű NNP-T kétféle verzióban érkezik: NNP-T 1300 és NNP-T 1400. Előbbi egy PCI Express, míg utóbbi egy OAM (OCP Accelerator Module) csatolójú kártya. Technikailag mindkettő x16-os PCI Express 4.0-s interfészt használ, de az OAM verzió a skálázhatóságra készült, így az inter-chip linkeken keresztül számos hardvert össze lehet kapcsolni, amelyek különböző topológiákba konfigurálhatók. Maga a szabványos, PCI Express aljzatot használó verzió is skálázható, viszont csak a gyűrűs topológiát támogatott, ami némi limitációt jelenthet.

Spring Crest [+]

A TSMC 16 nm-es node-ján készülő Spring Crest 24 darab úgynevezett TPC-t (tensor processor cluster) használ, amelynek az újítása az elődnek számító Lake Cresthez viszonyítva a bfloat16 adattípus natív támogatása. Ez a tréning szakasznál kifejezetten hasznos, mivel előnye, hogy az 32 bites lebegőpontos adattípussal megegyezően 8 bites exponenst használ, viszont a mantissza 23 bit helyett csak 7 bites. Ezzel természetesen a pontosság csökken, viszont a gépi tanulás tekintetében ez így is kedvezőbb a normál 16 bites lebegőpontos adattípushoz viszonyítva, miközben a bfloat16 teljesítményelőnye a 32 bites operációkhoz viszonyítva nagyon hasonló. Az NNP-T 1400-ban aktív az összes TPC, az órajel 1,1 GHz lesz, míg az NNP-T 1300-ban be kell érni 22 TPC-vel, és 950 MHz-es működési frekvenciával. Cserébe ennek a fogyasztása 300 watt, szemben az erősebb modell 375 wattjával.

A gyorsítótár szempontjából a NNP-T 1400 60, míg a kisebbik NNP-T 1300 55 MB-os SRAM-ot használ, de mindkét esetben 4096 bites buszon keresztül van bekötve a négy darab, 2,4 GHz-es effektív órajelen üzemelő HBM2 memória, amely összesen 32 GB-os kapacitást kínál 1,2 TB/s-os memória-sávszélességgel. Ezek a gépi tanulás tekintetében fontosak, mivel kritikus tényező a sok és gyors memória, illetve a nagy gyorsítótár.

A dedukció szempontjából a Spring Hill lesz bevetve, amely az Intel 10 nm-es node-ján készül, és ebből is két verzió lesz. A gyorsabbik az NNP-I 1300, amely normál PCI Express csatolóba helyezhető bővítőkártya, míg a korlátozottabb az NNP-I 1100, amely egy M.2-es opció. Mindkettő x8-as PCI Express 3.0-s interfészt használ, a lapkán belül pedig 12 darab úgynevezett ICE (inference compute engine) és két darab, VNNI-t (Vector Neural Network Instructions) támogató Sunny Cove mag dolgozik. Ezek osztozkodnak 24 MB-nyi gyorsítótáron, továbbá a 128 bites memóriavezérlő LPDDR4X memóriát támogat.

Spring Hill [+]

Az NNP-I 1100 és az NNP-I 1300 között a formátumon kívül a legfőbb különbség a teljesítmény. Előbbi 50 TOPS-ra képes egyetlen Spring Hill lapkát bevetve, a fogyasztása pedig 12 watt. Utóbbi már két Spring Hill lapkát alkalmaz, lévén a bővítőkártyán több a hely, így a fogyasztása is 75 wattra nő, ami 170 TOPS-os teljesítményt hoz magával.

Az Intel már szállítja a fenti termékek mintáit, de a nagyobb mennyiségű elérhetőségre majd valamikor a következő év folyamán kerül sor.