Az Intel jó ideje készíti elő a gépi tanulásra szánt hardverportfólióját. Ezek között egyelőre több általános modell van, vagy esetleg olyan fejlesztések, amelyeket nem ide terveztek, de működnek. Az igazi támadás azonban a korábban felvásárolt Nervana technológiáira építkezve kezdődik majd meg.
Jelenleg a legfontosabb a Lake Crest kódnevű ASIC. Ez 12 darab, direkt gépi tanulásra kialakított processzorklasztert tartalmaz, amelyeket 4096 bites buszon bekötött HBM2 memória szolgál ki, a memórialapkák összkapacitása pedig 32 GB. Magát a lapkát nagyrészt még a Nervana tervezte, ezért is készül a TSMC 28 nm-es node-ján. Itt az Intel túl kockázatosnak látta a saját gyártástechnológiára való átültetést, így lemondtak erről. Ez alapvetően jó ötlet volt, mert a tervekhez képest amúgy is csúszik a megjelenés, viszont a hardvert a vállalat az elmúlt héten lezajlott NIPS 2017-es rendezvényen demonstrálta.
Az x16-os PCI Express 3.0-s interfészbe helyezhető gyorsító mintapéldánya két darab 8 tűs tápcsatlakozót igényelt, de ez nem számít annyira extrémnek a célzott területen. A HBM2 memória 1 TB/s-os memória-sávszélességet biztosított, továbbá kiderült, hogy a 32 GB-os modell mellett lesz 16 GB-os is.
Az új fejlesztés a Nervana NNP, azaz Neural Network Processor sorozatba érkezik, és a koncepció kizárólag a gépi tanulás kiszolgálása volt. Carey Kloss, az Intel AI részlegét vezető alelnök szerint manapság a gépi tanulás olyan hardvereken történik, amelyeket nem is erre terveztek. Ettől maga a feldolgozás végbemegy, de a rendszer hatékonysága messze lesz az ideálistól, amit leginkább az aktuális megoldások limitációi okoznak. Ezekre igen hatékony módokon reagál az Intel fejlesztése.
A Lake Crest ASIC egyik fontos képessége, hogy lehetővé teszi az adatlokalitás direkt menedzselését. Ez a gépi tanulás szempontjából azért fontos, mert minimalizálja az adatmozgást a lapka és a memória között, ami végeredményben alacsonyabb fogyasztást fog eredményezni. Emellett a HBM memórialapkák akár direkten hozzárendelhetők az egyes tensor magokhoz, annak érdekében, hogy az adat fizikailag is a lehető legközelebb legyen a releváns feldogozókhoz. Ráadásul a gépi tanulás a legtöbbször memórialimitbe fut, ezen belül is kevés lesz a memória-sávszélesség. Az Intel szerint még az 1 TB/s sem segít, így trükközni kell a hatékonyság javítása érdekében.
Az alapot a 2 MB-nál is nagyobb processzorklaszterenkénti gyorsítótár biztosítja, amit kiegészít egy 30 MB-os teljes lapkára vonatkozó gyorsítótár is. Ez teszi lehetővé, hogy a feldolgozás nagyrészt a lapkán belül maradjon, de emellett számos szoftveres trükk is folyamatosan dolgozik azon, hogy a HBM alrendszer csak akkor legyen használva, ha arra elengedhetetlenül szükség van.
A másik fontos extra a FlexPoint technológia, ami biztosítja 32 bites szimpla pontosságú feldolgozáshoz közeli eredményt, miközben csak 16 bit allokációkkal dolgozik. Ez az új numerikus formátum lehetővé teszi a memória-sávszélesség kétszeres hatékonyságú kihasználását a normál 32 bites szimpla pontosságú feldolgozáshoz viszonyítva, illetve az operációk végrehajtása is jóval hatékonyabb. Maga a FlexPoint kifejezetten a gépi tanulás tréning szakaszára lett kidolgozva.
A harmadik újítás a Lake Crest lapkák összeköttetésére vonatkozik, ugyanis ez 1 terabit/másodperces bidirekcionális linkeken keresztül valósítható meg, méghozzá teljesen szoftveresen kontrollálva, minden linkhez szoftveresen konfigurált QoS-t (Quality of service) társítva. Ezzel olyan virtuális csatornák biztosíthatók a lapkák között, amelyek paraméterei tetszőlegesen konfigurálhatók. Ezeken keresztül másolhatók az adatok akár közvetlenül lapkából-lapkába a fedélzeti memória kihagyásával, így kímélve tovább a memória-sávszélességet.
Egy lapka hat linket kínál, és ilyen formában nyolc darab Nervana NNP köthető össze tórusz topológiával. Az így kialakított konfiguráció logikailag úgy működik, mintha egy nagy processzor lenne, ami a feldolgozási modell megváltoztatása nélkül, lényegében nyolcszoros, közel lineáris gyorsulást ad.
Sajnos a pontos teljesítményről még nincs összehasonlítható adat. A NIPS 2017-en lehetett hallani információkat, de problémát jelent, hogy amíg a legtöbb piaci szereplő az elméleti számítási teljesítményt adja meg a hardverénél, addig az Intel szerint ez önmagában semmit sem ér, mert úgyis erősen memórialimites lesz a gépi tanulás tréning szakasza. Emiatt a vállalat úgynevezett számítási kapacitásban gondolkodik, ami figyelembe veszi a precizitást, a memória-sávszélességet és a számítási teljesítményt is.
Annyi azért kiderült, hogy a Nervana NNP nagyon erős, gyakorlatilag nincs ellenfele azok között a hardverek között, amelyek ma a piacon megvásárolhatók. Ez persze sejthető volt, hiszen amíg a legtöbb vállalat kifejezetten általánosan tervezett processzort vett be, addig az Intel megoldása konkrét ASIC. A Google második generációs TPU koncepciója hasonló, de a hírek szerint ennél is gyorsabb a Nervana NNP, ráadásul nem is kevéssel. Ezzel a hardverrel tehát az Intel nagyon bejelentkezik, konkrétan bedarálhatják a piacot.
