Intel Xeon, Core™ Ultra és AI PC gyorsítja a GenAI munkameneteket

Az Intel az AI globális elterjesztésére irányuló küldetésének részeként befektet a szoftver- és AI-ökoszisztémába, hogy termékei készen álljanak a dinamikus AI-térség legújabb innovációira. Az adatközpontban az Intel Gaudi és az Intel Xeon processzorok Intel® Advanced Matrix Extension (Intel® AMX) gyorsítással az ügyfelek számára a dinamikus és széleskörű követelmények kielégítésére kínálnak lehetőségeket.

Ιntel Core Ultra processzorok és Intel Arc grafikus termékek mind a helyi fejlesztést, mind a több millió eszközön történő telepítést biztosítják az átfogó szoftveres keretrendszerek és eszközök támogatásával, beleértve a PyTorch és az Intel® Extension for PyTorch® a helyi kutatáshoz és fejlesztéshez használt PyTorch® kiterjesztést, valamint az OpenVINO™ eszközkészletet a modellfejlesztéshez és következtetéshez.

Az Intel’Llama 3 8B és 70B modellek kezdeti tesztelései és teljesítményeredményei nyílt forráskódú szoftvereket használnak, köztük a PyTorch, a DeepSpeed, az Intel Optimum Habana könyvtár és az Intel Extension for PyTorch a legújabb szoftveroptimalizálásokhoz.

Az Intel Xeon processzorok az igényes, végponttól végpontig terjedő AI-munkaterhelésekkel foglalkoznak, és az Intel a késleltetés csökkentése érdekében befektet az LLM-eredmények optimalizálásába. Az Intel® Xeon® 6 processzorok a Performance-core-okkal (kódnevük Granite Rapids) a 4. generációs Intel® Xeon® processzorokhoz képest kétszeres javulást mutatnak a Llama 3 8B következtetési késleltetésében, és képesek a nagyobb nyelvi modellek, például a Llama 3 70B generált tokenenként 100 ms alatt futtatására.

Az Intel Core Ultra és az Intel Arc Graphics lenyűgöző teljesítményt nyújt a Llama 3 számára. A tesztek első körében az Intel Core Ultra processzorok már most gyorsabb olvasási sebességet generálnak, mint a tipikus emberi olvasási sebesség. Továbbá az Intel® Arc™ A770 GPU Xe Matrix eXtensions (XMX) AI gyorsítással és 16 GB dedikált memóriával rendelkezik, hogy kivételes teljesítményt nyújtson az LLM munkaterhelésekhez.