Other headlines
Intel Xeon, Core™ Ultra és AI PC gyorsítja a GenAI munkameneteket
Az Intel az Intel® Gaudi® gyorsítók, Intel® Xeon® processzorok, Intel® Core™ Ultra processzorok és Intel® Arc™ grafikus processzorok esetében validálta az első Meta Llama 3 8B és 70B modellek AI termékportfólióját.
Az Intel az AI globális elterjesztésére irányuló küldetésének részeként befektet a szoftver- és AI-ökoszisztémába, hogy termékei készen álljanak a dinamikus AI-térség legújabb innovációira. Az adatközpontban az Intel Gaudi és az Intel Xeon processzorok Intel® Advanced Matrix Extension (Intel® AMX) gyorsítással az ügyfelek számára a dinamikus és széleskörű követelmények kielégítésére kínálnak lehetőségeket.
Ιntel Core Ultra processzorok és Intel Arc grafikus termékek mind a helyi fejlesztést, mind a több millió eszközön történő telepítést biztosítják az átfogó szoftveres keretrendszerek és eszközök támogatásával, beleértve a PyTorch és az Intel® Extension for PyTorch® a helyi kutatáshoz és fejlesztéshez használt PyTorch® kiterjesztést, valamint az OpenVINO™ eszközkészletet a modellfejlesztéshez és következtetéshez.
Az Intel’Llama 3 8B és 70B modellek kezdeti tesztelései és teljesítményeredményei nyílt forráskódú szoftvereket használnak, köztük a PyTorch, a DeepSpeed, az Intel Optimum Habana könyvtár és az Intel Extension for PyTorch a legújabb szoftveroptimalizálásokhoz.
Az Intel Xeon processzorok az igényes, végponttól végpontig terjedő AI-munkaterhelésekkel foglalkoznak, és az Intel a késleltetés csökkentése érdekében befektet az LLM-eredmények optimalizálásába. Az Intel® Xeon® 6 processzorok a Performance-core-okkal (kódnevük Granite Rapids) a 4. generációs Intel® Xeon® processzorokhoz képest kétszeres javulást mutatnak a Llama 3 8B következtetési késleltetésében, és képesek a nagyobb nyelvi modellek, például a Llama 3 70B generált tokenenként 100 ms alatt futtatására.
Az Intel Core Ultra és az Intel Arc Graphics lenyűgöző teljesítményt nyújt a Llama 3 számára. A tesztek első körében az Intel Core Ultra processzorok már most gyorsabb olvasási sebességet generálnak, mint a tipikus emberi olvasási sebesség. Továbbá az Intel® Arc™ A770 GPU Xe Matrix eXtensions (XMX) AI gyorsítással és 16 GB dedikált memóriával rendelkezik, hogy kivételes teljesítményt nyújtson az LLM munkaterhelésekhez.
Nyilatkozat: Az oldalainkon közölt információk, közlemények a közzététel napján felelnek meg a valóságnak. A közétett információk, közlemények az oldalainkon folyamatosan elérhetőek maradnak, azonban a közzétételt követően nem tudjuk garantálni, hogy az esetlegesen bekövetkező változásoknak megfelelően frissítjük vagy töröljük a nem naprakész információkat. Ennek megfelelően semminemű felelősséget nem vállalunk azért, hogy a közzétételt követően az oldalainkon található információk pontosak maradnak.
