- ǰ Ʈ ݿ ° Ʈʿ Բ AI
[õ ӱ] MLĿս(MLCommons) ǥ ߷(inference) ġũ ‘MLPerf v4.0’ ǥߴ.
® AMX(Intel® Advanced Matrix Extensions) Ե 5 ® ®(Intel® Xeon®) Ϸ μ ® ® 2(Intel® Gaudi® 2) ӱ ġũ , ǰ Ʈ “AI 긮(AI Everywhere)” õϰڴٴ ش.
2 AI ӱ AI(GenAI) ɿ ־ H100 ġũ ϴ ̸ 鿡 ִ. MLPerf ϴ CPU ü̱ ϴ. 5 ġŷ MLPerf ۷ v3.1(MLPerf Inference v3.1) 4 μ Ͽ 1.42 ƴ.
2 ġũ AI 鿡 NV H100 ̶ . (̹= ) |
DCAI ǰ Ѱ (Zane Ball) λ “ ӱ CPU ǰ ݿ ǥ ġũ AI ϰ ִ” “̹ ̰ AI 䱸 ϴ AI ַ ϰ ְ ִ. ǰ ɼǰ ɻ Ѵ” .
MLPerf н ߷ ɿ MLPerf AI ִ ǥ ġũ Ѵ.
® ® Ʈ ǰ θ Ǵ LLM(Ը ) Ƽ(multimodal) Ȯϰ ִ. MLPerf ۷ v4.0 ÷ ̺ ǻ XL(Stable Diffusion XL) Llama v2-70B 2 ӱ ߴ.
ؽƮ ߷(Hugging Face Text Generation Inference) 䱸 Llama ϰ ó ټ ó ϴ TGI Ŷ Ͽ LLM Ȯ ȿ ״. Llama v2-70B 2 ʴ ū 8035.0 6287.5 ߴ.
̺ ǻ XL 2 ʴ ʴ 6.26 6.25 ߴ. ̷ 2 TCO(Ѽ)鿡 ߿ ִ ϰ ִ.
5 : ϵ Ʈ 5 Ʈ MLPerf ۷ v3.1 4 μ 1.42 Ǿ. ϰ ó Ʈ ȭ GPT-J 5 v3.1 1.8 . DLRMv2 AMX Ȱϴ MergedEmbeddingBag Ÿ ȭ 1.8 99.9 Ȯ .
ý(Cisco), (Dell), Ÿ(Quanta), ۸ũ(Supermicro), (WiWynn) OEM Ʈʿ ü MLPerf ںν ִ. 2020 4 ǰ MLPerf ӱ ȣƮ CPU̱ ϴ.
Ŭ忡 AI ַ : 5 μ 2 ӱ ® Ŭ(Intel Developer Cloud) غ ִ. ȯ濡 ڴ ұԸ Ը н(LLM Ǵ GenAI) ߷ ũε带 Ը ϰ AI ǻ ҽ غ ִ.
2024(Intel Vision 2024) 3 AI ӱ Ʈ “AI 긮” ̴.
gcns05@daum.net
<۱ © õ >