通過(guò)AMD Ryzen AI和Radeon 7000系列顯卡體驗(yàn)Meta Llama 3

供稿 / 2024-04-29 17:321964

AMD的AI戰(zhàn)略側(cè)重于通過(guò)廣泛的訓(xùn)練和推理計(jì)算引擎組合、開(kāi)放和成熟的軟件功能來(lái)實(shí)現(xiàn)生態(tài)系統(tǒng)，并通過(guò)共同創(chuàng)新來(lái)培育AI生態(tài)系統(tǒng)。我們將繼續(xù)專(zhuān)注于使每個(gè)人都能使用下一代AI模型，并使各行各業(yè)從AI中獲益。

我們對(duì)Meta最近發(fā)布的Llama 3模型非常振奮。Llama 3是Meta迄今為止功能最強(qiáng)的開(kāi)源模型，在HumanEval、GPQA、GSM-8K、MATH和MMLU基準(zhǔn)測(cè)試中取得了強(qiáng)悍的成績(jī)。Llama 3有80億和700億參數(shù)模型，前者適用于客戶(hù)端用例，后者適用于更多的數(shù)據(jù)中心和云用例。

好消息是，擁有基于Ryzen AI的AI PC或AMD Radeon 7000系列顯卡的AMD客戶(hù)，無(wú)需任何編碼技能，即可完全在本地體驗(yàn)Llama 3。

AMD 銳龍7040系列移動(dòng)處理器（除銳龍5 7540U和銳龍3 7440U之外）和AMD 銳龍 8040系列移動(dòng)處理器（除銳龍5 8540U和銳龍3 8440U之外）內(nèi)置了專(zhuān)為處理新興的AI工作負(fù)載而設(shè)計(jì)的神經(jīng)處理單元（NPU）。NPU算力最高達(dá)16 TOPs，允許用戶(hù)以卓越的電源效率執(zhí)行AI工作負(fù)載。AMD Ryzen AI APU還包括CPU和iGPU，用于處理按需任務(wù)。

在本文中，我們將演示如何在AMD硬件上快速輕松地運(yùn)行Meta的Llama 3 Instruction 80億參數(shù)模型。

下載LM Studio的正確版本：

AMD 銳龍?zhí)幚砥靼?/p>	AMD Radeon RX 7000 系列顯卡版
LM Studio - Windows?	LM Studio – ROCm(TM) technical preview?

2. 運(yùn)行該文件。

3.點(diǎn)擊Llama 3 - 8B指示卡上的“Download（下載）”按鈕。

通過(guò)AMD Ryzen AI和Radeon 7000系列顯卡體驗(yàn)Meta Llama 3(1)880.png

4. 下載后，單擊屏幕左側(cè)的聊天圖標(biāo)。

通過(guò)AMD Ryzen AI和Radeon 7000系列顯卡體驗(yàn)Meta Llama 3(1)900.png

5. 從頂部中間的下拉列表中選擇Llama 3。

通過(guò)AMD Ryzen AI和Radeon 7000系列顯卡體驗(yàn)Meta Llama 3(1)927.png

6. 當(dāng)出現(xiàn)提示時(shí)，選擇“Accept New System Prompt（接受新系統(tǒng)提示）”。

通過(guò)AMD Ryzen AI和Radeon 7000系列顯卡體驗(yàn)Meta Llama 3(1)977.png

如果您使用的是基于AMD Ryzen AI的AI PC，請(qǐng)開(kāi)始聊天!

對(duì)于使用AMD Radeon 7000系列顯卡的用戶(hù)，只有幾個(gè)額外的步驟:

點(diǎn)擊右側(cè)的“高級(jí)配置（Advanced Configuration）”。

通過(guò)AMD Ryzen AI和Radeon 7000系列顯卡體驗(yàn)Meta Llama 3(1)1093.png

9. 向下滾動(dòng)，直到看到“Hardware Settings（硬件設(shè)置）”。確保選擇“GPU Offload（卸載）”，并且滑塊一直向右(最大值)。如果出現(xiàn)提示，點(diǎn)擊“Reload model to apply configuration（重新加載模型以應(yīng)用配置）”。

通過(guò)AMD Ryzen AI和Radeon 7000系列顯卡體驗(yàn)Meta Llama 3(1)1231.png