午夜神马影院-日本天堂在线-国产精品777-奇米影视亚洲春色-天堂8中文-日本在线观看一区二区-天天干天天操天天插-国产精品女同-色骚综合-四川一级毛毛片-99在线看-国产极品久久-波多野吉衣毛片-婷婷在线综合-欧美视频成人-亚洲影视一区二区三区-国产精品久久久久久久一区二区-国产精品9191-污污免费观看-日本三区在线

體驗在AMD Ryzen AI和Radeon上運行DeepSeek R1精簡版"推理"模型

體驗在AMD Ryzen AI和Radeon上運行DeepSeek R1精簡版"推理"模型

供稿 / 2025-02-13 09:098741

體驗在AMD Ryzen AI和Radeon上運行的DeepSeek R1精簡版“推理”模型(1)46.png

推理模型是一類新型的大型語言模型(LLMs),通過鏈式思維(CoT)推理來解決高度復雜的任務,其代價是響應時間較長。DeepSeek R1是最近發布的前沿“推理”模型,已被提煉成功能強大的小型模型。目前,可以通過LM Studio,輕松將這些DeepSeek R1精簡版模型部署到AMD Ryzen AI處理器和Radeon顯卡上,并可以使用。

推理模型在生成最終輸出之前加入了一個“思考”階段——用戶可以通過展開“思考”窗口看到模型給出最終答案前的推理過程。與傳統的大型語言模型(LLMs)直接生成單次響應不同,鏈式思維(CoT)推理模型會在回答前進行廣泛的推理。LLM所做的假設和自我反思對用戶是可見的,這提高了模型的推理和分析能力——盡管這意味著首次(最終輸出)token的響應時間會顯著增加。

推理模型可能會在生成最終響應之前,先花費數千個token來分析和處理問題(您可以查看這一思維鏈!)。這種方法使得模型在解決涉及數學和科學的復雜問題時表現出色,能夠從多角度深入分析問題后再得出最終答案。根據您的AMD硬件配置,這些模型將在您的AMD Ryzen AI處理器或Radeon顯卡上提供最先進的推理能力。

如何在 AMD Ryzen AI和 Radeon顯卡上運行 DeepSeek R1精簡版"推理"模型

請按照以下簡單步驟操作,僅需幾分鐘(具體時間取決于下載速度)即可開始運行 DeepSeek R1 精簡版模型。

請確保您使用的是可選驅動程序 Adrenalin 25.1.1,您可以通過點擊此鏈接直接下載。

第一步:請確保您已安裝 25.1.1 可選版本或更高版本的 Adrenalin 驅動程序。

第二步:請從 lmstudio.ai/ryzenai 下載 LM Studio 0.3.8 或更高版本。

第三步:安裝 LM Studio 后,您可直接跳過引導屏幕。

第四步:安裝LM Studio后,您可以點擊“發現”選項。

第五步: 選擇您的DeepSeek R1 Distill。像Qwen 1.5B這樣的小型Distill提供了極速的性能(并且是推薦的起點),而更大的Distill則提供更強的推理能力。它們都具有極強的能力。以下表格詳細列出了最大推薦的DeepSeek R1 Distill規模:

體驗在AMD Ryzen AI和Radeon上運行的DeepSeek R1精簡版“推理”模型(1)1336.png 

* = AMD推薦將所有Distill運行在Q4 K M量化模式。

1 = 需要將可變顯存設置為自定義:24GB。

2 = 需要將可變顯存設置為高。

體驗在AMD Ryzen AI和Radeon上運行的DeepSeek R1精簡版“推理”模型(1)1413.png

* = AMD推薦將所有Distill運行在Q4 K M量化模式。

1 = 列出在沒有部分GPU卸載的情況下最大支持的Distill。

第六步:在右側,確保選擇了“Q4 K M”量化模式,然后點擊“下載”。

第七步:下載完成后,返回聊天選項頁,從下拉菜單中選擇DeepSeek R1 distill,并確保勾選了“手動選擇參數”選項。

第八步:在GPU卸載中,將滑塊移到最大值。

第九步:點擊“模型加載”。

第十步:與完全在本地AMD硬件上運行的推理模型進行交互!

注釋

GD-97 - 提供第三方網站鏈接僅為方便之用,除非明確聲明,AMD對這些鏈接網站的內容不負責任,也不表示任何形式的認可。

GD-220e - Ryzen AI被定義為結合了專用AI引擎、AMD Radeon圖形引擎和Ryzen處理器核心的組合,能夠啟用AI功能。需要OEM和ISV支持,某些AI功能可能尚未針對Ryzen AI處理器進行優化。Ryzen AI與以下處理器兼容:(a)AMD 銳龍 7040和8040系列處理器以及銳龍 PRO 7040/8040系列處理器,但不包括銳龍 5 7540U、銳龍 5 8540U、銳龍 3 7440U和銳龍 3 8440U處理器;(b)AMD 銳龍 AI 300系列處理器和AMD 銳龍 AI PRO 300系列處理器;(c)所有AMD 銳龍 8000G系列桌面處理器,但不包括銳龍 5 8500G/GE和銳龍 3 8300G/GE;(d)AMD 銳龍 200系列處理器和銳龍 PRO 200系列處理器,但不包括銳龍 5 220和銳龍 3 210;(e)AMD 銳龍 AI Max系列處理器和銳龍 AI PRO Max系列處理器。在購買之前,請與您的系統制造商確認功能的可用性。


發表評論注冊|