軟體王

Udemy線上課程 (Ken Cen出品)Generative AI第22部 如何推理 Llama 大語言模型 下部 講師:Ken Cen 影音教學 中文發音 繁體中文(DVD版)

內容說明:
從核心原理到 PyTorch 高效推理實戰

你是否厭倦了僅僅調用 API，卻對大型語言模型 (LLM) 的內部運作一知半解？
你是否驚嘆於 Llama 3 的強大能力，並渴望深入理解其背後的魔法——那些讓它高效、強大的關鍵技術，如 KV Cache、Grouped Query Attention (GQA)、旋轉位置編碼 (RoPE) 和 RMSNorm？
現在，機會來了！本課程將帶你從零開始，一步步揭開 Llama 3 的神祕面紗，不僅讓你理解其核心架構和關鍵組件的理論精髓，更能親手用 PyTorch 庫編寫、優化並運行你自己的 Llama 3 推理流程！
在本課程中，你將獲得：
深度理解 Llama 3 核心機制： 不再是黑箱！我們將深入淺出地講解 Llama 3 相較於原版 Transformer 的關鍵改進，包括：
KV Cache： 為何它能讓 LLM 推理速度產生質的飛躍？如何實現？
Grouped Query Attention (GQA): 在多頭注意力 (MHA) 和多查詢注意力 (MQA) 之間取得的精妙平衡，如何在保證質量的同時提升效率？
旋轉位置編碼 (RoPE): 這種新穎的位置編碼方式是如何工作的？為什麼它比絕對位置編碼更受青睞？
RMSNorm： 為什麼 Llama 選擇它而不是 Layer Normalization？它有何優勢？ 硬核 PyTorch 推理實戰： 我們將基於提供的實戰代碼，帶你：使用 Pytorch 高效加載預訓練 Llama 3 模型和分詞器。
親手實現逐 Token 生成循環，掌控文本生成的每一步。
靈活應用 KV 緩存，體驗推理加速的快感。
掌握 Top-P、Temperature、Repetition Penalty 等核心採樣策略，精調你的模型輸出風格。
編寫設備自動檢測代碼 (CUDA / MPS / CPU)，讓你的推理代碼適配不同硬件，充分利用加速能力。
學會工程化技巧：處理 Padding、實現 EOS 判斷、優化 Prompt 等。
從理論到實踐的閉環： 完美結合 Llama 3 內部原理講解與動手編碼實踐，讓你知其然，更知其所以然。
使用 model.generate()： 推導下一個 Token 及文本生成，真正理解並控制生成過程的每一個細節，為未來更複雜的模型定製和優化打下堅實基礎。

課程內容:
01 - 介紹
001 課程工具準備.mp4
002 如何使用uv 作為包管理器和項目管理工具.mp4
003 如何從 Meta 官網下載模型權重文檔.mp4

02 - 如何用 Python編寫 Llama 的架構
001 如何接入 Llama Transformer Class 的基本參數.mp4
002 如何創建Llama3 的 RMSNorm & FFN SwiGLU.mp4
003 如何計算 RoPE 複數頻率.mp4
004 如何實現 RoPE 旋轉位置編碼複數轉換實數.mp4
005 如何創建Attention 組合 RoPE & GQA & KV 緩存.mp4
006 如何創建TransformerBlock 和組織Llama 模型.mp4

03 - 如何使用 LlaMA3 模型進行文本生成
001 如何導入 Llama3 權重文檔和 Tokenizer model 文檔.mp4
002 如何使用 Tokenizer 進行編碼和解碼.mp4
003 如何將特殊 ID 和 Prompt 結合在一起.mp4
004 如何構建LlaMA3 實例.mp4





站內搜索

請輸入軟體名稱或編號

購物車 熱門關鍵字 51job 前程無憂 Frank 學院 Qingming Wpf詳解 Zhao 工作效率 女性領導力 三節課 下篇 六卦詳解 王思迅 文富 打造獨角獸 光佑 有個小院 行銷 東東 東東好課 佳旋 易經開門課 的環境預備 若水 美伊 思迅 星空 面對痛苦 渡人渡己 紫微篇 資承 遍路文化 漢化課程 養心 養身 養神 編程入門 養體 霍大俠 觸發器