一、AI大模型基本原理

•

最近隨著資本做空輝達，巴菲特退休之前押注Google，國內阿里的QWen3-max推出，大模型應用在沉寂大半年之後又開始活躍。畢竟輝達是賣鏟子的，真正拿鏟子去耕種的還得是大模型基座以及基於大模型的應用開發。

💡 本文會帶給你

  1. 什麼是AI？
  2. AI大模型能做什麼
  3. 大模型現階段落地情況綜述
  4. 怎樣尋找企業中大模型落地場景
  5. 大模型的通俗原理
  6. 大模型技術的短板
  7. 大模型應用技術架構
  8. DeepSeek本地部署和應用

開始上課！

什麼是 AI？

「AI is bullshit。深藍沒用任何 AI 演算法，就是硬體窮舉棋步。」

思考：「智能冰箱」是 AI 嗎？

一種觀點：基於機器學習、神經網路的是 AI，基於規則、搜尋的不是 AI。

AI大模型能幹什麼？

大模型，全稱「大語言模型」，英文「Large Language Model」，縮寫「LLM」。

現在，已經不需要再演示了。每人應該都至少和下面一個基於大模型的對話產品，對話過至少 1000 次。

本課第一個專業要求：分清對話產品和大模型。

但是，千萬別以為大模型只是聊天機器人。它的能量，遠不止於此。

按格式輸出

分類

聚類

持續互動

技術相關問題

可能一切問題，都能解決，所以是通用人工智慧 AGI

用 AI，要用「用人思維」：

  • 機器思維：研發了什麼功能，就有什麼功能。
  • 用人思維：給 ta 一個任務，總會有些反饋，或好或壞，驚喜或驚嚇。

劃重點：

  1. 大模型就是一個函數，給輸入，生成輸出
  2. 任何可以用語言描述的問題，都可以輸入文字給大模型，就能生成問題的結果文字
  3. 進而，任意資料，都可以輸入給大模型，生成任意資料

輝達 CEO 黃仁勳 2024 年 6 月 2 日在 Computex 上的演講提到各種模態資料的統一支援：

大模型GPT時代：一切皆為向量

AI驅動干行百業效率升級，大量行業場景應用價值仍待深挖

大模型現階段落地情況綜述

Killer App 沒有影，
AI 原生待證明。
手握場景不著急，
內部提效暗暗行。

Killer App 沒有影

  • AI 沒有創造新的使用場景，只是舊場景的增強，所以沒有 Killer App 的土壤
  • 可以樂觀期待 Killer App，但別苦苦追求
  • 請忽略一切張嘴就是 Killer App 的人

AI 原生待證明

AI 原生，是指產品的核心功能是 AI，而不是 AI 作為輔助功能。典型特點是，有 AI 後才出現。

  • 助手類，打不過 Siri 們
    • ChatGPT
    • Kimi Chat
    • 文心一言
    • 通義千問
    • 智譜清言
    • ……
  • 搜尋類，Google百度不會袖手旁觀
    • Perplexity
    • 秘塔 AI
    • Devv
  • 情感陪伴類，社交巨頭正謹慎觀察
    • Character.AI（已被 Google 人才收購）
    • 星野
    • Replika
  • 定製 Agent，商業模式探索中
    • ChatGPT GPTs
    • 扣子
    • Dify
  • AI程式設計 ，目前最成功的AI應用
    • Cursor
    • Windsurf
    • InsCode
    • marscode

手握場景不著急

大玩家毫不落後，AI 帶來的市場格局變化不大。

  • 拍照答題
    • Gauth
    • Question AI
  • 英語學習
    • 多鄰國
    • 有道 Hi Echo
  • 圖像處理
    • 美圖秀秀
    • Adobe Firefly
  • 辦公
    • WPS AI
    • Copilot for Microsoft 365
    • 釘釘魔法棒
    • 飛書智能夥伴
    • 騰訊會議智能助手
  • 程式設計
    • GitHub Copilot
  • 全家桶
    • Google
    • Microsoft
    • 字節跳動

內部提效暗暗行

很多企業將大模型和業務相結合，取得了或大或小的效果

  • 行銷
    • AI 做行銷創意，人再加工
    • AI 批次生產行銷素材
    • 多語言翻譯
  • 客服/銷售
    • 半 AI，適合本來有人做，AI 來提效
    • 全 AI，適合本來沒人做，AI 來補位
  • 辦公
    • 公文撰寫/總結/翻譯
    • 知識庫
        • 內部客服
        • 輔助決策
    • 情報分析
    • BI
  • 產品研發
    • 創意、頭腦風暴
    • IT 研發提效

怎樣尋找企業中大模型落地場景

1. 業務流程解構

  • 明確目標 ：確定解構的目標是什麼，是否是提升效率、降低成本，還是增強產品或服務的質量。
  • 分析現有流程 ：通過與相關部門和團隊溝通，瞭解當前的業務流程，使用流程圖、價值流圖等工具。
  • 收集資料 ：收集與流程相關的資料，包括時間、資源、瓶頸等，識別出目前流程中的問題和改進點。
  • 識別關鍵環節：確定每個環節對業務結果的影響，識別那些環節最能推動價值產生，那些是浪費或低效的環節。

2. 繪製企業價值流圖

  • 識別關鍵流程：將企業流程分為不同的關鍵環節，如供應鏈管理、生產流程、銷售等。
  • 標記價值增值活動：明確那些環節增加了實際價值，那些是純粹的支援性或非增值活動。
  • 流程中的浪費：識別流程中出現的浪費，如等待、過度處理、運輸、庫存、動作等。
  • 時間與資源：標註每個環節的時間、資源消耗，以及這些消耗如何影響最終的交付。
  • 改進方案：通過價值流圖，找到需要最佳化的環節，提出改善措施。

3. 識別大模型應用場景

  • 資料驅動的決策：大模型可以幫助企業分析大量資料，提供更精確的決策支援，示例：通過AI分析客戶資料，最佳化市場行銷策略。
  • 自動化與智能化：大模型可以應用於自動化任務，如智能客服、語音識別、圖像識別等，減少人工成本並提升效率。
  • 個性化服務：通過大模型實現個性化推薦系統，基於使用者歷史行為或偏好為其推薦個性化的產品或服務，提高客戶滿意度和轉化率。
  • 預測與最佳化：利用大模型對歷史資料進行分析，預測未來趨勢，最佳化生產計畫、庫存管理等業務環節。
  • 業務流程改進：利用大模型分析當前業務流程中的瓶頸和效率低下的環節，提出改進措施，最佳化資源配置。
實際應用案例：業務流程解構與企業大模型應用

案例 1：智能客服系統最佳化

1. 業務流程分析

  • 現有流程

客戶通過電話或線上管道聯絡客服，人工客服接聽後處理問題。高峰時段，客服人員處理請求的速度較慢，且重複性問題佔比高。

  • 問題分析
    • 客服響應時間長，客戶體驗差。
    • 高重複性問題，人工客服效率低。
    • 客服人員壓力大，缺乏足夠的資源。

2. 價值流圖繪製

  • 關鍵流程

客戶請求 -> 人工客服接聽 -> 問題解決 -> 客戶反饋

  • 問題識別

高峰期間等待時間長，人工客服需要處理大量重複問題，缺乏自動化支援。

  • 改進點

引入自動化工具（如智能客服）減少人工干預，提升響應速度。

3. 應用大模型

  • 自然語言處理（NLP）

使用大語言模型（如GPT）建構智能客服系統，支援自然語言理解和生成，自動回答常見問題。

  • 工作流
    • 使用NLP識別客戶請求意圖並進行分類。
    • 常見問題通過智能問答系統自動解答。
    • 將複雜或不常見問題轉接給人工客服。
  • 結果
    • 客服響應時間減少50%，客戶滿意度提高。
    • 人工客服壓力減輕，更多精力投入到複雜問題處理上。

案例 2：智能供應鏈與需求預測最佳化

1. 業務流程分析

  • 現有流程

企業生產與庫存管理依賴傳統的預測模型，按月或季度調整生產計畫，庫存管理不精確，容易造成庫存積壓或缺貨。

  • 問題分析
    • 生產計畫與實際需求不匹配，導致產能浪費或供應短缺。
    • 庫存管理不精準，影響現金流和營運成本。

2. 價值流圖繪製

  • 關鍵流程

需求預測 -> 生產計畫 -> 原材料採購 -> 產品生產 -> 倉庫管理 -> 客戶交付

  • 問題識別

傳統需求預測精度低，庫存管理滯後，無法快速響應市場變化。

3. 應用大模型

  • 機器學習模型

利用歷史銷售資料、市場趨勢和季節性變化等因素，應用大模型提高需求預測精度。

  • 工作流
    • 使用AI進行資料分析和需求預測。
    • 自動調整生產排程和採購計畫。
    • 基於預測結果動態調整庫存管理策略。
  • 結果
    • 需求預測準確率提高20%，庫存積壓減少30%。
    • 生產和採購計畫更加精準，營運成本降低。

案例 3：智能生產線質量控制

1. 業務流程分析

  • 現有流程

生產線上的產品質量由人工檢測，人工檢測存在判斷失誤和效率低的問題，特別是在高產量情況下，無法及時發現質量問題。

  • 問題分析
    • 質量檢測依賴人工，容易漏檢或誤判。
    • 高生產速度下無法保證每個產品都得到充分檢查，導致次品流入市場。

2. 價值流圖繪製

  • 關鍵流程

原材料入庫 -> 生產加工 -> 質量檢查 -> 產品包裝 -> 交付

  • 問題識別

人工檢查的精準性和效率無法滿足生產需求，生產質量無法穩定控制。

3. 應用大模型

  • 電腦視覺

使用視覺大模型進行產品質量檢測，自動識別產品缺陷。

  • 工作流
    • 使用大模型對生產線上每個產品進行圖像識別，即時監控產品表面缺陷。
    • 對有缺陷的產品進行標記，及時移出生產線，避免流入市場。
    • AI即時反饋生產資料給生產線控制系統，最佳化生產流程。
  • 結果
    • 質量檢測精度提升至99%，次品率減少80%。
    • 整體生產效率提升30%，減少了人工檢測的誤差和漏檢問題。

總結

這三個案例展示了如何通過大模型最佳化企業業務流程。智能客服、供應鏈最佳化和生產線質量控制是大模型應用的重要領域，通過自動化、預測和最佳化，企業能夠提高效率、降低成本，並提供更好的客戶體驗。通過結合大模型的強大能力，企業可以快速應對變化，提升競爭力。

成功落地大模型五要素

成功落地大模型五要素：

  1. 業務人員的積極
  2. 對 AI 能力的認知
  3. 業務團隊自帶程式設計能力
  4. 小處著手
  5. 老闆的耐心

如何找到落地場景

找落地場景的思路：

  1. 從最熟悉的領域入手
  2. 儘量找能用語言描述的任務
  3. 別求大而全。將任務拆解，先解決小任務、小場景
  4. 讓 AI 學最厲害員工的能力，再讓 ta 輔助其他員工，實現降本增效

思考：你的業務中，有那些問題可能 AI 能解決？

工作機會在那裡？

首先要知道：純大模型崗位幾乎是不存在的。

可選：

  1. 獨立開發者/創業
  2. 有科技屬性的公司幾乎所有崗位
  3. 傳統企業跑通 AI 工作流，找全端工程師定製化開發
大模型是怎樣工作的？

通俗原理

其實，它只是根據上文，猜下一個詞（的機率）……

OpenAI 的介面名就叫「completion」，也證明了其只會「生成」的本質。

下面用程序演示「生成下一個字」。你可以自己修改 prompt 試試。還可以使用相同的 prompt 運行多次。

from openai import OpenAI

from dotenv import load_dotenv, find_dotenv

_ = load_dotenv(find_dotenv())

client = OpenAI()

#prompt = "今天我很"  # 改我試試

prompt = "下班了，今天我很"

#prompt = "放學了，今天我很"

#prompt = "AGI 實現了，今天我很"

response = client.chat.completions.create(       

model="gpt-4o-mini",       

messages=[{"role": "user", "content": prompt}],       

stream=True

)

# 處理並列印流式響應內容

for chunk in response:

print(f"\033[34m{chunk.choices[0].delta.content or''}\033[0m", end="")

略深一點的通俗原理

訓練和推理是大模型工作的兩個核心過程。

用人類比，訓練就是學，推理就是用。學以致用，如是也。

例如，有下面訓練資料：

  1. AI 正在改變我們的生活方式。
  2. AI 技術在醫療領域有廣泛應用。
  3. AI 可以提高企業的生產效率。
  4. AI 演算法能夠預測市場趨勢。
  5. AI 在自動駕駛汽車中扮演重要角色。
  6. AI 有助於個性化教育的發展。
  7. AI 機器人可以執行複雜的任務。
  8. AI 技術正在推動智能家居的普及。
  9. AI 在金融分析中發揮著關鍵作用。
  10. AI 技術正逐步應用於藝術創作。

「AI」之後出現「技」的機率大於其它字。這些字之間的機率關係，就是大模型訓練時學到的。

用不嚴密但通俗的語言描述原理：

訓練：

  1. 大模型閱讀了人類說過的所有的話。這就是「機器學習」
  2. 訓練過程會把不同 token 同時出現的機率存入「神經網路」檔案。保存的資料就是「參數」，也叫「權重」

推理：

  1. 我們給推理程序若干 token，程序會載入大模型權重，算出機率最高的下一個 token 是什麼
  2. 用生成的 token，再加上上文，就能繼續生成下一個 token。以此類推，生成更多文字

Token 是什麼？

  1. 可能是一個英文單詞，也可能是半個，三分之一個
  2. 可能是一個中文詞，或者一個漢字，也可能是半個漢字，甚至三分之一個漢字
  3. 大模型在開訓前，需要先訓練一個 tokenizer 模型。它能把所有的文字，切成 token

1 個英文字元 ≈ 0.3 個 token。 1 個中文字元 ≈ 0.6 個 token。

思考：

  1. AI 做對的事，怎麼用這個原理解釋？
  2. AI 的幻覺，一本正經地胡說八道，怎麼用這個原理解釋？

再深一點點

  • 這套生成機制的核心叫「Transformer 架構」
  • Transformer 是目前人工智慧領域最廣泛流行的架構，被用在各個領域

機器學習 ≈ 機器自動找一個函數

函數的參數

找出函數的三步驟

Transformer在做一個什麼事情？

標量、向量、矩陣、張量的關係

  • 點——標量（scalar）
  • 線——向量（vector）
  • 面——矩陣（matrix）
  • 體——張量（tensor）

Embedding是什麼？

假設我們有一個句子：“The cat sat”

Transformer核心：注意力機制

注意力機制中的Q、K、V

用好 AI 的核心心法

OpenAI 首席科學家 Ilya Sutskever 說過：

數字神經網路和人腦的生物神經網路，在數學原理上是一樣的。

所以，我們要：

把 AI 當人看
把 AI 當人看
把 AI 當人看

凱文·凱利說了類似的觀點：「和人怎麼相處，就和 AI 怎麼相處。」

  1. 用「當人看」來理解 AI
  2. 用「當人看」來控制 AI
  3. 用「當人看」來說服別人正確看待 AI 的不足

當什麼人呢？

  1. 學習時當老師
  2. 工作時當助手
  3. 休閒時當朋友

這是貫徹整門課的心法，乃至我們與 AI 相伴的人生的心法。

使用大模型的好習慣： - 使用大模型，不同的話題要開啟新的會話； - 明確指令和問題：儘量使問題或指令簡潔明確，避免多重含義或複雜結構，幫助模型更好理解和響應。 - 分步進行：如果問題複雜，可以將問題拆解成幾個小問題，逐步處理。這不僅能提高精準度，還能避免模型處理過於龐大的資訊。 - 上下文保留：在多個會話中，如果需要參考之前的對話，可以適當提及或複述關鍵點，避免丟失上下文。 - 分配優先順序：針對多個任務或問題，可以為每個話題分配優先順序，先處理最重要或最緊急的內容。 - 適應模型的限制：瞭解模型的處理能力和上下文長度限制，避免在同一會話中輸入過長的文字，尤其是如果涉及大量資訊時，分割問題會更有效。 - 反饋循環：在與模型互動時，如果模型的回答不完全或不符合預期，可以及時提供反饋和補充說明，讓模型逐步最佳化回答。 - 使用特定的格式或範本：如果是處理特定類型的任務或問題（如程式碼、數學問題、寫作任務），可以為輸入提供特定的格式或範本，以幫助模型更準確地理解任務需求。

課堂實驗：你提個 AI 相關問題，我來用人類比

大模型技術的短板

  • 對時效性內容的處理：

由於大型模型通常在某個時間點之前的資料上訓練，它們可能無法處理最新的事件或資訊。例如，對於最近發生的新聞事件或新興的流行文化現象，模型可能缺乏理解，GPT4最近最新2023年4月。

  • 幻覺、不精準性和濫用風險：

大型模型可能產生“幻覺”，即提供錯誤但看似合理的文字。這可能導致誤資訊的傳播，甚至被用於非法或不道德目的。例如，惡意使用者可能利用模型生成看似來自可信出版物的文章，作為假新聞傳播。

  • 泛化能力的侷限性：

泛化能力指的是一個模型在處理新的、未見過的資料時的表現能力雖然大型模型在多個任務上表現出色，但在處理特定、罕見或新穎的情況時可能表現不佳

  • 難以解釋和透明性差：

大型模型通常是“黑箱”，即使是模型的開發者也無法完全理解模型是如何配置自身以產生文字的。這導致瞭解釋或解釋AI/ML演算法的新框架的發展，但由於模型規模的增大，解釋性AI/ML方法變得日益複雜。

大模型應用產品架構

Agent 模式還太超前，Copilot 是當前主流。

實現 Copilot 的主流架構是多 Agent 工作流

模仿人做事，將業務拆成工作流（workflow、SOP、pipeline）

  • 每個 Agent 負責一個工作流節點

大模型應用技術架構

大模型應用技術特點：門檻低，天花板高。

純 Prompt

  • Prompt 是操作大模型的唯一介面
  • 當人看：你說一句，ta 回一句，你再說一句，ta 再回一句……

Agent + Function Calling

  • Agent：AI 主動提要求
  • Function Calling：AI 要求執行某個函數
  • 當人看：你問 ta「我明天去杭州出差，要帶傘嗎？」，ta 讓你先看天氣預報，你看了告訴 ta，ta 再告訴你要不要帶傘

RAG（Retrieval-Augmented Generation）

Embeddings：把文字轉換為更易於相似度計算的編碼。這種編碼叫

  • 向量
  • 向量資料庫：把向量存起來，方便尋找
  • 向量搜尋：根據輸入向量，找到最相似的向量
  • 當人看：考試答題時，到書上找相關內容，再結合題目組成答案，然後，就都忘了

Fine-tuning（精調/微調）

當人看：努力學習考試內容，長期記住，活學活用。

如何選擇技術路線

面對一個需求，如何開始，如何選擇技術方案？下面是個不嚴謹但常用思路。

其中最容易被忽略的，是準備測試資料

值得嘗試 Fine-tuning 的情況：

  1. 提高模型輸出的穩定性
  2. 使用者量大，降低推理成本的意義很大
  3. 提高大模型的生成速度
  4. 需要私有部署

如何選擇基礎模型

凡是問「那個大模型最好？」的，都是不懂的。

不妨反問：「有無論做什麼，都表現最好的員工嗎？」

劃重點：沒有最好的大模型，只有最適合的大模型

基礎模型選型，合規和安全是首要考量因素。

然後用測試資料，在可以選擇的模型裡，做測試，找出最合適的。

為什麼不要依賴榜單？

  • 榜單已被應試教育污染。唯一還算值得相信的榜單：LMSYS Chatbot Arena Leaderboard
  • 榜單體現的是整體能力。放到一件具體事情上，排名低的可能反倒更好
  • 榜單體現不出成本差異

本課程主打語言是 Python，因為：

  1. Python 和 AI 是天生一對
  2. Python 是最容易學習的程式語言

安裝 OpenAI Python 庫

在命令列執行：

pip install --upgrade openai

發一條消息

體驗給大模型注入新知識的程式碼竟如此簡單。

from openai import OpenAI
# 載入 .env 檔案到環境變數
from dotenv import load_dotenv, find_dotenv
_ = load_dotenv(find_dotenv())
# 初始化 OpenAI 服務。會自動從環境變數載入 OPENAI_API_KEY 和 OPENAI_BASE_URL
client = OpenAI()
# 消息
messages = [    
{
"role": "system",
"content": "你是AI助手小瓜，是 AGIClass.ai 的助教。這門課每周二、四上課。"# 注入新知識    },    {"role": "user",
"content": "周末上課嗎？"# 問問題。可以改改試試    
},
]
# 呼叫 GPT-4o-mini 模型
chat_completion = client.chat.completions.create(    
model="gpt-4o-mini",    
messages=messages
)
# 輸出回覆
print(chat_completion.choices[0].message.content)

DeepSeek本地部署和應用

  • ollama
  • docker 桌面版
  • open-webui 版本：dyrnq/open-webui:latest
  • DeepSeek本地部署實戰演示

未來展望

大模型競爭的過程繼續白熱化，第一將會不斷輪流切換

  • 多模態大模型將更加成熟，大模型的價格將不斷走低
  • 大模型應用開發才是未來最值的關注的方向，應用為王

作業

發掘自己身邊的大模型落地場景， 撰寫自己的大模型應用構想，要求給出需求說明和期望的效果。 (金信融息)