Apple WWDC背後的技術, 例如邊緣推理是如何實現的, 使用者隱私怎麼保護的. 這個問題非常關鍵, 你看Musk對當前的邊緣推理和Private Cloud Compute並沒有反對, 只是反對OAI在OS Level呼叫API. 另一個層面來看,本質上Apple已經建構好了一個LLM OS的雛形. 那麼我們就來詳細探索一下Apple邊緣推理的實現,然後我在五六年前也因為GDPR等合規需求,當時在Cisco也實現了一套邊緣推理框架, 因此後面會給一點我個人的經驗和建議, 特別是雲端推理如何使用公有雲的問題以及端側模型個性化的問題, 最後留了一個彩蛋~嘻嘻~ 1. Apple 邊緣推理框架 1.1 端側模型