計算機行業專題：大語言模型的前世、今生與未來.pdf

計算機行業專題：大語言模型的前世、今生與未來。大語言模型：NLP 技術的奇點時刻。語言模型的核心是對任意一段文本序 列進行概率建模，用一個高維向量來表示一個 token 的全部特征。我們將深度 學習應用于 NLP 領域的范式轉移總結為"有監督的機器學習->預訓練+微調-> 預訓練+提示"。其中，ChatGPT 的橫空出世開啟了“預訓練+提示”的新范式， 這主要得益于 OpenAI 對生成類模型（GPT）和算法規模化（Scalability）這兩 個基礎技術路線的成功押注，大語言模型“涌現”出了解決復雜問題的通用能 力，催生了本輪全球范圍內的生成式 AI 浪潮。

大模型應用：數據感知與代理能力。如何將個人的個性化私有數據和企業 多年積累的行業專有知識嫁接到大模型的通用能力上，是大模型在垂直領域 商業化落地的核心技術問題。我們在報告中詳細列舉了三種目前業內主流的 實踐方法，并對其優劣進行了比較分析。除了獲取外部數據外，通過增加代理 能力（Agent），讓大語言模型具備自主理解、規劃、執行復雜任務的能力，同 時與計算機內部環境，甚至物理世界進行交互，這也將顯著打開大模型應用的 想象空間。此外，我們認為提升模型支持的上下文長度是應用創新的關鍵靶 點，模型小型化也將助力大模型應用的商業化落地。

應用分析框架：通用能力與外部能力的組合。大模型應用可以被總結為， 在基座模型的通用能力上，疊加一些其他的可實現的外部能力，這就包括上述 的數據感知（可連接其他外部數據源）和代理能力（允許大模型與環境互動）。 根據這一范式，我們可以將現階段大模型的應用邊界歸納為通用認知能力與 上述兩種外部能力的排列組合。基于此，展望未來大模型新應用的靶點可總結 為：①通用能力的增強（上下文長度、復雜推理、數學、代碼、多模態等）、 ②外部能力的擴充（處理非結構化數據、使用更復雜的工具、與物理世界的交 互等）