AI 中的上下文視窗與代幣：簡單解釋

上下文視窗 和 代幣 是人工智能，尤其是大型語言模型 (LLM) 中的兩個基礎概念。了解這些概念將更能理解為什麼人工智慧模型一旦發展到足夠的程度似乎就會「忘記」會話的部分內容，以及為什麼複雜的提示可能會被模型誤解。

什麼是代幣？

在人工智能中，代幣是一個 資料單位 可能代表一個字元、單字或詞組。您可以將它視為模型用來建立答案的積木。通常，在英語中，每個 token 相當於 4 個字元，雖然這並非定律。其他語言有不同的 token 化等值，而且也可能取決於 AI 系統本身。

代幣的範例：

• 完整的詞彙 (「房子」、「貓」、「美妙」)
• 詞的部分（"un-""expect-""-ed）
• 個別字元（特別是標點符號，如「.」或「？）
• 字與字之間的空格

舉例來說，「我喜歡學習 AI！」這句話可能會被分解成像這樣的標記：

"I"
愛
「 學習」
「關於」
"AI"
“!”

代幣為何重要？

標記有助於 AI 系統更有效率地處理語言。它們不會試著去理解您可能輸入的每個單字，而是使用有限的代幣詞彙。這讓它們的工作更容易管理。

什麼是上下文視窗？

Context Windows 是某些機型會將您在對話中提供的資訊保留在記憶體中，然後再回答的限制。

上下文視窗代表 AI 模型在產生回應時，一次可以「看到」並考量多少文字（以文字單位衡量）。它包括

• 您目前的問題或要求
• 對話中的先前訊息
• 您分享的任何文件或資訊
• AI 自己先前的回應

為什麼上下文視窗很重要？

上下文視窗的重要性在於它們會影響輸出/答案的品質。比方說，人工智能的上下文視窗是 8000 個字元（約 6K 個字），它只能考慮這個數量的上下文來產生答案。在這個上下文視窗之外的所有內容，對人工智能來說實際上都是不可見的。

瞭解這些概念的一些實際好處：

• 如果您分析長 文件, 您可能需要在上下文視窗中進行總結，將其分割成較小的部分，然後對這些部分進行分析，並將重點放在重要部分上
• 適用於 創意寫作如果您正在編寫一個故事，您可能想要記錄上下文視窗的使用量，不時刷新對話內容，並總結之前的章節，以確保連續性，同時節省代幣。
• 適用於 打碼 專案中，您要確保只提供必要的情境以達成目標。身為一個使用 AI 程式設計的人，很容易就會偷懶，提供太多或太少關於您想要解決的問題的資訊。然而，這不會產生最佳的結果，甚至可能會對您造成更多的障礙。

使用上下文視窗的策略

1. 要簡潔： 清楚但有效率地溝通，以節省代幣。
2. 排定資訊的優先順序： 先包含最重要的細節。
3. 盡可能總結： 與其貼上整份文件，不如考慮分享一份包含重點的摘要。
4. 清理： 在長時間的對話中，當上下文變得雜亂無章，充斥著無關的資訊時，可以考慮重新開始。
5. 組織您的問題： 有條理、具體的問題有助於 AI 瞭解您的需求，而不需要額外的反覆詢問。

總結

在嘗試與 AI 合作時，代幣 (Tokens) 和情境視窗 (Context Windows) 是需要學習的重要概念。瞭解這些概念將有助於您與 AI 模型進行更好的溝通，充分發揮它們的潛力，並在它們的限制範圍內工作。隨著人工智慧技術的進步，情境視窗變得越來越大，代幣處理也變得更有效率，但這些概念仍是我們與人工智慧語言互動的核心。