📝 換一個支援 64K+ 上下文的模型

AI
編輯檔案 返回列表

這個錯誤很清楚，問題是 qwen2.5:7b 的上下文視窗只有 32,768 tokens，但 Hermes Agent 要求至少 64,000 tokens。

以下是解決方法：

方法一 — 換一個支援 64K+ 上下文的模型（推薦）

先用 Ollama 下載較大的模型：

 
 
bash
ollama pull llama3.1:8b

然後修改 config.yaml：

 
 
yaml
auxiliary:
  compression:
    model: llama3.1:8b

常見支援 64K+ 的模型選擇：

  • llama3.1:8b（128K）
  • qwen2.5:14b（128K）
  • mistral-nemo（128K）

方法二 — 強制覆蓋上下文長度

如果您的 qwen2.5:7b 其實已設定更大的 num_ctx，可以直接告訴 Agent 忽略偵測到的值：

 
 
yaml
auxiliary:
  compression:
    model: qwen2.5:7b
    context_length: 65536

方法三 — 在 Ollama 中設定更大的 num_ctx

 
 
bash
ollama run qwen2.5:7b --num-ctx 65536

或建立一個 Modelfile：

 
 
FROM qwen2.5:7b
PARAMETER num_ctx 65536

最快的解法是方法一，直接換成 llama3.1:8b。請問您知道 config.yaml 在哪個路徑嗎？我可以幫您確認設定。