意义
上下文窗口的大小直接决定了模型的“短期记忆”能力。- 窗口小（如 4k, 8k）： 模型记不住太久之前的对话，适合短对话或简单任务。
- 窗口大（如 128k, 1M, 2M）： 模型可以阅读整本书、分析长篇财报、处理超长代码库，或者维持长达数小时的深度对话。
滑动窗口
当对话内容超过了上下文窗口的限制时，模型通常会采用“滑动窗口”机制，即遗忘最早的内容，以便腾出空间给最新的内容。这意味着前面的对话信息会丢失。常见模型的窗口大小
- GPT-4o: 128k
- Claude 3.5 Sonnet: 200k
- Gemini 1.5 Pro: 1M ~ 2M
- Llama 3: 8k ~ 128k