MemGPT:把大语言模型当作操作系统(原文:MemGPT: Towards LLMs as Operating Systems)#

摘要(Abstract)#

大语言模型(large language models,LLMs)已经彻底改变了人工智能,但却受到有限上下文窗口(context window)的制约,这阻碍了它们在长对话、文档分析等任务中的效用。为了能够使用超出有限上下文窗口之外的上下文,我们提出了虚拟上下文管理(virtual context management)技术——这一技术借鉴了传统操作系统中分层内存系统(hierarchical memory system)的思想:传统操作系统通过在物理内存与磁盘之间进行分页(paging),提供了扩展虚拟内存(virtual memory)的幻觉。

基于这一技术,我们推出了 MemGPT(MemoryGPT):一个智能地管理不同存储层级、从而在 LLM 有限的上下文窗口内有效提供扩展上下文的系统。

我们在两个领域中评估了这一受操作系统启发的设计,而现代 LLM 的有限上下文窗口在这两个领域中都严重制约了其性能:一是文档分析(document analysis),MemGPT 能够分析远超底层 LLM 上下文窗口的大型文档;二是多会话聊天(multi-session chat),MemGPT 可以构建出在长期与用户交互中记住信息、进行反思并动态演化的对话智能体(conversational agent)。

我们在 https://research.memgpt.ai 发布了 MemGPT 的代码与实验数据。

关键词 Learning, ICML(机器学习、国际机器学习大会——译者注:此为 arXiv 收录元数据)

1 引言(Introduction)#

近年来,大语言模型及其底层的 Transformer 架构(Vaswani 等人,2017;Devlin 等人,2018;Brown 等人,2020;Ouyang 等人,2022)已成为对话式 AI 的基石,并催生了大量消费级与企业级应用。尽管取得了这些进展,LLM 所使用的固定长度的有限上下文窗口,仍然显著制约了其在长对话或长文档推理方面的适用性。例如,最广泛使用的开源 LLM 只能支持几十轮来回消息、或对一篇短文进行推理,之后便会超出其最大输入长度(Touvron 等人,2023)。

直接扩展 Transformer 的上下文长度,会因 Transformer 架构的自注意力(self-attention)机制而带来计算时间与内存成本的平方级增长,这使得设计新的长上下文架构成为一个迫切的研究挑战(Dai 等人,2019;Kitaev 等人,2020;Beltagy 等人,2020)。虽然开发更长的模型是一个活跃的研究方向(Dong 等人,2023),但即便我们能够克服上下文扩展的计算挑战,最近的研究也表明:长上下文模型难以有效利用额外增加的上下文(Liu 等人,2023a)。因此,考虑到训练最先进的 LLM 需要投入巨额资源,而上下文扩展又面临收益递减,亟需能够支持长上下文的替代技术。

在本文中,我们研究如何在继续使用固定上下文模型的同时,提供一种”无限上下文”的幻觉。我们的方法借鉴了虚拟内存分页(virtual memory paging)的思想——该技术当初正是为了支持应用程序处理远超可用内存的数据集而开发的:通过在主存与磁盘之间分页数据来达成这一目标。我们利用 LLM 智能体(agent)在函数调用(function calling)能力方面的最新进展(Schick 等人,2023;Liu 等人,2023b)来设计 MemGPT——一个受操作系统启发、用于虚拟上下文管理的 LLM 系统。

借助函数调用,LLM 智能体可以读写外部数据源、修改自身上下文,并自主决定何时向用户返回响应。这些能力使 LLM 能够在上下文窗口(类似于操作系统中的”主存”)与外部存储之间有效地”换入/换出”(page in/out)信息,其方式类似于传统操作系统中的分层内存。此外,函数调用还可用于管理上下文管理、响应生成与用户交互之间的控制流(control flow)。这使得智能体能够针对单个任务选择迭代式地修改自身上下文中的内容,从而更有效地利用其有限的上下文。

在 MemGPT 中,我们把上下文窗口视为一种受限的内存资源,并为 LLM 设计了一种与传统操作系统中使用的内存层级(Patterson 等人,1988)相类似的内存层次结构。传统操作系统中的应用与虚拟内存交互:操作系统将溢出数据分页到磁盘,并在应用访问时(通过缺页,page fault)将数据取回内存,从而营造出一种”可用的内存资源比物理(即主)内存中实际存在的更多”的幻觉。为了提供类似的更长上下文长度的幻觉(类比于虚拟内存),我们允许 LLM 通过一个”LLM 操作系统”来管理放入其自身上下文(类比于物理内存)中的内容,我们称之为 MemGPT。MemGPT 使 LLM 能够检索上下文中缺失的相关历史数据,也能将相关性较低的数据从上下文中逐出、写入外部存储系统。

图 3 展示了 MemGPT 的各个组件。

图 1(左)在收到关于上下文空间受限的系统警报后,将数据写入持久化记忆。

内存层次结构、操作系统式函数与基于事件的控制流的结合使用,使得 MemGPT 能够利用上下文窗口有限的 LLM 来处理无界上下文。为了展示我们这一新的受操作系统启发的 LLM 系统的实用性,我们在两个领域中对 MemGPT 进行了评估——在这两个领域中,现有 LLM 的性能都被有限上下文严重制约:一是文档分析,标准文本文件的长度可能迅速超出现代 LLM 的输入容量;二是对话智能体,受有限对话窗口束缚的 LLM 在长时间对话中缺乏上下文感知、人设(persona)一致性以及长期记忆。

在这两种场景下,MemGPT 都能够克服有限上下文的局限,胜过现有的基于 LLM 的方法。

图 2(左)可以搜索上下文之外的数据,将相关信息带入当前上下文窗口。

图 3:在 MemGPT 中,固定上下文的 LLM 处理器(processor)被增强以层次化内存系统以及使其能够管理自身记忆的函数。LLM 的提示令牌(prompt tokens,即输入),或称主上下文(main context),由系统指令、工作上下文与一个 FIFO 队列组成。LLM 的补全令牌(completion tokens,即输出)由函数执行器(function executor)解释为函数调用。MemGPT 使用函数在主上下文与外部上下文(external context,即归档存储与召回存储两个数据库)之间移动数据。LLM 可以在其输出中生成一个特殊的关键字参数(request_heartbeat=true)来请求立即进行后续的 LLM 推理,从而将函数调用串联起来;正是函数链式调用(function chaining)使 MemGPT 能够执行多步检索来回答用户查询。

2 MemGPT(MemoryGPT)#

MemGPT 受操作系统启发的多级内存架构在两种主要内存类型之间做了区分:主上下文(main context,类比于主存/物理内存/RAM)与外部上下文(external context,类比于磁盘内存/磁盘存储)。主上下文由 LLM 的提示令牌构成——主上下文中的任何内容都被视为”在上下文内”(in-context),在推理期间可被 LLM 处理器访问。外部上下文指保存在 LLM 固定上下文窗口之外的任何信息。这些上下文之外的数据必须始终被显式移入主上下文,才能在推理时传给 LLM 处理器。MemGPT 提供了一系列函数调用,使 LLM 处理器无需任何用户干预即可管理自身的内存。

3 实验(Experiments)#

我们在两个长上下文领域中对 MemGPT 进行评估:对话智能体与文档分析。对于对话智能体,我们扩展了现有的多会话聊天(Multi-Session Chat,MSC)数据集(Xu 等人,2021),并引入了两个新的对话任务,用于评估智能体在长对话中保留知识的能力。对于文档分析,我们在 Liu 等人(2023a)提出的既有任务上对 MemGPT 进行基准测试,包括长文档上的问答与键值检索任务。我们还提出了一个新的嵌套键值检索任务,它要求跨多个数据源汇总信息,用于测试智能体汇总来自多个数据源的信息(即多跳检索,multi-hop retrieval)的能力。我们公开发布扩展后的 MSC 数据集、嵌套键值检索数据集,以及 2000 万篇 Wikipedia 文章的嵌入数据集,以促进未来的研究。我们的基准测试代码见 https://research.memgpt.ai。

**实现细节。**在讨论 OpenAI 模型时,除非另有说明,“GPT-4 Turbo”指具体的 gpt-4-1106-preview 模型端点(上下文窗口为 $128{,}000$),“GPT-4”指 gpt-4-0613(上下文窗口为 $8{,}192$),“GPT-3.5 Turbo”指 gpt-3.5-turbo-1106(上下文窗口为 $16{,}385$)。在实验中,我们用所有基线模型(GPT-4、GPT-4 Turbo 与 GPT 3.5)来运行 MemGPT,以展示底层模型性能如何影响 MemGPT 的表现。

4 相关工作(Related Work)#

**长上下文 LLM。**已有若干研究方向改善了 LLM 的上下文长度。例如,通过稀疏化注意力实现更高效的 Transformer 架构(Child 等人,2019;Beltagy 等人,2020)、低秩近似(Wang 等人,2020)与神经记忆(Lee 等人,2019)。另一个方向旨在把上下文窗口扩展到其原始训练长度之外,如 Press 等人(2021)、Chen 等人(2023)。MemGPT 建立在这些上下文长度改进的基础之上——因为它们扩大了 MemGPT 中”主内存”的规模。我们的主要贡献是一个分层的内存结构,它使用长上下文 LLM 作为主内存的实现。

**检索增强模型。**MemGPT 外部记忆的设计建立在许多先前工作的基础之上,这些工作利用外部检索器为 LLM 补充相关输入(Ram 等人,2023;Borgeaud 等人,2022;Karpukhin 等人,2020;Lewis 等人,2020;Guu 等人,2020;Lin 等人,2023)。特别是,Jiang 等人(2023)提出了 FLARE——一种允许 LLM 在生成过程中主动决定何时检索、检索什么的方法。Trivedi 等人(2022)将检索与思维链(Chain-of-Thought)推理交错进行,以改进多步问答。

**LLM 作为智能体。**最近的工作探索了为 LLM 增强额外能力,使其在交互式环境中充当智能体。Park 等人(2023)提出为 LLM 增加记忆并将 LLM 用作规划器(planner),并在一个多智能体沙盒环境(灵感来自电子游戏《模拟人生》)中观察到涌现的社交行为——其中的智能体可以执行做家务/培养爱好、上班、与其他智能体交谈等基本活动。Nakano 等人(2021)训练模型在回答问题前先搜索网页,并在其网页浏览环境中使用了与 MemGPT 类似的分页概念,以控制底层上下文的大小。Yao 等人(2022)表明,交错进行思维链推理(Wei 等人,2022)可以进一步提升基于 LLM 的交互式智能体的规划能力;与之类似,在 MemGPT 中,LLM 在执行函数时能够”出声思考”(plan out loud)。Liu 等人(2023b)引入了一套”LLM 即智能体”的基准,用于在交互式环境中评估 LLM,包括电子游戏、思维谜题与网页购物等。相比之下,我们的工作聚焦于解决这样一个问题:为智能体配备关于用户输入的长期记忆。

5 结论(Conclusion)#

在本文中,我们提出了 MemGPT——一个受操作系统启发、用于管理大语言模型有限上下文窗口的新型 LLM 系统。通过设计与传统操作系统相类似的内存层次结构与控制流,MemGPT 为 LLM 提供了更大上下文资源的幻觉。这一受操作系统启发的方法在两个领域中得到了评估——在这两个领域中,现有 LLM 的性能都受限于有限的上下文长度:文档分析与对话智能体。在文档分析方面,MemGPT 通过有效地将相关上下文换入/换出内存,能够处理远超当前 LLM 上下文极限的长文本;在对话智能体方面,MemGPT 能够在长时间对话中维持长期记忆、一致性与可演化性。总体而言,MemGPT 表明:分层内存管理与中断(interrupt)等操作系统技术,即便在 LLM 受固定上下文长度约束的情况下,也能释放其潜力。这项工作为未来的探索开辟了许多途径,包括将 MemGPT 应用于其他具有海量或无界上下文的领域、集成数据库或缓存等不同的内存层级技术,以及进一步改进控制流与内存管理策略。通过将操作系统架构的概念引入 AI 系统,MemGPT 代表了在 LLM 的根本限制之内最大化其能力的一个有前景的新方向。

参考文献(References)#

Beltagy et al. (2020) — Iz Beltagy, Matthew E Peters, and Arman Cohan. 《Longformer:长文档 Transformer》(Longformer: The long-document transformer). arXiv preprint arXiv:2004.05150, 2020. arXiv:2004.05150

Borgeaud et al. (2022) — Sebastian Borgeaud, Arthur Mensch, Jordan Hoffmann, Trevor Cai, Eliza Rutherford, Katie Millican, George Bm Van Den Driessche, Jean-Baptiste Lespiau, Bogdan Damoc, Aidan Clark, et al. 《通过从数万亿令牌中检索来改进语言模型》(Improving language models by retrieving from trillions of tokens). In International conference on machine learning, pp. 2206–2240. PMLR, 2022.

Brown et al. (2020) — Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. 《语言模型是小样本学习者》(Language models are few-shot learners). Advances in neural information processing systems, 33:1877–1901, 2020.

Chen et al. (2023) — Shouyuan Chen, Sherman Wong, Liangjian Chen, and Yuandong Tian. 《通过位置插值扩展大语言模型的上下文窗口》(Extending context window of large language models via positional interpolation). arXiv preprint arXiv:2306.15595, 2023. arXiv:2306.15595

Child et al. (2019) — Rewon Child, Scott Gray, Alec Radford, and Ilya Sutskever. 《用稀疏 Transformer 生成长序列》(Generating long sequences with sparse transformers). arXiv preprint arXiv:1904.10509, 2019. arXiv:1904.10509

Dai et al. (2019) — Zihang Dai, Zhilin Yang, Yiming Yang, Jaime Carbonell, Quoc V Le, and Ruslan Salakhutdinov. 《Transformer-XL:超越固定长度上下文的注意力语言模型》(Transformer-XL: Attentive language models beyond a fixed-length context). arXiv preprint arXiv:1901.02860, 2019. arXiv:1901.02860

Devlin et al. (2018) — Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. 《BERT:面向语言理解的深度双向 Transformer 预训练》(BERT: Pre-training of deep bidirectional transformers for language understanding). arXiv preprint arXiv:1810.04805, 2018. arXiv:1810.04805

Dong et al. (2023) — Zican Dong, Tianyi Tang, Lunyi Li, and Wayne Xin Zhao. 《基于 Transformer 的长文本建模综述》(A survey on long text modeling with transformers). arXiv preprint arXiv:2302.14502, 2023. arXiv:2302.14502

Guu et al. (2020) — Kelvin Guu, Kenton Lee, Zora Tung, Panupong Pasupat, and Mingwei Chang. 《检索增强的语言模型预训练》(Retrieval augmented language model pre-training). In International conference on machine learning, pp. 3929–3938. PMLR, 2020.

Izacard & Grave (2020) — Gautier Izacard and Edouard Grave. 《利用生成模型结合段落检索进行开放域问答》(Leveraging passage retrieval with generative models for open domain question answering). arXiv preprint arXiv:2007.01282, 2020. arXiv:2007.01282

Izacard et al. (2021) — Gautier Izacard, Mathilde Caron, Lucas Hosseini, Sebastian Riedel, Piotr Bojanowski, Armand Joulin, and Edouard Grave. 《基于对比学习的无监督稠密信息检索》(Unsupervised dense information retrieval with contrastive learning). arXiv preprint arXiv:2112.09118, 2021. arXiv:2112.09118

Jiang et al. (2023) — Zhengbao Jiang, Frank F Xu, Luyu Gao, Zhiqing Sun, Qian Liu, Jane Dwivedi-Yu, Yiming Yang, Jamie Callan, and Graham Neubig. 《主动检索增强生成》(Active retrieval augmented generation). arXiv preprint arXiv:2305.06983, 2023. arXiv:2305.06983

Karpukhin et al. (2020) — Vladimir Karpukhin, Barlas Oğuz, Sewon Min, Patrick Lewis, Ledell Wu, Sergey Edunov, Danqi Chen, and Wen-tau Yih. 《面向开放域问答的稠密段落检索》(Dense passage retrieval for open-domain question answering). arXiv preprint arXiv:2004.04906, 2020. arXiv:2004.04906

Kitaev et al. (2020) — Nikita Kitaev, Łukasz Kaiser, and Anselm Levskaya. 《Reformer:高效的 Transformer》(Reformer: The efficient transformer). arXiv preprint arXiv:2001.04451, 2020. arXiv:2001.04451

Lee et al. (2019) — Juho Lee, Yoonho Lee, Jungtaek Kim, Adam Kosiorek, Seungjin Choi, and Yee Whye Teh. 《集合 Transformer:基于注意力的置换不变神经网络框架》(Set Transformer: A framework for attention-based permutation-invariant neural networks). In International conference on machine learning, pp. 3744–3753. PMLR, 2019.

Lewis et al. (2020) — Patrick Lewis, Ethan Perez, Aleksandra Piktus, Fabio Petroni, Vladimir Karpukhin, Naman Goyal, Heinrich Küttler, Mike Lewis, Wen-tau Yih, Tim Rocktäschel, et al. 《面向知识密集型 NLP 任务的检索增强生成》(Retrieval-augmented generation for knowledge-intensive NLP tasks). Advances in Neural Information Processing Systems, 33:9459–9474, 2020.

Lin (2004) — Chin-Yew Lin. 《ROUGE:用于摘要自动评估的软件包》(ROUGE: A package for automatic evaluation of summaries). In Text summarization branches out, pp. 74–81, 2004.

Lin et al. (2023) — Xi Victoria Lin, Xilun Chen, Mingda Chen, Weijia Shi, Maria Lomeli, Rich James, Pedro Rodriguez, Jacob Kahn, Gergely Szilvasy, Mike Lewis, Luke Zettlemoyer, and Scott Yih. 《RA-DIT:检索增强的双重指令微调》(RA-DIT: Retrieval-augmented dual instruction tuning), 2023.

Liu et al. (2023a) — Nelson F Liu, Kevin Lin, John Hewitt, Ashwin Paranjape, Michele Bevilacqua, Fabio Petroni, and Percy Liang. 《迷失在中间:语言模型如何使用长上下文》(Lost in the middle: How language models use long contexts). arXiv preprint arXiv:2307.03172, 2023a. arXiv:2307.03172

Liu et al. (2023b) — Xiao Liu, Hao Yu, Hanchen Zhang, Yifan Xu, Xuanyu Lei, Hanyu Lai, Yu Gu, Hangliang Ding, Kaiwen Men, Kejuan Yang, et al. 《AgentBench:把 LLM 当作智能体来评估》(AgentBench: Evaluating LLMs as agents). arXiv preprint arXiv:2308.03688, 2023b. arXiv:2308.03688

Nakano et al. (2021) — Reiichiro Nakano, Jacob Hilton, Suchir Balaji, Jeff Wu, Long Ouyang, Christina Kim, Christopher Hesse, Shantanu Jain, Vineet Kosaraju, William Saunders, et al. 《WebGPT:带人类反馈的浏览器辅助问答》(WebGPT: Browser-assisted question-answering with human feedback). arXiv preprint arXiv:2112.09332, 2021. arXiv:2112.09332

Ouyang et al. (2022) — Long Ouyang, Jeffrey Wu, Xu Jiang, Diogo Almeida, Carroll Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, et al. 《用人类反馈训练语言模型遵循指令》(Training language models to follow instructions with human feedback). Advances in Neural Information Processing Systems, 35:27730–27744, 2022.

Park et al. (2023) — Joon Sung Park, Joseph C O’Brien, Carrie J Cai, Meredith Ringel Morris, Percy Liang, and Michael S Bernstein. 《生成式智能体:人类行为的交互式模拟》(Generative agents: Interactive simulacra of human behavior). arXiv preprint arXiv:2304.03442, 2023. arXiv:2304.03442

Patterson et al. (1988) — David A Patterson, Garth Gibson, and Randy H Katz. 《廉价磁盘冗余阵列(RAID)的案例》(A case for redundant arrays of inexpensive disks (RAID)). In Proceedings of the 1988 ACM SIGMOD international conference on Management of data, pp. 109–116, 1988.

Press et al. (2021) — Ofir Press, Noah A Smith, and Mike Lewis. 《短训练、长测试:带线性偏置的注意力可实现输入长度外推》(Train short, test long: Attention with linear biases enables input length extrapolation). arXiv preprint arXiv:2108.12409, 2021. arXiv:2108.12409

Ram et al. (2023) — Ori Ram, Yoav Levine, Itay Dalmedigos, Dor Muhlgay, Amnon Shashua, Kevin Leyton-Brown, and Yoav Shoham. 《上下文内检索增强语言模型》(In-context retrieval-augmented language models). arXiv preprint arXiv:2302.00083, 2023. arXiv:2302.00083

Schick et al. (2023) — Timo Schick, Jane Dwivedi-Yu, Roberto Dessì, Roberta Raileanu, Maria Lomeli, Luke Zettlemoyer, Nicola Cancedda, and Thomas Scialom. 《Toolformer:语言模型可以自学使用工具》(Toolformer: Language models can teach themselves to use tools). arXiv preprint arXiv:2302.04761, 2023. arXiv:2302.04761

Touvron et al. (2023) — Hugo Touvron, Louis Martin, Kevin Stone, Peter Albert, Amjad Almahairi, Yasmine Babaei, Nikolay Bashlykov, Soumya Batra, Prajjwal Bhargava, Shruti Bhosale, et al. 《Llama 2:开源基础模型与微调聊天模型》(Llama 2: Open foundation and fine-tuned chat models). arXiv preprint arXiv:2307.09288, 2023. arXiv:2307.09288

Trivedi et al. (2022) — H. Trivedi, Niranjan Balasubramanian, Tushar Khot, and Ashish Sabharwal. 《将检索与思维链推理交错,用于知识密集型多步问题》(Interleaving retrieval with chain-of-thought reasoning for knowledge-intensive multi-step questions). ArXiv, abs/2212.10509, 2022. arXiv:2212.10509

Vaswani et al. (2017) — Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. 《注意力就是你所需要的一切》(Attention is all you need). Advances in neural information processing systems, 30, 2017.

Wang et al. (2020) — Sinong Wang, Belinda Z Li, Madian Khabsa, Han Fang, and Hao Ma. 《Linformer:线性复杂度的自注意力》(Linformer: Self-attention with linear complexity). arXiv preprint arXiv:2006.04768, 2020. arXiv:2006.04768

Wei et al. (2022) — Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Fei Xia, Ed Chi, Quoc V Le, Denny Zhou, et al. 《思维链提示激发大语言模型的推理能力》(Chain-of-thought prompting elicits reasoning in large language models). Advances in Neural Information Processing Systems, 35:24824–24837, 2022.

Xu et al. (2021) — Jing Xu, Arthur Szlam, and Jason Weston. 《超越金鱼记忆:长期开放域对话》(Beyond goldfish memory: Long-term open-domain conversation). arXiv preprint arXiv:2107.07567, 2021. arXiv:2107.07567

Yao et al. (2022) — Shunyu Yao, Jeffrey Zhao, Dian Yu, Nan Du, Izhak Shafran, Karthik Narasimhan, and Yuan Cao. 《ReAct:在语言模型中协同推理与行动》(ReAct: Synergizing reasoning and acting in language models). arXiv preprint arXiv:2210.03629, 2022. arXiv:2210.03629

Zheng et al. (2023) — Lianmin Zheng, Wei-Lin Chiang, Ying Sheng, Siyuan Zhuang, Zhanghao Wu, Yonghao Zhuang, Zi Lin, Zhuohan Li, Dacheng Li, Eric Xing, et al. 《用 MT-Bench 与 Chatbot Arena 评判”LLM 作为裁判”》(Judging LLM-as-a-judge with MT-Bench and Chatbot Arena). arXiv preprint arXiv:2306.05685, 2023. arXiv:2306.05685

6 附录(Appendix)#