Skip to main content

deployment

部署

您已经构建好了 LangChain 应用程序,并且现在想将其部署到生产环境?您来对地方了。本指南将为您介绍部署应用程序的选项以及进行部署时应考虑的问题。

概述

LangChain 是用于构建使用语言模型的应用程序的库。它不是 Web 框架,并且不提供任何用于通过 Web 提供服务的内置功能。相反,它提供了一组工具,您可以将其集成在 API 或后端服务器中。

部署应用程序有几个高级选项:

  • 部署到虚拟机或容器中

    • 持久化文件系统意味着你可以从磁盘中保存和加载文件

    • 永久运行的进程意味着你可以在内存中缓存一些东西

    • 你可以支持长时间运行的请求,例如WebSockets

  • 部署到无服务器环境

    • 没有持久化文件系统意味着你可以从磁盘中加载文件,但是不能将它们保存以备后用。

    • 冷启动意味着你不能在内存中缓存东西,并期望在请求之间被缓存。

    • 函数超时意味着你不能支持长时间运行的请求,例如WebSockets。

其他一些考虑事项包括:

  • 您将后端和前端一起部署还是分别部署?
  • 您将后端与数据库协同部署还是分别部署?

随着您将 LangChain 应用程序部署到生产环境,我们将非常乐意提供更全面的支持。请填写 此表格,我们将设置一个专门的支持 Slack 频道。

部署选项

请参阅以下有关 LangChain 应用程序部署选项的列表。如果您没有看到您首选的选项,请联系我们,我们可以将其添加到此列表中。

部署到 Fly.io

Fly.io 是将应用程序部署到云端的平台。这是将您的应用程序部署到容器环境的不错选择。

请参阅 我们的 Fly.io 模板 ,其中包含了将应用程序部署到 Fly.io 的示例。

部署到 Kinsta

Kinsta是一个以开发人员为中心的云主机平台。

使用我们的hello-world模板,了解如何在Kinsta上在几分钟内部署你的下一个LangChain应用程序的示例。