LLMOps

LLMOps（Large Language Model Operations）是一个涵盖了大型语言模型（如 GPT 系列）开发、部署、维护和优化的一整套实践和流程。LLMOps 的目标是确保高效、可扩展和安全地使用这些强大的 AI 模型来构建和运行实际应用程序。

LLMOps 涉及到模型训练、部署、监控、更新、安全性与合规性等各个方面的内容。

低门槛创建 AI Agent

一个 AI Agent 应用涵盖了 LLM、记忆、工具、Prompt、规划、知识库、执行者等模块，但每个应用的流程又比较接近，对开发者和非开发者都不友好。

有没有一个平台，能在可视化界面通过鼠标拖拽对应的模块+提示词等内容，就可以让无编程基础的人也可以快速创建一个 AI Agent 应用并调试部署？

在以往这种平台叫做低代码平台，在低代码平台上去拖拽对应的组件，可以快速创建 APP、快速创建小程序、快速创建网站等等。

基于这个概念和想法，于是就有了 LLMOps 这个概念。

LLMOps 是一个基于 LLM 的应用程序的生命周期管理平台或者工具，涵盖了 LLM 应用的开发、部署、配置、运维。

虽然 LLM 在原型开发中使用起来特别简单，下载 Python 配置相应的接口，就可以便捷和 LLM 进行对话，但是在商业产品中使用 LLM 仍然面临着各种挑战。

LLM 应用开发声明周期包括许多复杂的组件，如数据摄取、数据准备、提示工程、模型微调、模型部署、模型监控、工具回调、多 LLM 创联、多 LLM 兼容等。

在使用 LLMOps 平台之前，基于 LLM 开发应用的过程会非常繁琐，开发者需要自行处理各个阶段的任务，这可能导致效率低下、难以扩展和安全性问题。

以下列出了使用 LLMOps 平台与未使用开发 AI 应用的差异：

LLMOps 对使用者友好，极大降低了企业创建 AI Agent 应用的成本，把复杂的部分留给了 LLMOps 开发者。

两种模式开发 AI 应用流程对比：

不使用 LLMOps：整理需求、Prompt 编写、部署 LLM、对接 LLM 接口、处理应用数据、记录日志、应用工具开发、AI 工作流开发、前后端交互开发、前后端部署。
使用 LLMOps：需求整理、Prompt 编写、上传数据、勾选关联插件、可视化编排工作流、选择 LLM 模型、发布。