LazyLLM 框架

LazyLLM 是构建和优化多 Agent 应用的一站式开发工具，为应用开发、数据准备、模型部署、模型微调、评测和可视化提供了大量工具。 基础能力参考: [references/basic.md](references/basic.md)

安装与环境

• 安装核心包: pip install lazyllm
• 按需安装功能组件: lazyllm install embedding chat finetune（分别对应嵌入、对话、微调相关依赖，详见 [CLI 使用](#cli-使用)）
• 使用在线模型前: 需配置对应平台的 API Key（见 [在线模型 API Key 配置](#在线模型-api-key-配置)）
• 更多环境与依赖说明见 [环境依赖](assets/basic/environment.md)

模型调用概览（本地 vs 线上）

LazyLLM 中所有模型能力统一通过 AutoModel、OnlineModule、TrainableModule 三类入口使用，优先推荐 AutoModel 以便自动选择在线或本地。

简要示例:

import lazyllm

# 线上：需配置 LAZYLLM_<PLATFORM>_API_KEY
chat = lazyllm.OnlineModule(source='qwen', model='qwen-plus')
print(chat('你好'))

# 本地：先 start 再调用
local = lazyllm.TrainableModule('qwen2-1.5b').start()
print(local('你好'))

# 统一入口（自动选在线/本地）
llm = lazyllm.AutoModel(source='sensenova', model='SenseNova-V6-5-Pro')
print(llm('你好'))

详细参数、Embedding/Reranker/多模态类型及环境变量见 [Model 使用示例](assets/basic/model.md)。

在线模型 API Key 配置

使用 OnlineModule 或 AutoModel 调用线上模型前，需配置对应平台 API Key（推荐环境变量，避免写死在代码中）：

• 通用格式: export LAZYLLM<平台名>API_KEY=<你的 key>
• 部分平台（如 SenseNova）需同时配置: LAZYLLMSENSENOVAAPIKEY 与 LAZYLLMSENSENOVASECRETKEY

常用平台与变量名示例：

完整平台列表见 [平台与 API Key](assets/basic/apikeyplatforms.md)。配置方式也可通过 lazyllm.config 管理，见 [Config 使用示例](assets/basic/config.md)。

组件选择指南

根据任务需求选择组件：

CLI 使用

LazyLLM 提供命令行入口，用于安装依赖、部署模型与运行服务：

示例:

lazyllm install embedding chat
lazyllm deploy llama3-chat --framework vllm --chat=true
lazyllm run chatbot --model chatglm3-6b --framework vllm
lazyllm run rag --model bge-base --documents /path/to/docs

详细参数与子命令见 [CLI 使用](assets/basic/cli.md)。

Flow（数据流编排）

Flow 用于编排多步骤、分支、并行或循环的数据处理流程。

何时使用 Flow

• 任务需拆分为多阶段并按序或按依赖执行
• 需要并行执行多任务再汇总
• 需要条件分支、循环或 DAG 依赖

何时不必用 Flow

• 单次简单函数调用、无分支无并行的直线逻辑

Flow 组件

• Pipeline: 顺序执行
• Parallel: 并行执行多任务
• Diverter: 多分支并行路由
• Warp: 单模块并行作用于多输入
• IFS / Switch: 条件分支
• Loop: 循环
• Graph: DAG 依赖
• Bind: 显式绑定与传递数据

分布式或集群任务可通过 lazyllm.launchers（如 remote、sco、slurm）指定 Launcher，详见 [Launcher](assets/basic/launcher.md)。 详细文档: [references/flow.md](references/flow.md)

Finetune（微调与部署）

支持多种微调框架（AlpacaLoRA、Collie、LLaMA-Factory、FlagEmbedding、Auto 等）与推理部署（LightLLM、vLLM、LMDeploy、Auto 等）。 微调与部署时可通过 launcher 参数指定单机/多机或调度器（如 lazyllm.launchers.remote(ngpus=4)），详见 [references/finetune.md](references/finetune.md) 与 [deployframework](assets/finetune/deployframework.md)。 详细文档: [references/finetune.md](references/finetune.md)

RAG（检索增强生成）

基于知识库的问答：文档加载、切分、向量化、检索与生成。 基础用法见下；多策略检索与重排可用 Flow 编排，见 [references/rag.md](references/rag.md)。

import lazyllm

documents = lazyllm.Document(
    dataset_path="/path/to/docs",
    embed=lazyllm.OnlineEmbeddingModule(),
    manager=False
)
retriever = lazyllm.Retriever(
    doc=documents,
    group_name="CoarseChunk",
    similarity="bm25_chinese",
    topk=3
)
llm = lazyllm.OnlineChatModule()
llm.prompt(lazyllm.ChatPrompter(instruction='根据上下文回答问题：', extra_keys=['context_str']))

query = "用户问题"
doc_node_list = retriever(query=query)
res = llm({"query": query, "context_str": "".join([n.get_content() for n in doc_node_list])})

详细文档: [references/rag.md](references/rag.md)

Agent（智能体）

构建能规划、调用工具、执行任务的智能体。Agent 与工具均来自 lazyllm.tools：fc_register 注册自定义工具，内置 Agent（ReactAgent、PlanAndSolveAgent、ReWOOAgent、FunctionCallAgent）可搭配内置或 MCP 工具使用。 Web 界面：将 Agent 或 Flow 包装为 lazyllm.WebModule(m) 可快速得到 Web 对话界面；文档管理场景可用 DocWebModule，见 [内置 Module](assets/basic/modules.md)。

基础 Agent 示例

import lazyllm
from lazyllm.tools import ReactAgent, fc_register

@fc_register('tool')
def my_tool(query: str) -> str:
    """Tool description for the agent."""
    return f"Result: {query}"

llm = lazyllm.OnlineModule(source='deepseek', model='deepseek-chat')
agent = ReactAgent(llm, tools=['my_tool'])
print(agent('用户问题'))

内置工具（搜索、Http、SQL、CodeGenerator 等）见 [内置工具的使用](assets/agent/tools.md)。 详细文档: [references/agent.md](references/agent.md)

lazyllm.tools 能力概览

lazyllm.tools 是 LazyLLM 的工具与能力模块，统一从 lazyllm.tools 或子模块按需导入，用于 RAG、Agent、数据与评测等场景。

更多工具用法见 [内置工具](assets/agent/tools.md)。

流式输出

• 本地模型: TrainableModule(..., stream=True) 或使用 lazyllm.StreamCallHelper(module) 对返回值迭代；若模型在 Flow 中，包装最外层 Flow。
• 在线模型: OnlineModule(..., stream=True) 或构造时传入 stream=True。

流式配置（前缀、后缀、颜色等）见 [本地模型与流式输出](assets/basic/localmodelstream.md) 与脚本 [streamoutput.py](scripts/streamoutput.py)。

最佳实践

1. 用 Basic 能力构建模块: 优先 ModuleBase / ActionModule，模型、工具、Flow 均以 Module 形式存在。参考 [references/basic.md](references/basic.md)。
2. 模型统一入口: 使用 AutoModel 或 OnlineModule / TrainableModule，不直接实例化具体实现类。参考 [Model 使用示例](assets/basic/model.md)。
3. Prompt 通过 Prompter 注入: 不硬编码 prompt，保持可配置与复用。参考 [Prompter 使用示例](assets/basic/prompter.md)。
4. 能力通过 AutoRegistry 暴露: 通过继承 Base 或 Register 装饰器注册，经 lazyllm.<group>.<key> 访问。参考 [AutoRegistry 使用示例](assets/basic/registry.md)。
5. 配置与代码解耦: API Key、模型名、参数等使用 Config 或环境变量。参考 [Config 使用示例](assets/basic/config.md)。
6. 先做 MVP: 先跑通单模型/单流程，再增加并行、分支、重排等。
7. 复杂逻辑用 Flow: 多阶段、并行、条件、循环、DAG 用 pipeline / parallel / diverter / loop 等。参考 [references/flow.md](references/flow.md)。
8. RAG 先保证检索质量: 先优化切分、Embedding、Retriever、Reranker，再调 Prompt。参考 [references/rag.md](references/rag.md).
9. Agent 规划与执行分离: 规划在 Agent，执行在 Tool / Module。参考 [references/agent.md](references/agent.md)。
10. 增量调试: 先单 Module，再子 Flow，最后完整系统。
11. 优先 Auto 系列: 如 AutoModel、AutoFinetune、AutoDeploy，必要时再指定具体实现。
12. 第三方依赖走 lazyllm.thirdparty: 保证懒加载与可选依赖。参考 [Thirdparty 使用示例](assets/basic/thirdparty.md)。

代码示例合集: [基础使用代码合集](scripts/README.md)

本地文档索引

本 skill 所有链接均为本地引用，可在断网环境下阅读。

• 基础与模型: [references/basic.md](references/basic.md)、[assets/basic/](assets/basic/)
• Flow: [references/flow.md](references/flow.md)、[assets/flow/](assets/flow/)
• Finetune: [references/finetune.md](references/finetune.md)、[assets/finetune/](assets/finetune/)
• RAG: [references/rag.md](references/rag.md)、[assets/rag/](assets/rag/)
• Agent 与工具: [references/agent.md](references/agent.md)、[assets/agent/](assets/agent/)
• 脚本示例: [scripts/README.md](scripts/README.md)

完整在线文档（需联网）可在项目或官方站点查阅，网站地址：https://docs.lazyllm.ai/zh-cn/latest/