📋 generate_ai_message(model_config, messages, tools_schema, mode)
本页面将函数参数拆分为详细表单:
• model_config: YAML配置,包含模型路径、推理参数、输出设置等
• messages: 对话消息列表,支持 system/user/assistant/tool 四种角色
• tools_schema: 可用工具的定义,包含名称、描述、参数schema
• mode: mock(模拟)或 prompt_json(真实模型)
本页面将函数参数拆分为详细表单:
• model_config: YAML配置,包含模型路径、推理参数、输出设置等
• messages: 对话消息列表,支持 system/user/assistant/tool 四种角色
• tools_schema: 可用工具的定义,包含名称、描述、参数schema
• mode: mock(模拟)或 prompt_json(真实模型)
⚙️ 运行模式配置
mock模式用于快速测试,prompt_json调用真实模型
保存结果文件的目录路径
输出文件名前缀,如 'step1' → step1_ai_message.json
用于标识本次推理任务
🔧 模型配置 (model.yaml)
📦 模型路径
本地模型目录路径
tokenizer路径,通常与模型相同
推理后端类型
🔒 加载选项
仅使用本地文件,不联网下载
信任远程代码(Qwen需要)
🖥️ 硬件配置
模型精度
设备映射,如 'auto' 或 'cuda:0'
🎯 推理参数 (generation)
最大生成token数
是否采样(false为确定性输出)
采样温度(0为确定性)
nucleus采样参数
📝 上下文限制
最大输入token数