- 进行评估和数据分析
- 对大量数据集进行分类
- 以离线模式生成文档摘要
快速开始
1. 准备批量文件
批量推理 API 使用 .jsonl 格式文件作为输入,每行代表一个 API 推理请求的详细信息。可用的 endpoint 包括/v1/chat/completions
和 /v1/completions
。
为了与 OpenAI API 兼容,请将
endpoint
参数设置为 /v1/chat/completions
或 /v1/completions
。custom_id
,以便在批量完成后在输出文件中定位推理结果。每行的 body
字段中的参数将作为实际推理请求参数发送到 endpoint。
以下是包含 2 个请求的示例输入文件:
2. 上传批量输入文件
上传批量输入文件,以便在创建批量任务时能够正确引用它。使用文件 API 上传您的 .jsonl 文件,并将 purpose 设置为batch
。请注意,该文件将保留 15 天。
关于如何获取 API 密钥,请参见管理 API 密钥。
3. 创建批量任务
成功上传输入文件后,您可以使用上传的文件对象的 ID 启动批量任务。完成时间窗口固定为48h
,目前不可调整。
代码示例
Python
4. 检查批量任务状态
您可以随时检查批量任务的状态以获取最新的批量信息。 Batch 对象的状态枚举值如下:状态 | 描述 |
---|---|
VALIDATING | 批量任务开始前正在验证输入文件 |
PROGRESS | 批量任务正在进行中 |
COMPLETED | 批量处理成功完成 |
FAILED | 批量处理失败 |
EXPIRED | 批量任务超过截止时间 |
CANCELLING | 批量任务正在取消中 |
CANCELLED | 批量任务已取消 |
5. 获取结果
批量推理完成后,您可以使用 Batch 对象中的output_file_id
字段下载结果输出文件。
结果输出文件将在批量推理结束后 30 天删除,请及时通过接口获取。
代码示例
Python
使用说明
支持的模型
deepseek/deepseek-r1-0528
限制
- 每个批量任务最多可包含 50,000 个请求。
- 每个批量任务的最大输入文件大小为 100MB。
错误处理
批量处理过程中遇到的错误记录在单独的错误文件中,可通过 error_file_id 字段访问。常见的错误代码包括:错误代码 | 描述 | 解决方案 |
---|---|---|
400 | 请求格式无效 | 检查 JSONL 语法和必需字段 |
401 | 身份验证失败 | 验证 API 密钥 |
404 | 未找到批量任务 | 检查批量任务 ID |
429 | 超过速率限制 | 降低请求频率 |
500 | 服务器错误 | 联系我们 |