RAG总接口

RAG总接口, 目前只实现了文档处理相关模块.

文档说明:

包含模块: 文档解析, 文档拆分, 文本段清洗, 问答对生成, 问题扩展, 问答对清洗

部署环境: 测试, 生产

关键词-task_node_key: 可选值有: document_parser, document_split, document_clear, qa_gene, qa_extend, qa_clear

针对部分模块, 需要补充传入参数, 放在meta下:

模块	参数	描述
document_parser	files_name	文件名, 数据类型为列表, 与需要的文件一一对应
document_parser	link	是否解析外链(默认解析, 可选值有`Y`或`N`)
document_parser	callback_url	设置回调URL
document_split	callback_url	设置回调URL
document_clear	task_type	文档清洗的是文档还是QA, 可选值有`doc`或`qa`
document_clear	callback_url	设置回调URL
qa_gene	files_name	文件名, 数据类型为列表, 与需要的文本块一一对应
qa_gene	freq	调用大模型生成次数, 默认为3
qa_gene	num	单次调用大模型生成的问答对数量, 默认为10
qa_gene	callback_url	设置回调URL
qa_extend	num	QA对扩展的数量, 默认为10
qa_extend	callback_url	设置回调URL
qa_clear	callback_url	设置回调URL

针对部分模块, 会提供补充传出参数, 放在meta下:

模块	参数	描述
document_parser	usage	使用llm token数量, 数据类型为字典
document_split	task_type	通知文档分块得到的是文档还是QA, 可选值有`doc`或`qa`
document_clear	task_type	通知文档清洗的是文档还是QA, 可选值有`doc`或`qa`或空(如果为空, 则说明你没传该参数)
qa_gene	usage	使用llm token数量, 数据类型为字典
qa_gene	current_idx	当前回调了第几次
qa_gene	total_idx	总共会回调几次
qa_gene	lfs_file_list	QA对里面包含的图片URL(已经传入图床)
qa_extend	usage	使用llm token数量, 数据类型为字典
qa_extend	current_idx	当前回调了第几次
qa_extend	total_idx	总共会回调几次
qa_extend	lfs_file_list	QA对里面包含的图片URL(已经传入图床)
qa_clear	lfs_file_list	QA对里面包含的图片URL(已经传入图床)

测试环境目录: 192.168.12.103:/data1/hjc/rag

测试环境python环境启动命令: source /data1/hjc/rag_env/bin/activate

测试环境启动命令:

screen -r rag

uvicorn rag:app --host 0.0.0.0 --port 9966 --workers 2 --reload --log-level info --reload-include rag.py

Ctrl+a+d

screen -r tasks

OMP_NUM_THREADS=1 celery -A tasks worker --loglevel=info --concurrency=8

Ctrl+a+d

生产环境目录: 10.68.211.153:/app/rag

10.

生产环境python启动命令: source /app/rag_envs/bin/activate

11.

生产环境启动命令:

screen -r rag

uvicorn rag:app --host 0.0.0.0 --port 9966 --workers 2 --reload --log-level info --reload-include rag.py

Ctrl+a+d

screen -r tasks

OMP_NUM_THREADS=1 celery -A tasks worker --loglevel=info --concurrency=8

Ctrl+a+d

请求参数

Body 参数application/json

示例

{
    "sid": "5831092058b24ff099ddcd2afd8a1b87",
    "appid": "xiaolan",
    "channel": "rag",
    "ver": "1.0",
    "timestamp": "20241220133803",
    "service": "openplatform.rag.callback",
    "data": {
        "process_instance_id": "",
        "task_node_key": "document_split",
        "data": {
            "files": [
                ""
            ],
            "documents": [
                "# 一、基本原则及标准  # （一）基础材料  1、商户结算人身份证、商户交易情况说明、结算人手持身份证、结算人手持结算卡、结算人手持交易说明的照片。  # （二）辅助证明  1、根据实际收款情况提供证明材料，如购销合同、税务证明、交易截图等照片;  2、商户如有真实经营场所，需提供经营场所视频；  3、如非法人结算的，需出具执照法人的结算委托授权书，加盖公章；  4、如优质商户法人无法出境的，需提供恢复结算处理委托授权书，加盖公章。# 一、基本原则及标准  # （一）基础材料  1、商户结算人身份证、商户交易情况说明、结算人手持身份证、结算人手持结算卡、结算人手持交易说明的照片。  # （二）辅助证明  1、根据实际收款情况提供证明材料，如购销合同、税务证明、交易截图等照片;  2、商户如有真实经营场所，需提供经营场所视频；  3、如非法人结算的，需出具执照法人的结算委托授权书，加盖公章；  4、如优质商户法人无法出境的，需提供恢复结算处理委托授权书，加盖公章。# 一、基本原则及标准  # （一）基础材料  1、商户结算人身份证、商户交易情况说明、结算人手持身份证、结算人手持结算卡、结算人手持交易说明的照片。  # （二）辅助证明  1、根据实际收款情况提供证明材料，如购销合同、税务证明、交易截图等照片;  2、商户如有真实经营场所，需提供经营场所视频；  3、如非法人结算的，需出具执照法人的结算委托授权书，加盖公章；  4、如优质商户法人无法出境的，需提供恢复结算处理委托授权书，加盖公章。# 一、基本原则及标准  # （一）基础材料  1、商户结算人身份证、商户交易情况说明、结算人手持身份证、结算人手持结算卡、结算人手持交易说明的照片。  # （二）辅助证明  1、根据实际收款情况提供证明材料，如购销合同、税务证明、交易截图等照片;  2、商户如有真实经营场所，需提供经营场所视频；  3、如非法人结算的，需出具执照法人的结算委托授权书，加盖公章；  4、如优质商户法人无法出境的，需提供恢复结算处理委托授权书，加盖公章。# 一、基本原则及标准  # （一）基础材料  1、商户结算人身份证、商户交易情况说明、结算人手持身份证、结算人手持结算卡、结算人手持交易说明的照片。  # （二）辅助证明  1、根据实际收款情况提供证明材料，如购销合同、税务证明、交易截图等照片;  2、商户如有真实经营场所，需提供经营场所视频；  3、如非法人结算的，需出具执照法人的结算委托授权书，加盖公章；  4、如优质商户法人无法出境的，需提供恢复结算处理委托授权书，加盖公章。# 一、基本原则及标准  # （一）基础材料  1、商户结算人身份证、商户交易情况说明、结算人手持身份证、结算人手持结算卡、结算人手持交易说明的照片。  # （二）辅助证明  1、根据实际收款情况提供证明材料，如购销合同、税务证明、交易截图等照片;  2、商户如有真实经营场所，需提供经营场所视频；  3、如非法人结算的，需出具执照法人的结算委托授权书，加盖公章；  4、如优质商户法人无法出境的，需提供恢复结算处理委托授权书，加盖公章。# 一、基本原则及标准  # （一）基础材料  1、商户结算人身份证、商户交易情况说明、结算人手持身份证、结算人手持结算卡、结算人手持交易说明的照片。  # （二）辅助证明  1、根据实际收款情况提供证明材料，如购销合同、税务证明、交易截图等照片;  2、商户如有真实经营场所，需提供经营场所视频；  3、如非法人结算的，需出具执照法人的结算委托授权书，加盖公章；  4、如优质商户法人无法出境的，需提供恢复结算处理委托授权书，加盖公章。# 一、基本原则及标准  # （一）基础材料  1、商户结算人身份证、商户交易情况说明、结算人手持身份证、结算人手持结算卡、结算人手持交易说明的照片。  # （二）辅助证明  1、根据实际收款情况提供证明材料，如购销合同、税务证明、交易截图等照片;  2、商户如有真实经营场所，需提供经营场所视频；  3、如非法人结算的，需出具执照法人的结算委托授权书，加盖公章；  4、如优质商户法人无法出境的，需提供恢复结算处理委托授权书，加盖公章。 # 一、基本原则及标准  # （一）基础材料  1、商户结算人身份证、商户交易情况说明、结算人手持身份证、结算人手持结算卡、结算人手持交易说明的照片。  # （二）辅助证明  1、根据实际收款情况提供证明材料，如购销合同、税务证明、交易截图等照片;  2、商户如有真实经营场所，需提供经营场所视频；  3、如非法人结算的，需出具执照法人的结算委托授权书，加盖公章；  4、如优质商户法人无法出境的，需提供恢复结算处理委托授权书，加盖公章。# 一、基本原则及标准  # （一）基础材料  1、商户结算人身份证、商户交易情况说明、结算人手持身份证、结算人手持结算卡、结算人手持交易说明的照片。  # （二）辅助证明  1、根据实际收款情况提供证明材料，如购销合同、税务证明、交易截图等照片;  2、商户如有真实经营场所，需提供经营场所视频；  3、如非法人结算的，需出具执照法人的结算委托授权书，加盖公章；  4、如优质商户法人无法出境的，需提供恢复结算处理委托授权书，加盖公章。# 一、基本原则及标准  # （一）基础材料  1、商户结算人身份证、商户交易情况说明、结算人手持身份证、结算人手持结算卡、结算人手持交易说明的照片。  # （二）辅助证明  1、根据实际收款情况提供证明材料，如购销合同、税务证明、交易截图等照片;  2、商户如有真实经营场所，需提供经营场所视频；  3、如非法人结算的，需出具执照法人的结算委托授权书，加盖公章；  4、如优质商户法人无法出境的，需提供恢复结算处理委托授权书，加盖公章。# 一、基本原则及标准  # （一）基础材料  1、商户结算人身份证、商户交易情况说明、结算人手持身份证、结算人手持结算卡、结算人手持交易说明的照片。  # （二）辅助证明  1、根据实际收款情况提供证明材料，如购销合同、税务证明、交易截图等照片;  2、商户如有真实经营场所，需提供经营场所视频；  3、如非法人结算的，需出具执照法人的结算委托授权书，加盖公章；  4、如优质商户法人无法出境的，需提供恢复结算处理委托授权书，加盖公章。# 一、基本原则及标准  # （一）基础材料  1、商户结算人身份证、商户交易情况说明、结算人手持身份证、结算人手持结算卡、结算人手持交易说明的照片。  # （二）辅助证明  1、根据实际收款情况提供证明材料，如购销合同、税务证明、交易截图等照片;  2、商户如有真实经营场所，需提供经营场所视频；  3、如非法人结算的，需出具执照法人的结算委托授权书，加盖公章；  4、如优质商户法人无法出境的，需提供恢复结算处理委托授权书，加盖公章。# 一、基本原则及标准  # （一）基础材料  1、商户结算人身份证、商户交易情况说明、结算人手持身份证、结算人手持结算卡、结算人手持交易说明的照片。  # （二）辅助证明  1、根据实际收款情况提供证明材料，如购销合同、税务证明、交易截图等照片;  2、商户如有真实经营场所，需提供经营场所视频；  3、如非法人结算的，需出具执照法人的结算委托授权书，加盖公章；  4、如优质商户法人无法出境的，需提供恢复结算处理委托授权书，加盖公章。# 一、基本原则及标准  # （一）基础材料  1、商户结算人身份证、商户交易情况说明、结算人手持身份证、结算人手持结算卡、结算人手持交易说明的照片。  # （二）辅助证明  1、根据实际收款情况提供证明材料，如购销合同、税务证明、交易截图等照片;  2、商户如有真实经营场所，需提供经营场所视频；  3、如非法人结算的，需出具执照法人的结算委托授权书，加盖公章；  4、如优质商户法人无法出境的，需提供恢复结算处理委托授权书，加盖公章。# 一、基本原则及标准  # （一）基础材料  1、商户结算人身份证、商户交易情况说明、结算人手持身份证、结算人手持结算卡、结算人手持交易说明的照片。  # （二）辅助证明  1、根据实际收款情况提供证明材料，如购销合同、税务证明、交易截图等照片;  2、商户如有真实经营场所，需提供经营场所视频；  3、如非法人结算的，需出具执照法人的结算委托授权书，加盖公章；  4、如优质商户法人无法出境的，需提供恢复结算处理委托授权书，加盖公章。 "
            ],
            "qa": [
                {
                    "query": "",
                    "answer": ""
                }
            ],
            "meta": {
                "split_length": [100, 200, 1000],
                "split_overlap": [10, 20, 100]
            }
        }
    },
    "sign": "123",
    "attach": "",
    "state": "success"
}

示例代码

Shell

JavaScript

Java

Swift

PHP

Python

HTTP

Objective-C

Ruby

OCaml

Dart

curl --location --request POST ':9966/v1/rag' \
--header 'Content-Type: application/json' \
--data-raw '{
    "sid": "5831092058b24ff099ddcd2afd8a1b87",
    "appid": "xiaolan",
    "channel": "rag",
    "ver": "1.0",
    "timestamp": "20241220133803",
    "service": "openplatform.rag.callback",
    "data": {
        "process_instance_id": "",
        "task_node_key": "document_split",
        "data": {
            "files": [
                ""
            ],
            "documents": [
                "# 一、基本原则及标准  # （一）基础材料  1、商户结算人身份证、商户交易情况说明、结算人手持身份证、结算人手持结算卡、结算人手持交易说明的照片。  # （二）辅助证明  1、根据实际收款情况提供证明材料，如购销合同、税务证明、交易截图等照片;  2、商户如有真实经营场所，需提供经营场所视频；  3、如非法人结算的，需出具执照法人的结算委托授权书，加盖公章；  4、如优质商户法人无法出境的，需提供恢复结算处理委托授权书，加盖公章。# 一、基本原则及标准  # （一）基础材料  1、商户结算人身份证、商户交易情况说明、结算人手持身份证、结算人手持结算卡、结算人手持交易说明的照片。  # （二）辅助证明  1、根据实际收款情况提供证明材料，如购销合同、税务证明、交易截图等照片;  2、商户如有真实经营场所，需提供经营场所视频；  3、如非法人结算的，需出具执照法人的结算委托授权书，加盖公章；  4、如优质商户法人无法出境的，需提供恢复结算处理委托授权书，加盖公章。# 一、基本原则及标准  # （一）基础材料  1、商户结算人身份证、商户交易情况说明、结算人手持身份证、结算人手持结算卡、结算人手持交易说明的照片。  # （二）辅助证明  1、根据实际收款情况提供证明材料，如购销合同、税务证明、交易截图等照片;  2、商户如有真实经营场所，需提供经营场所视频；  3、如非法人结算的，需出具执照法人的结算委托授权书，加盖公章；  4、如优质商户法人无法出境的，需提供恢复结算处理委托授权书，加盖公章。# 一、基本原则及标准  # （一）基础材料  1、商户结算人身份证、商户交易情况说明、结算人手持身份证、结算人手持结算卡、结算人手持交易说明的照片。  # （二）辅助证明  1、根据实际收款情况提供证明材料，如购销合同、税务证明、交易截图等照片;  2、商户如有真实经营场所，需提供经营场所视频；  3、如非法人结算的，需出具执照法人的结算委托授权书，加盖公章；  4、如优质商户法人无法出境的，需提供恢复结算处理委托授权书，加盖公章。# 一、基本原则及标准  # （一）基础材料  1、商户结算人身份证、商户交易情况说明、结算人手持身份证、结算人手持结算卡、结算人手持交易说明的照片。  # （二）辅助证明  1、根据实际收款情况提供证明材料，如购销合同、税务证明、交易截图等照片;  2、商户如有真实经营场所，需提供经营场所视频；  3、如非法人结算的，需出具执照法人的结算委托授权书，加盖公章；  4、如优质商户法人无法出境的，需提供恢复结算处理委托授权书，加盖公章。# 一、基本原则及标准  # （一）基础材料  1、商户结算人身份证、商户交易情况说明、结算人手持身份证、结算人手持结算卡、结算人手持交易说明的照片。  # （二）辅助证明  1、根据实际收款情况提供证明材料，如购销合同、税务证明、交易截图等照片;  2、商户如有真实经营场所，需提供经营场所视频；  3、如非法人结算的，需出具执照法人的结算委托授权书，加盖公章；  4、如优质商户法人无法出境的，需提供恢复结算处理委托授权书，加盖公章。# 一、基本原则及标准  # （一）基础材料  1、商户结算人身份证、商户交易情况说明、结算人手持身份证、结算人手持结算卡、结算人手持交易说明的照片。  # （二）辅助证明  1、根据实际收款情况提供证明材料，如购销合同、税务证明、交易截图等照片;  2、商户如有真实经营场所，需提供经营场所视频；  3、如非法人结算的，需出具执照法人的结算委托授权书，加盖公章；  4、如优质商户法人无法出境的，需提供恢复结算处理委托授权书，加盖公章。# 一、基本原则及标准  # （一）基础材料  1、商户结算人身份证、商户交易情况说明、结算人手持身份证、结算人手持结算卡、结算人手持交易说明的照片。  # （二）辅助证明  1、根据实际收款情况提供证明材料，如购销合同、税务证明、交易截图等照片;  2、商户如有真实经营场所，需提供经营场所视频；  3、如非法人结算的，需出具执照法人的结算委托授权书，加盖公章；  4、如优质商户法人无法出境的，需提供恢复结算处理委托授权书，加盖公章。 # 一、基本原则及标准  # （一）基础材料  1、商户结算人身份证、商户交易情况说明、结算人手持身份证、结算人手持结算卡、结算人手持交易说明的照片。  # （二）辅助证明  1、根据实际收款情况提供证明材料，如购销合同、税务证明、交易截图等照片;  2、商户如有真实经营场所，需提供经营场所视频；  3、如非法人结算的，需出具执照法人的结算委托授权书，加盖公章；  4、如优质商户法人无法出境的，需提供恢复结算处理委托授权书，加盖公章。# 一、基本原则及标准  # （一）基础材料  1、商户结算人身份证、商户交易情况说明、结算人手持身份证、结算人手持结算卡、结算人手持交易说明的照片。  # （二）辅助证明  1、根据实际收款情况提供证明材料，如购销合同、税务证明、交易截图等照片;  2、商户如有真实经营场所，需提供经营场所视频；  3、如非法人结算的，需出具执照法人的结算委托授权书，加盖公章；  4、如优质商户法人无法出境的，需提供恢复结算处理委托授权书，加盖公章。# 一、基本原则及标准  # （一）基础材料  1、商户结算人身份证、商户交易情况说明、结算人手持身份证、结算人手持结算卡、结算人手持交易说明的照片。  # （二）辅助证明  1、根据实际收款情况提供证明材料，如购销合同、税务证明、交易截图等照片;  2、商户如有真实经营场所，需提供经营场所视频；  3、如非法人结算的，需出具执照法人的结算委托授权书，加盖公章；  4、如优质商户法人无法出境的，需提供恢复结算处理委托授权书，加盖公章。# 一、基本原则及标准  # （一）基础材料  1、商户结算人身份证、商户交易情况说明、结算人手持身份证、结算人手持结算卡、结算人手持交易说明的照片。  # （二）辅助证明  1、根据实际收款情况提供证明材料，如购销合同、税务证明、交易截图等照片;  2、商户如有真实经营场所，需提供经营场所视频；  3、如非法人结算的，需出具执照法人的结算委托授权书，加盖公章；  4、如优质商户法人无法出境的，需提供恢复结算处理委托授权书，加盖公章。# 一、基本原则及标准  # （一）基础材料  1、商户结算人身份证、商户交易情况说明、结算人手持身份证、结算人手持结算卡、结算人手持交易说明的照片。  # （二）辅助证明  1、根据实际收款情况提供证明材料，如购销合同、税务证明、交易截图等照片;  2、商户如有真实经营场所，需提供经营场所视频；  3、如非法人结算的，需出具执照法人的结算委托授权书，加盖公章；  4、如优质商户法人无法出境的，需提供恢复结算处理委托授权书，加盖公章。# 一、基本原则及标准  # （一）基础材料  1、商户结算人身份证、商户交易情况说明、结算人手持身份证、结算人手持结算卡、结算人手持交易说明的照片。  # （二）辅助证明  1、根据实际收款情况提供证明材料，如购销合同、税务证明、交易截图等照片;  2、商户如有真实经营场所，需提供经营场所视频；  3、如非法人结算的，需出具执照法人的结算委托授权书，加盖公章；  4、如优质商户法人无法出境的，需提供恢复结算处理委托授权书，加盖公章。# 一、基本原则及标准  # （一）基础材料  1、商户结算人身份证、商户交易情况说明、结算人手持身份证、结算人手持结算卡、结算人手持交易说明的照片。  # （二）辅助证明  1、根据实际收款情况提供证明材料，如购销合同、税务证明、交易截图等照片;  2、商户如有真实经营场所，需提供经营场所视频；  3、如非法人结算的，需出具执照法人的结算委托授权书，加盖公章；  4、如优质商户法人无法出境的，需提供恢复结算处理委托授权书，加盖公章。# 一、基本原则及标准  # （一）基础材料  1、商户结算人身份证、商户交易情况说明、结算人手持身份证、结算人手持结算卡、结算人手持交易说明的照片。  # （二）辅助证明  1、根据实际收款情况提供证明材料，如购销合同、税务证明、交易截图等照片;  2、商户如有真实经营场所，需提供经营场所视频；  3、如非法人结算的，需出具执照法人的结算委托授权书，加盖公章；  4、如优质商户法人无法出境的，需提供恢复结算处理委托授权书，加盖公章。 "
            ],
            "qa": [
                {
                    "query": "",
                    "answer": ""
                }
            ],
            "meta": {
                "split_length": [100, 200, 1000],
                "split_overlap": [10, 20, 100]
            }
        }
    },
    "sign": "123",
    "attach": "",
    "state": "success"
}'

返回响应

🟢200成功

application/json

Body

示例

{
    "sid": "5831092058b24ff099ddcd2afd8a1b87",
    "appid": "xiaolan",
    "channel": "rag",
    "ver": "1.0",
    "timestamp": "20241220133803",
    "service": "openplatform.rag.callback",
    "data": {
        "process_instance_id": "",
        "task_node_key": "",
        "data": {
            "files": null,
            "documents": null,
            "qa": [
                {
                    "query": "商户在什么情况下需要提交购销合同?",
                    "answer": "商户需根据实际收款情况提供证明材料，如购销合同、税务证明、交易截图等照片，以作为辅助证明。"
                },
                {
                    "query": "购销合同是什么时候必须提供的?",
                    "answer": "商户需根据实际收款情况提供证明材料，如购销合同、税务证明、交易截图等照片，以作为辅助证明。"
                }
            ],
            "meta": {
                "usage": {
                    "completion_tokens": 3228,
                    "prompt_tokens": 10203,
                    "total_tokens": 13431
                }
            }
        },
        "attach": {
            "applyUser": "chengliang",
            "fileId": 6
        },
        "state": "success"
    },
    "sign": "123"
}

RAG总接口, 目前只实现了文档处理相关模块.#

文档说明:#

请求参数

示例代码

返回响应

RAG总接口, 目前只实现了文档处理相关模块.

文档说明: