生产向量化模型备用节点

创建命名会话：
screen -S xinference

重新连接和启动：
screen -r xinference XINFERENCE_HOME=/data/xinference xinference-local --host 0.0.0.0 --port 9966

按 Ctrl+A+D 分离会话

注册和启动向量化模型：
xinference register --model-type embedding --file ./bge-large-zh-v1.5/custom-bge-large-zh-v1.5.json --persist --endpoint http://localhost:9966
xinference launch --model-name custom-bge-large-zh-v1.5 --model-type embedding --endpoint http://localhost:9966

查看当前运行的模型：
xinference list --endpoint http://localhost:9966

停止模型：
xinference terminate --model-uid custom-bge-large-zh-v1.5 --endpoint http://localhost:9966

测试命令：
curl -X POST "http://localhost:9966/v1/embeddings"
-H "Content-Type: application/json"
-d '{
"model": "custom-bge-large-zh-v1.5",
"input": "这是一个测试文本。"
}'

返回响应

🟢200成功

application/json

Body

示例

{
    "object": "list",
    "model": "custom-bge-large-zh-v1.5",
    "model_replica": "custom-bge-large-zh-v1.5-0",
    "data": [
        {
            "index": 0,
            "object": "embedding",
            "embedding": [
                0.01566338539123535,
                -0.012559004127979279,
                ...
                -0.01200323086231947,
                -0.0020189371425658464,
                -0.014431706629693508
            ]
        }
    ],
    "usage": {
        "prompt_tokens": 11,
        "total_tokens": 11
    }
}

生产向量化模型备用节点

请求参数

请求示例代码

返回响应