在 FastGPT 中使用

OpenAPI(布尔算力) 是一个以提供开源模型调用为主的平台，并拥有自己的加速引擎。帮助用户低成本、快速的进行开源模型的测试和使用。实际体验下来，他们家模型的速度和稳定性都非常不错，并且种类丰富，覆盖语言、向量、重排、TTS、STT、绘图、视频生成模型，可以满足 FastGPT 中所有模型需求。

如果你想部分模型使用 OpenAPI 的模型，可额外参考OneAPI接入布尔算力

1. 注册 OpenAPI 账号

点击注册布尔算力账号
进入控制台，获取 API key: https://models.openapi.cn

2. 修改 FastGPT 环境变量

OPENAI_BASE_URL=https://api.openapi.cn/v1
# 填写 OpenAPI 控制台提供的 Api Key
CHAT_API_KEY=sk-xxxxxx

3. 修改 FastGPT 配置文件

我们选取 OpenAPI 中的模型作为 FastGPT 配置。这里配置了：

Qwen2.5 72b 的纯语言和视觉模型
bge-m3 作为向量模型
bge-reranker-v2-m3 作为重排模型
fish-speech-1.5 作为语音模型
SenseVoiceSmall 作为语音输入模型

注意：ReRank 模型仍需配置一次 Api Key

{
  "llmModels": [
    {
      "provider": "Other", // 模型提供商，主要用于分类展示
      "model": "Qwen/Qwen2.5-72B-Instruct", // 模型名(对应OneAPI中渠道的模型名)
      "name": "Qwen2.5-72B-Instruct", // 模型别名
      "maxContext": 32000, // 最大上下文
      "maxResponse": 4000, // 最大回复
      "quoteMaxToken": 30000, // 最大引用内容
      "maxTemperature": 1, // 最大温度
      "charsPointsPrice": 0, // n积分/1k token（商业版）
      "censor": false, // 是否开启敏感校验（商业版）
      "vision": false, // 是否支持图片输入
      "datasetProcess": true, // 是否设置为文本理解模型（QA）
      "usedInClassify": true, // 是否用于问题分类
      "usedInExtractFields": true, // 是否用于内容提取
      "usedInToolCall": true, // 是否用于工具调用
      "usedInQueryExtension": true, // 是否用于问题优化
      "toolChoice": true, // 是否支持工具选择
      "functionCall": false, // 是否支持函数调用
      "customCQPrompt": "",
      "customExtractPrompt": "",
      "defaultSystemChatPrompt": "",
      "defaultConfig": {}
    },
    {
      "provider": "Other",
      "model": "Qwen/Qwen2-VL-72B-Instruct",
      "name": "Qwen2-VL-72B-Instruct",
      "maxContext": 32000,
      "maxResponse": 4000,
      "quoteMaxToken": 30000,
      "maxTemperature": 1,
      "charsPointsPrice": 0,
      "censor": false,
      "vision": true,
      "datasetProcess": false,
      "usedInClassify": false,
      "usedInExtractFields": false,
      "usedInToolCall": false,
      "usedInQueryExtension": false,
      "toolChoice": false,
      "functionCall": false,
      "customCQPrompt": "",
      "customExtractPrompt": "",
      "defaultSystemChatPrompt": "",
      "defaultConfig": {}
    }
  ],
  "vectorModels": [
    {
      "provider": "Other",
      "model": "Pro/BAAI/bge-m3",
      "name": "Pro/BAAI/bge-m3",
      "charsPointsPrice": 0,
      "defaultToken": 512,
      "maxToken": 5000,
      "weight": 100
    }
  ],
  "reRankModels": [
    {
      "model": "BAAI/bge-reranker-v2-m3",
      "name": "BAAI/bge-reranker-v2-m3",
      "requestUrl": "https://api.openapi.cn/v1/rerank",
      "requestAuth": "openapi 上申请的 key"
    }
  ],
  "audioSpeechModels": [
    {
      "model": "fishaudio/fish-speech-1.5",
      "name": "fish-speech-1.5",
      "voices": [
        {
          "label": "fish-alex",
          "value": "fishaudio/fish-speech-1.5:alex",
          "bufferId": "fish-alex"
        },
        {
          "label": "fish-anna",
          "value": "fishaudio/fish-speech-1.5:anna",
          "bufferId": "fish-anna"
        },
        {
          "label": "fish-bella",
          "value": "fishaudio/fish-speech-1.5:bella",
          "bufferId": "fish-bella"
        },
        {
          "label": "fish-benjamin",
          "value": "fishaudio/fish-speech-1.5:benjamin",
          "bufferId": "fish-benjamin"
        }
      ]
    }
  ],
  "whisperModel": {
    "model": "FunAudioLLM/SenseVoiceSmall",
    "name": "SenseVoiceSmall",
    "charsPointsPrice": 0
  }
}