跳至内容
自定义模型 Provider

自定义模型 Provider

GraphRAG 3.3.0 的模型层由 LiteLLM 统一调用,可通过 model_provider 和 model 选择受支持的服务。索引通常需要高吞吐、稳定的聊天模型和嵌入模型;查询可以单独使用更强的模型。

completion_models:
  index_chat:
    model_provider: openai
    model: gpt-4.1-mini
    auth_method: api_key
    api_key: ${GRAPHRAG_API_KEY}

只有内置 Provider 无法覆盖目标服务时,才需要注册自定义 completion 或 embedding 实现。自定义层至少要处理超时、限流、重试、错误分类和指标,不能只做一次 HTTP 转发。

上线前分别验证聊天与嵌入模型;两者的权限、限额和返回格式可能不同。

最后更新于