操作场景
模型 API 是 AI 网关对外暴露的统一接口。客户端通过调用特定的模型 API 来使用大模型能力。其核心工作原理是:您创建一个模型API并为其关联后端模型服务,网关会根据配置自动生成对应的访问路由。客户端的请求通过匹配此路由进入网关,并由网关将其转发至关联的模型服务进行处理。
您需要在此创建和管理模型 API,以定义客户端如何访问、将请求路由到哪一个具体的模型服务。本文介绍如何为 AI 网关添加、编辑、删除模型 API 以及管理其关联的模型服务和自动生成的路由。
操作步骤
添加模型 API
2. 在实例列表页面,单击需要配置的网关实例的“ID”,进入该网关实例的基本信息页面。
3. 在左侧导航栏单击 模型管理,然后单击模型 API 页签,在 API 列表页面单击新建。
4. 在“新建模型 API”窗口中,完成第一步“基本信息”的配置。
|
API 名称 | 是 | 输入此 API 的名称,用于标识。最长60个字符,支持中英文大小写、数字及分隔符(“-”、“_”),不能以数字和分隔符开头,不能以分隔符结尾。 |
使用场景 | 是 | 选择此 API 的用途,支持“文本生成”。系统将根据场景预置相关的默认路由。 |
请求协议 | 是 | 选择客户端调用此 API 时使用的协议,例如“OpenAI”。此选择将影响预置路由和网关对请求/响应格式的处理。 |
路由 | 是 | 根据所选“使用场景”和“请求协议”自动预置的默认路由。请勾选需要为此 API 启用的路由。每个被勾选的路由都将与 Base Path 组合,生成一条独立的访问路径。 |
Base Path | 否 | 为此 API 设置统一的路由前缀。客户端请求的完整路径为 /{Base Path}/{路由路径}。例如,Base Path 设为 /qwen,并勾选路由 /v1/chat/completions,则完整访问路径为 /qwen/v1/chat/completions。 |
路径简化 | 否 | 开启后,网关在将请求转发给后端模型服务前,会自动移除请求路径中的 Base Path 前缀。例如,客户端请求 /qwen/v1/chat/completions,后端服务实际收到 /v1/chat/completions。这有助于解耦客户端请求路径与后端服务实际路径。 |
描述 | 否 | 该 API 的描述信息,便于后续管理。 |
说明:
在此步骤中,您定义的 Base Path 与所选的 路由 将组合成该API的最终访问路径。系统会根据您选择的“使用场景”和“请求协议”,自动预置一个或多个默认路由。例如,选择“文本生成”场景和“OpenAI”协议,系统会预置 /v1/chat/completions路由。创建完成后,网关将基于此完整路径自动生成一条路由规则。
5. 完成基本信息配置后,单击下一步,进入“选择模型服务”步骤。在此步骤中,您需要将此 API 与一个具体的模型服务(该服务已配置了供应商、密钥、模型 Fallback 等策略)进行绑定。
|
服务类型 | 是 | 选择“单模型服务”,表示此API固定路由到一个后端模型服务。 |
选择服务 | 是 | 选择一个已创建的模型服务。您也可以通过“新建服务”链接跳转至模型服务页面快速创建 |
6. 单击确定,完成模型 API 的创建。此时,网关会为你在“基本信息”步骤中勾选的每一个路由,自动生成一条对应的路由规则。
查看与编辑模型 API
2. 在实例列表页面,单击需要配置的网关实例的“ID”,进入该网关实例的基本信息页面。
3. 在左侧导航栏单击 模型管理,然后单击 模型API 页签。
4. 单击 API 的“ID/名称”,可进入其详情页面。
5. 在“基本信息”页签下,可以查看 API 的完整配置信息。
6. 在详情页的“基本信息”页签右上角,单击 编辑,可修改其“基本信息”配置。修改后单击 确定 保存。
管理路由
路由是网关将客户端请求分发到对应模型 API 的规则。创建模型 API 时,系统已根据配置自动生成了路由。
2. 在实例列表页面,单击需要配置的网关实例的“ID”,进入该网关实例的基本信息页面。
3. 在左侧导航栏单击模型管理,然后单击模型 API 页签。
4. 单击 API 的“ID/名称”,可进入其详情页面。
5. 在 API 详情页面,单击路由管理页签,可以查看系统为此 API 自动生成的所有路由规则详情。这里展示了路由的 ID、名称、类型以及完整的匹配路径。网关正是通过匹配这些路由规则,来决定将进入的请求交给哪个模型API处理。
管理关联的模型服务
模型 API 需要关联一个模型服务才能实际工作。您可以在 API 详情页的“基本信息”页签下,管理其关联的模型服务。
注意:
一个模型 API 最多允许绑定 1 个模型服务。
2. 在实例列表页面,单击需要配置的网关实例的“ID”,进入该网关实例的基本信息页面。
3. 在左侧导航栏单击模型管理,然后单击模型 API 页签。
4. 单击 API 的“ID/名称”,可进入其详情页面。
5. 在“基本信息”页签的“模型服务”区域,表格中会列出当前已关联的模型服务,包括其 ID/名称和模型供应商。
5.1 如果您需要解除当前模型 API 与模型服务的绑定关系,请按以下步骤操作:
5.1.1 在“模型服务”区域的表格中,找到已关联的服务,单击其右侧的取消关联操作。
5.1.2 系统将弹出“解除关联”确认窗口。窗口中会展示即将解除关联的模型 API 和模型服务的具体信息。为防止误操作,您需要在输入框中手动输入待解除关联的模型服务名称,以进行二次确认。
5.1.3 确认信息无误且输入的服务名称正确后,单击确定完成解绑。解绑后,当前模型 API 将无法再使用该模型服务。若需放弃操作,可单击取消。
5.2 如果模型 API 未关联任何服务,或您已解除了现有关联,可以为其重新关联一个模型服务。
5.2.1 在“模型服务”区域,单击关联模型服务按钮。
5.2.2 在弹出的选择器中,从列表中选择一个已创建好的模型服务。
5.2.3 单击确定完成关联。此后,通过此模型 API 的请求将由新关联的模型服务进行处理。
删除模型 API
2. 在实例列表页面,单击需要配置的网关实例的“ID”,进入该网关实例的基本信息页面。
3. 在左侧导航栏单击模型管理,然后单击模型API页签。
4. 在模型 API 列表页面,找到目标 API,单击其操作列下的删除,系统将进行删除前的依赖关系校验。
5. 系统会弹窗提示您确认删除,并自动检查该 API 是否存在被其他资源(如“消费者组”授权)绑定的情况。
若无依赖:弹窗将直接显示 API 信息,单击确定即可删除。删除 API 的同时,其自动生成的所有路由规则也会被一并删除。
若存在依赖:弹窗会显示“资源删除依赖关系检查结果”,并提示“存在未解除的依赖关系”,同时列出具体的依赖项。
6. 若存在依赖,您需要先行解除所有列出的依赖关系。解除依赖后,可单击弹窗内的重新检查链接,系统将再次进行校验。
7. 当校验通过,依赖提示消失后,单击确定即可最终删除该 API。若需放弃删除,可单击取消。