推理模型QwQ-32B

本文介绍云端一键部署以及API调用推理模型QwQ-32B的方法:

step 1:找到QwQ-32B模型

选择GPU配置后,下拉页面至底部,在选择镜像–预置模型镜像,点击选择QwQ-32B

step 2:在快捷工具中打开

点开容器实例页面,在开机实例的快捷工具中,点击【open-webui】

step 3:登录 Open WebUI

电子邮箱可任意写,不用激活验证。填完后,可保存登陆信息。

step 4:即可进入QwQ-32B交互页面

step 5:模型调用

成功进入页面后,您可以通过以下两种方式调用QwQ-32B模型:  

方式一:通过WebUI直接交互  

输入问题/指令:在WebUI的输入框中直接输入您的问题或任务指令(例如:“请用Python实现快速排序算法”),提交后即可收到实时返回的推理结果。  

方式二:通过API调用(适合开发者)  

1)获取API信息:  

返回BuluAI容器实例页面,在实例的快捷工具中找到ollama,右键复制链接。

2)调用示例(Shell): 

curl http://sh.tools.buluai.cn:40317/api/generate -d '{
  "model": "QwQ:32B",
  "prompt": "Why is the sky blue?",
  "stream": false
}'

3)处理响应:

API会返回JSON格式的结果,在自己的业务逻辑中正确的处理他们。

小贴士:  

API调用详情,可以参考官方网站的文档

https://github.com/ollama/ollama/blob/main/docs/api.md