2 个赞
我想做个插件和这个Jan连接上,希望有能力的伙伴可以提供帮助。
2 个赞
这个jan有api接口吗,
是openai格式的吗
2 个赞
看起来是openai风格的
这在koishi 插件市场里已经有不少插件支持了
比如 chatluna 、davinci-003 等
类似这样的本地大模型,chatluna还支持了 llama 部署的本地模型接入
chatluna也有免部署的适配器可以玩, freexiaoxue 可以免费玩咪
4 个赞
好,按照你的推荐我去试试。有问题在请教。
2 个赞
这就是openai类接口
没有什么直接连接这一说
也有可能是这个项目不支持外部对接 / 不支持openai类型接口对接
2 个赞
我也实际测试了一下这个JAN项目
Releases · janhq/jan (github.com)
我对接了一些openai的中转站
然后开启了 JAN 项目的本地 API server
在 chatluna 的 openai-like 适配器里 对接后没有问题
实际调用测试也很正常:
(猫娘驯服成功~)
那么,你应该着重检查一下你的本地模型是否能正常被调用
以及是否能正常响应
3 个赞