请教接入新功能 JAN


我能否接入Jan 这个AI 软件? 希望能提供一个思路,谢谢。

2 个赞

Jan是一个能在本地运行的大模型软件,目的是让Koishi 和本地大模型连接起来。

2 个赞

2 个赞

我想做个插件和这个Jan连接上,希望有能力的伙伴可以提供帮助。

2 个赞

这个jan有api接口吗,

是openai格式的吗

2 个赞

有API接口。 这里有接口说明 Any OpenAI Compatible API - Jan

2 个赞

看起来是openai风格的

这在koishi 插件市场里已经有不少插件支持了

比如 chatluna 、davinci-003 等


类似这样的本地大模型,chatluna还支持了 llama 部署的本地模型接入


chatluna也有免部署的适配器可以玩, freexiaoxue 可以免费玩咪

4 个赞

好,按照你的推荐我去试试。有问题在请教。

2 个赞


jan 是采取直接连接方式 试了一个下午没有连接上。有没有其它插件可以试试。

2 个赞

这就是openai类接口

image


没有什么直接连接这一说

也有可能是这个项目不支持外部对接 / 不支持openai类型接口对接

2 个赞

我也实际测试了一下这个JAN项目

Releases · janhq/jan (github.com)


我对接了一些openai的中转站


然后开启了 JAN 项目的本地 API server


在 chatluna 的 openai-like 适配器里 对接后没有问题


实际调用测试也很正常:

(猫娘驯服成功~)


那么,你应该着重检查一下你的本地模型是否能正常被调用

以及是否能正常响应

3 个赞