oobabooga-testbot插件的使用教程

oobabooga-testbot
更新:oobabooga-testbot(1.8.1→1.8.2)

更新内容:
修复:赛博缘不会检测没有输入文本的情况,顺带给其他的指令也加了这个检测。

3 个赞

oobabooga-testbot
更新:oobabooga-testbot(1.8.2→1.9.0)

更新内容:
修复:修复了在tg平台上channelId的格式问题。
新增:
添加了整套对vits-simple-api的支持与新的tts相关设置(只对新输出模式生效,且仅能使用bert vits2模型,旧模式依然沿用旧的与open vits插件联动的方式输出音频)

添加了新的输出模式:同时返回语音与文字,独立语音。这个模式下每个人都可以选择独立的bot语音。

添加了新的指令:oob.speaker 别名:更换语音 只在新的输出模式下生效,可以更换绑定的bot语音
image

使用方法如下:
在输出模式切换为:同时返回语音与文字,独立语音 时

与模型进行聊天会创建独特格式的历史记录:
image
image

最后一位就是绑定的speaker id

使用oob.speaker指令可以修改此id:
image
image

具体的角色id以bert vits2的speakerid为准。

4 个赞

oobabooga-testbot
更新:oobabooga-testbot(1.9.0→1.9.1)

更新内容:
添加了对普通vits模型的支持,增加了一个专用的bert-vits2模型的开关,注意:更换语音指令并不对vits模型生效

添加了更换语音指令的id表功能,增加了数字上限与各种情况下的回复。
输入id过大:
image

输入为空:

输入非id字符:
image

2 个赞

oobabooga-testbot
更新:oobabooga-testbot(1.9.1→1.9.3)

更新内容:
修复:tts合成文本过长的提示发送失败的bug。

oobabooga-testbot
更新:oobabooga-testbot(1.9.3→2.0.0)
!!重大更新!!
优化:stop string修正,模型现在不会输出一长串后再进行截段了,提高了生成效率。
新增:补齐了几乎所有的api高级选项。
!!真群聊功能,测试中,可以通过关闭真群聊选项返回正常模式!!

api高级选项:


很长,但是会用的大伙可以自己去调整了。

stop string修正:


使用这个就可以有效防止模型进行自问自答(仅在非真群聊情况下作用极大,真群聊下效果不一定那么好。)

!!真群聊功能,测试中!!




原理解析:
通过关闭记录userId,并且通过获取用户名称并替换入历史记录中,让模型拥有了真群聊能力。
image
其历史记录文本大致为这种格式(此图片仅为演示参考)
其余所有功能都与在未开启真群聊模式的情况下一致。

!!注意!!
真群聊仍然在测试中,如有问题请直接加群反馈。
同时真群聊模式对模型的智商要求较高,如果模型的智商不够,可能会表现出记忆混乱的情况。
尽量选用13b以上的模型,提高容错空间。

4 个赞

oobabooga-testbot
更新:oobabooga-testbot(2.0.0→2.0.2)
更新内容:
新增:
回复消息的检测
oob.tag指令的开关
与setu插件的联动
某个新春小彩蛋(乐),大伙可以自己找找触发方式,提示:恭喜发财
彩蛋功能将会在未来以某种方式变成常驻功能,而且可供调整的选项会更多

回复消息的检测:
起因是Telegram平台下的回复不会自动@所以补充了一个回复的检测
image
ps:对开发群被影响到的大佬们说声抱歉,我一开始没仔细看koishi文档 :pray:

oob.tag指令的开关:


开启后才能使用oob.tag指令,这是给一些不想同时启动novelai的用户的。

与setu插件的联动:


在未开启oob.tag命令的时候的替代品,需要配置一个setu插件。
例如setu 或是 @emuotori/setu 这两个插件。
效果如下:
image

某个新春小彩蛋:
你猜猜我加了啥?(乐)

3 个赞

oobabooga-testbot
更新:oobabooga-testbot(2.0.0→2.0.2)
更新内容:
BUG修复:
在使用引用回复的时候,即使引用对象并不是机器人,也会触发机器人的回复。
80b89ecc872445f5452a3e6e89055bfd

这是由于koishi提供的session.quote内的信息不足以判断回复对象导致的,已经提交了issue,所以短时间内这个功能是实现不了了,新版本已经屏蔽了这个功能来保证可以正常使用。
:pray: :pray: :pray:

3 个赞

oobabooga-testbot
更新:oobabooga-testbot(2.0.2→2.0.5)

更新内容:
BUG修复:
通过多天尝试,大概也许可能终于修好了回复触发这个方式,如果还是有问题,那我就打算加个开关控制开启关闭了。
版本支持更新:支持koishi4.16.4+

5 个赞

oobabooga-testbot
更新:oobabooga-testbot(2.0.5→3.0.0)

大家好,这里是在哥谭暴打了谜语人一个多月的smzh。
时隔三个月终于想起来要回来更新oobabooga插件了(悲)。
主要是屎山太大,一直在用零碎时间拆解屎山。
最终终于是重构了整个插件。
给各位看看对比:
image
大屎山变成了小屎山呢(虽然都是屎)
碎碎念就到这里了,接下来是具体更新内容:

更新内容:
重构整个插件,并且切换到了使用chat接口,以方便后续开发
删除了赛博缘的自动调用
删除了彩蛋以及音乐播放器的功能
修复了群聊模式的id获取

整体上来说变动并不是很大。删掉了几个无关紧要的功能,为接下来的新功能留出位置。
打算在接下来的小更新中陆续加入一些让模型能调用工具的能力。
google搜索啊,时间,天气预报啊,啥的。

3 个赞

oobabooga-testbot
更新:oobabooga-testbot(3.0.0→3.2.0)

初步更新工具调用能力,同时维修了一些小bug。


image
image

1 个赞

oobabooga-testbot
更新:oobabooga-testbot(3.2.0→3.3.0)

更新完整工具调用能力,可以使用时间工具,天气工具,Google搜索。




image

1 个赞

oobabooga-testbot
更新:oobabooga-testbot(3.3.0→3.4.0)

调整google搜索,进一步搜索到维基百科页面并获取数据。同时可以返回网页图片。
注意开启图片返回的时候最好配置好屏蔽词,防止滥用!
同时,开启图片返回必须配合全局梯子,因为puppeteer的代理配置存在一定问题。

image


image

1 个赞

【一个视频让你随时随地与你的AI猫娘聊天!oobabooga-testbot插件,全流程手把手讲解!快速搭建属于你自己的在线私人AI】 一个视频让你随时随地与你的AI猫娘聊天!oobabooga-testbot插件,全流程手把手讲解!快速搭建属于你自己的在线私人AI_哔哩哔哩_bilibili

插件使用的完整教程,后续要是再有大功能更新,可能会补一些小的分块。

1 个赞

oobabooga-testbot
更新:oobabooga-testbot(3.4.1→3.4.2)

修复stop参数,修复新版本koishi情况下at的报错,调整简介。

1 个赞

oobabooga-testbot
更新:oobabooga-testbot(3.4.2→3.5.5)

支持接入视觉模块

项目名:GitHub - GralchemOz/llm_toolkit_api: A simple api for llm tools

新版本新增:

修复用户输入与模型收到内容不符的底层逻辑错误,标准化模型输出,防止部分HTML代码无法输出。
新增模块:视觉模块beta测试,oob.vision指令,表情包模块

视觉模块:



image
(ps动图只能识别第一帧)
可以通过触发指令(或者at机器人)+文本+图片
也可以通过回复某个有图片的消息+触发指令(或者at机器人)+文本
来触发机器人的视觉识别

新增指令:

oob.vision
image

表情包:



ps表情包是纯由模型自己判断的

1 个赞

视觉模块使用教程:

首先你需要去git clone这个:

然后,你需要安装这个的环境,也就是pip install requirements
建议用conda进行环境隔离(或者使用tgw最新的懒人包也行,懒人包环境是满足需求的,不需要下载任何依赖,直接使用更目录的cmd_windows.bat进入懒人包环境即可)

然后你需要去下载模型:

下好之后全部文件都放一个目录就行。

接下来,你需要在你的环境内,运行

python main.py --model_path 模型路径(到文件夹)\Florence-2-large-ft --host 0.0.0.0

就可以使用GPU进行推理了。需要额外的1-2g显存。
你想要用cpu的话可以使用(amd一些老型号不行,比如我的3900x):

python main.py --model_path C:\Users\Administrator\Desktop\TGW\Florence-2-large-ft --host 0.0.0.0 --device cpu --dtype bfloat16

如果无法正常运行,考虑就是cpu不支持bfloat16,可以用下面这条:

python main.py --model_path C:\Users\Administrator\Desktop\TGW\Florence-2-large-ft --host 0.0.0.0 --device cpu --dtype float32

但这样就需要10g左右的内存,然后cpu运算速度比较慢,会导致延迟。
启动后:


插件里头配置一下(我这里是本地服务器,所以填的服务器ip,你要全是一台机子的话,直接http://127.0.0.1:8000/generate 就行),记得必须加/generate

然后随便找个图片用oob.vision测试一下,就行了。

oobabooga-testbot
更新:oobabooga-testbot(3.5.5→3.6.0)

支持接入emb向量库,理论模型记忆能力+∞

新版本新增:

修复历史记录存储bug,改进工具调用格式
新增模块:向量库长期记忆系统

emb模块:


采用emb向量库系统,将用户输入进行分析总结,将模型上下文进行分析总结,可以通过语意试试读取记忆库中的相关数据。

emb模块使用教程:

首先还是安装最新版的toolkit

然后你得去按照上面的视觉模型教程去下个视觉模型

再然后你得去下这个m3e模型,这是embedding模型(其实有large和base两个版本,你要下哪个都行)

分别放在两个目录下像这样:
image

接下来,你需要在最新的懒人包环境内,运行

python main.py --model_path 模型路径(到文件夹)\\Florence-2-large-ft --embedding_model_path 模型路径(到文件夹)\\m3e-large --host 0.0.0.0

就可以使用GPU进行推理了。需要额外的2-3g显存。
要用CPU的话就加上上面一样的后缀就行。

插件里头一样,进行一下配置


注意 emb url里头

http://127.0.0.1:8000/embed

然后你就可以去正常聊天了。
正常来说emb系统会在模型聊天轮数超过你设定的基础的+5轮对话的时候开始自动处理,将上下文总结并加入数据库。
如果你开了debug模式,你应该可以看到这样的输出。
image

4 个赞

oobabooga-testbot
更新:oobabooga-testbot(3.6.0→3.8.0)

3.6.0到3.7.1之间的都是小的优化和bug修复,重点在3.7.1到3.8.0的更新。

3.8.0大更新哦

增加了人设背景库系统

效果演示:

看起来好像没什么区别是吧,正常在人设加入这些信息就能让它回复这些。
但这里是使用的人设:


你可以看到,人设内完全没有这些信息,那么她是从哪知道的呢?
就是从新的人设背景库。
新的人设背景库提供了一种不需要占用宝贵的人设空间的,灵活增加设定的方法。
PS:你甚至可以直接把它当做知识库来使用。

使用方法

首先你需要打开emb向量库
:exclamation:.emb向量库是必须的:exclamation:.

然后打开这个开关:

koishi插件目录下新增了background目录,进入其中。

默认只提供一个咕咕白的背景,如果你没有给人设配置背景库也不会影响人设正常使用。
每个人设都可以配置一个同名字的背景信息库。

其内部构造为基础数组结构,你可以随意增减其中的条目:
image
注意格式,别改错了,改好后保存即可。

接下来是如何使用。
在打开这个按钮后:


会多出来一个指令,叫做oob.pretreat
你需要运行这个指令对所有的人设背景库进行预处理。
处理完成后会提示:
image
文件夹内会多出-background的文件:

预处理只需要进行一次,重启koishi也不会消失,背景库向量化后是固定且写入文件的
根据你的背景库大小,以及模型与emb模型性能,其处理时长可能也会不一样。
注意,在你进行处理后,背景库就确定了,要进行修改的话,你需要删除新出现的-background文件,然后再次运行oob.pretreat,指令只会处理没有背景库的人设,已经处理好的不会重复处理,所以只要删掉你要修改的就行。

如果你不想提前处理的话,在oob.load加载人设的时候,程序也会尝试自动进行处理。也就是说,如果你不提前做好处理的话,加载人设的时间可能会变得很长。

原理讲解

人设背景库其实是emb模型的另一种用法,在我们运行oob.pretreat的时候,程序会将人设背景库内的文本逐条进行向打标并向量化,然后存入每个加载人设的用户的独立记忆库内,通过tag检索与语意向量相似度的计算,动态的插入system prompt内,做到动态的调整,只将需要的内容实时添加到人设内,这样就大幅度节约了系统人设的token长度,变相提高了效率。

后续将会将这套系统增加并逐步更新为更高级的worldbook系统,并添加到knj内,理论上应该会能让模型运行一个简单的模拟场景系统。(前提是我有空摸鱼)

2 个赞

oobabooga-testbot
更新:oobabooga-testbot(3.8.0→3.8.9)

新增:审查系统,文本分段发送
优化:人设背景库系统逻辑,调整总结与打标prompt,调整检索权重

审查系统



现在的审查系统本质上是一种模型的自审查,和模型的能力是有关系的,开启后会由一个特殊的人设来对用户输入进行打分。
目的主要是在于对用户的输入进行审查,防止模型生成不符合价值观的内容。(虽然本意是作为防止群友乱玩人设穿甲弹的对策,但后续完善了之后,干脆做了一套审查体系)

image
image

你可以按照你的想法修改有害度的评判标准。(越低审查门槛越低,拦截概率越低)

文本分段发送:

没啥好说的,就是单纯和knj一样的分开发送回复而已
image
唯一要注意的就是,这个模式是没有at的,所以群聊模式下,有可能会导致回复混乱,建议酌情开启。

好了不多说了,黑神话,悟空!启动

3 个赞

oobabooga-testbot
更新:oobabooga-testbot(3.8.9→3.9.0)

修复:背景人设库处理时上下文不会清理的情况。背景人设库处理时延时堆叠的情况。添加自动补全对应url防止出现转发频繁的情况。

总的来说,大幅加速背景人设库处理速度。

2 个赞

oobabooga-testbot
更新:oobabooga-testbot(3.9.0→3.9.1)

优化:调整emb权重逻辑,加入强tag匹配。

加入更多可调整参数

强tag匹配逻辑是直接使用打标的tag,匹配用户输入,来进行加权,增加emb读取的关联性。是听取了群友的意见加入的,现在暂定的加权权重为0.2,这个功能暂时发出来给大家测试测试,是否保留得看测试效果。如果各位有更多好的意见,可以直接加群反馈。

q群:719518427

2 个赞