oobabooga-testbot
更新:oobabooga-testbot(1.9.0→1.9.1)
更新内容:
添加了对普通vits模型的支持,增加了一个专用的bert-vits2模型的开关,注意:更换语音指令并不对vits模型生效
添加了更换语音指令的id表功能,增加了数字上限与各种情况下的回复。
输入id过大:
输入为空:
输入非id字符:
oobabooga-testbot
更新:oobabooga-testbot(1.9.0→1.9.1)
更新内容:
添加了对普通vits模型的支持,增加了一个专用的bert-vits2模型的开关,注意:更换语音指令并不对vits模型生效
添加了更换语音指令的id表功能,增加了数字上限与各种情况下的回复。
输入id过大:
输入为空:
输入非id字符:
oobabooga-testbot
更新:oobabooga-testbot(1.9.1→1.9.3)
更新内容:
修复:tts合成文本过长的提示发送失败的bug。
oobabooga-testbot
更新:oobabooga-testbot(1.9.3→2.0.0)
!!重大更新!!
优化:stop string修正,模型现在不会输出一长串后再进行截段了,提高了生成效率。
新增:补齐了几乎所有的api高级选项。
!!真群聊功能,测试中,可以通过关闭真群聊选项返回正常模式!!
api高级选项:
stop string修正:
!!真群聊功能,测试中!!
原理解析:
通过关闭记录userId,并且通过获取用户名称并替换入历史记录中,让模型拥有了真群聊能力。
其历史记录文本大致为这种格式(此图片仅为演示参考)
其余所有功能都与在未开启真群聊模式的情况下一致。
!!注意!!
真群聊仍然在测试中,如有问题请直接加群反馈。
同时真群聊模式对模型的智商要求较高,如果模型的智商不够,可能会表现出记忆混乱的情况。
尽量选用13b以上的模型,提高容错空间。
oobabooga-testbot
更新:oobabooga-testbot(2.0.0→2.0.2)
更新内容:
新增:
回复消息的检测
oob.tag指令的开关
与setu插件的联动
某个新春小彩蛋(乐),大伙可以自己找找触发方式,提示:恭喜发财
彩蛋功能将会在未来以某种方式变成常驻功能,而且可供调整的选项会更多
回复消息的检测:
起因是Telegram平台下的回复不会自动@所以补充了一个回复的检测
ps:对开发群被影响到的大佬们说声抱歉,我一开始没仔细看koishi文档
oob.tag指令的开关:
与setu插件的联动:
某个新春小彩蛋:
你猜猜我加了啥?(乐)
oobabooga-testbot
更新:oobabooga-testbot(2.0.0→2.0.2)
更新内容:
BUG修复:
在使用引用回复的时候,即使引用对象并不是机器人,也会触发机器人的回复。
这是由于koishi提供的session.quote内的信息不足以判断回复对象导致的,已经提交了issue,所以短时间内这个功能是实现不了了,新版本已经屏蔽了这个功能来保证可以正常使用。
oobabooga-testbot
更新:oobabooga-testbot(2.0.2→2.0.5)
更新内容:
BUG修复:
通过多天尝试,大概也许可能终于修好了回复触发这个方式,如果还是有问题,那我就打算加个开关控制开启关闭了。
版本支持更新:支持koishi4.16.4+
oobabooga-testbot
更新:oobabooga-testbot(2.0.5→3.0.0)
大家好,这里是在哥谭暴打了谜语人一个多月的smzh。
时隔三个月终于想起来要回来更新oobabooga插件了(悲)。
主要是屎山太大,一直在用零碎时间拆解屎山。
最终终于是重构了整个插件。
给各位看看对比:
大屎山变成了小屎山呢(虽然都是屎)
碎碎念就到这里了,接下来是具体更新内容:
更新内容:
重构整个插件,并且切换到了使用chat接口,以方便后续开发
删除了赛博缘的自动调用
删除了彩蛋以及音乐播放器的功能
修复了群聊模式的id获取
整体上来说变动并不是很大。删掉了几个无关紧要的功能,为接下来的新功能留出位置。
打算在接下来的小更新中陆续加入一些让模型能调用工具的能力。
google搜索啊,时间,天气预报啊,啥的。
oobabooga-testbot
更新:oobabooga-testbot(3.3.0→3.4.0)
调整google搜索,进一步搜索到维基百科页面并获取数据。同时可以返回网页图片。
注意开启图片返回的时候最好配置好屏蔽词,防止滥用!
同时,开启图片返回必须配合全局梯子,因为puppeteer的代理配置存在一定问题。
【一个视频让你随时随地与你的AI猫娘聊天!oobabooga-testbot插件,全流程手把手讲解!快速搭建属于你自己的在线私人AI】 一个视频让你随时随地与你的AI猫娘聊天!oobabooga-testbot插件,全流程手把手讲解!快速搭建属于你自己的在线私人AI_哔哩哔哩_bilibili
插件使用的完整教程,后续要是再有大功能更新,可能会补一些小的分块。
oobabooga-testbot
更新:oobabooga-testbot(3.4.1→3.4.2)
修复stop参数,修复新版本koishi情况下at的报错,调整简介。
oobabooga-testbot
更新:oobabooga-testbot(3.4.2→3.5.5)
项目名:GitHub - GralchemOz/llm_toolkit_api: A simple api for llm tools
修复用户输入与模型收到内容不符的底层逻辑错误,标准化模型输出,防止部分HTML代码无法输出。
新增模块:视觉模块beta测试,oob.vision指令,表情包模块
oob.vision
首先你需要去git clone这个:
然后,你需要安装这个的环境,也就是pip install requirements
建议用conda进行环境隔离(或者使用tgw最新的懒人包也行,懒人包环境是满足需求的,不需要下载任何依赖,直接使用更目录的cmd_windows.bat进入懒人包环境即可)
然后你需要去下载模型:
下好之后全部文件都放一个目录就行。
接下来,你需要在你的环境内,运行
python main.py --model_path 模型路径(到文件夹)\Florence-2-large-ft --host 0.0.0.0
就可以使用GPU进行推理了。需要额外的1-2g显存。
你想要用cpu的话可以使用(amd一些老型号不行,比如我的3900x):
python main.py --model_path C:\Users\Administrator\Desktop\TGW\Florence-2-large-ft --host 0.0.0.0 --device cpu --dtype bfloat16
如果无法正常运行,考虑就是cpu不支持bfloat16,可以用下面这条:
python main.py --model_path C:\Users\Administrator\Desktop\TGW\Florence-2-large-ft --host 0.0.0.0 --device cpu --dtype float32
但这样就需要10g左右的内存,然后cpu运算速度比较慢,会导致延迟。
启动后:
然后随便找个图片用oob.vision测试一下,就行了。
oobabooga-testbot
更新:oobabooga-testbot(3.5.5→3.6.0)
修复历史记录存储bug,改进工具调用格式
新增模块:向量库长期记忆系统
首先还是安装最新版的toolkit
然后你得去按照上面的视觉模型教程去下个视觉模型
再然后你得去下这个m3e模型,这是embedding模型(其实有large和base两个版本,你要下哪个都行)
分别放在两个目录下像这样:
接下来,你需要在最新的懒人包环境内,运行
python main.py --model_path 模型路径(到文件夹)\\Florence-2-large-ft --embedding_model_path 模型路径(到文件夹)\\m3e-large --host 0.0.0.0
就可以使用GPU进行推理了。需要额外的2-3g显存。
要用CPU的话就加上上面一样的后缀就行。
插件里头一样,进行一下配置
http://127.0.0.1:8000/embed
然后你就可以去正常聊天了。
正常来说emb系统会在模型聊天轮数超过你设定的基础的+5轮对话的时候开始自动处理,将上下文总结并加入数据库。
如果你开了debug模式,你应该可以看到这样的输出。
oobabooga-testbot
更新:oobabooga-testbot(3.6.0→3.8.0)
3.6.0到3.7.1之间的都是小的优化和bug修复,重点在3.7.1到3.8.0的更新。
效果演示:
看起来好像没什么区别是吧,正常在人设加入这些信息就能让它回复这些。
但这里是使用的人设:
首先你需要打开emb向量库
.emb向量库是必须的.
然后打开这个开关:
koishi插件目录下新增了background目录,进入其中。
默认只提供一个咕咕白的背景,如果你没有给人设配置背景库也不会影响人设正常使用。
每个人设都可以配置一个同名字的背景信息库。
其内部构造为基础数组结构,你可以随意增减其中的条目:
注意格式,别改错了,改好后保存即可。
接下来是如何使用。
在打开这个按钮后:
预处理只需要进行一次,重启koishi也不会消失,背景库向量化后是固定且写入文件的。
根据你的背景库大小,以及模型与emb模型性能,其处理时长可能也会不一样。
注意,在你进行处理后,背景库就确定了,要进行修改的话,你需要删除新出现的-background文件,然后再次运行oob.pretreat,指令只会处理没有背景库的人设,已经处理好的不会重复处理,所以只要删掉你要修改的就行。
如果你不想提前处理的话,在oob.load加载人设的时候,程序也会尝试自动进行处理。也就是说,如果你不提前做好处理的话,加载人设的时间可能会变得很长。
人设背景库其实是emb模型的另一种用法,在我们运行oob.pretreat的时候,程序会将人设背景库内的文本逐条进行向打标并向量化,然后存入每个加载人设的用户的独立记忆库内,通过tag检索与语意向量相似度的计算,动态的插入system prompt内,做到动态的调整,只将需要的内容实时添加到人设内,这样就大幅度节约了系统人设的token长度,变相提高了效率。
后续将会将这套系统增加并逐步更新为更高级的worldbook系统,并添加到knj内,理论上应该会能让模型运行一个简单的模拟场景系统。(前提是我有空摸鱼)
oobabooga-testbot
更新:oobabooga-testbot(3.8.0→3.8.9)
新增:审查系统,文本分段发送
优化:人设背景库系统逻辑,调整总结与打标prompt,调整检索权重
你可以按照你的想法修改有害度的评判标准。(越低审查门槛越低,拦截概率越低)
没啥好说的,就是单纯和knj一样的分开发送回复而已
唯一要注意的就是,这个模式是没有at的,所以群聊模式下,有可能会导致回复混乱,建议酌情开启。
好了不多说了,黑神话,悟空!启动
oobabooga-testbot
更新:oobabooga-testbot(3.8.9→3.9.0)
修复:背景人设库处理时上下文不会清理的情况。背景人设库处理时延时堆叠的情况。添加自动补全对应url防止出现转发频繁的情况。
总的来说,大幅加速背景人设库处理速度。
oobabooga-testbot
更新:oobabooga-testbot(3.9.0→3.9.1)
优化:调整emb权重逻辑,加入强tag匹配。
加入更多可调整参数
强tag匹配逻辑是直接使用打标的tag,匹配用户输入,来进行加权,增加emb读取的关联性。是听取了群友的意见加入的,现在暂定的加权权重为0.2,这个功能暂时发出来给大家测试测试,是否保留得看测试效果。如果各位有更多好的意见,可以直接加群反馈。
q群:719518427