oobabooga-testbot
更新：oobabooga-testbot（2.0.5→3.0.0）
大家好，这里是在哥谭暴打了谜语人一个多月的smzh。
时隔三个月终于想起来要回来更新oobabooga插件了(悲)。
主要是屎山太大，一直在用零碎时间拆解屎山。
最终终于是重构了整个插件。
给各位看看对比：
大屎山变成了小屎山呢（虽然都是屎）
碎碎念就到这里了，接下来是具体更新内容：
更新内容:
重构整个插件，并且切换到了使用chat接口，以方便后续开发
删除了赛博缘的自动调用
删除了彩蛋以及音乐播放器的功能
修复了群聊模式的id获取
整体上来说变动并不是很大。删掉了几个无关紧要的功能，为接下来的新功能留出位置。
打算在接下来的小更新中陆续加入一些让模型能调用工具的能力。
google搜索啊，时间，天气预报啊，啥的。
oobabooga-testbot
更新：oobabooga-testbot（3.3.0→3.4.0）
调整google搜索，进一步搜索到维基百科页面并获取数据。同时可以返回网页图片。
注意开启图片返回的时候最好配置好屏蔽词，防止滥用！
同时，开启图片返回必须配合全局梯子，因为puppeteer的代理配置存在一定问题。
【一个视频让你随时随地与你的AI猫娘聊天！oobabooga-testbot插件，全流程手把手讲解！快速搭建属于你自己的在线私人AI】 一个视频让你随时随地与你的AI猫娘聊天！oobabooga-testbot插件，全流程手把手讲解！快速搭建属于你自己的在线私人AI_哔哩哔哩_bilibili
插件使用的完整教程，后续要是再有大功能更新，可能会补一些小的分块。
oobabooga-testbot
更新：oobabooga-testbot（3.4.1→3.4.2）
修复stop参数，修复新版本koishi情况下at的报错，调整简介。
oobabooga-testbot
更新：oobabooga-testbot（3.4.2→3.5.5）
项目名：GitHub - GralchemOz/llm_toolkit_api: A simple api for llm tools
修复用户输入与模型收到内容不符的底层逻辑错误，标准化模型输出，防止部分HTML代码无法输出。
新增模块：视觉模块beta测试，oob.vision指令，表情包模块
oob.vision
首先你需要去git clone这个：
然后，你需要安装这个的环境，也就是pip install requirements
建议用conda进行环境隔离（或者使用tgw最新的懒人包也行，懒人包环境是满足需求的，不需要下载任何依赖，直接使用更目录的cmd_windows.bat进入懒人包环境即可）
然后你需要去下载模型：
下好之后全部文件都放一个目录就行。
接下来，你需要在你的环境内，运行
python main.py --model_path 模型路径(到文件夹)\Florence-2-large-ft --host 0.0.0.0
就可以使用GPU进行推理了。需要额外的1-2g显存。
你想要用cpu的话可以使用（amd一些老型号不行，比如我的3900x）：
python main.py --model_path C:\Users\Administrator\Desktop\TGW\Florence-2-large-ft --host 0.0.0.0 --device cpu --dtype bfloat16
如果无法正常运行，考虑就是cpu不支持bfloat16，可以用下面这条：
python main.py --model_path C:\Users\Administrator\Desktop\TGW\Florence-2-large-ft --host 0.0.0.0 --device cpu --dtype float32
但这样就需要10g左右的内存，然后cpu运算速度比较慢，会导致延迟。
启动后：
然后随便找个图片用oob.vision测试一下，就行了。
oobabooga-testbot
更新：oobabooga-testbot（3.5.5→3.6.0）
修复历史记录存储bug，改进工具调用格式
新增模块：向量库长期记忆系统
首先还是安装最新版的toolkit
然后你得去按照上面的视觉模型教程去下个视觉模型
再然后你得去下这个m3e模型，这是embedding模型（其实有large和base两个版本，你要下哪个都行）
分别放在两个目录下像这样：
接下来，你需要在最新的懒人包环境内，运行
python main.py --model_path 模型路径(到文件夹)\\Florence-2-large-ft --embedding_model_path 模型路径(到文件夹)\\m3e-large --host 0.0.0.0
就可以使用GPU进行推理了。需要额外的2-3g显存。
要用CPU的话就加上上面一样的后缀就行。
插件里头一样，进行一下配置
http://127.0.0.1:8000/embed
然后你就可以去正常聊天了。
正常来说emb系统会在模型聊天轮数超过你设定的基础的+5轮对话的时候开始自动处理，将上下文总结并加入数据库。
如果你开了debug模式，你应该可以看到这样的输出。
oobabooga-testbot
更新：oobabooga-testbot（3.6.0→3.8.0）
3.6.0到3.7.1之间的都是小的优化和bug修复，重点在3.7.1到3.8.0的更新。
效果演示：
看起来好像没什么区别是吧，正常在人设加入这些信息就能让它回复这些。
但这里是使用的人设：
首先你需要打开emb向量库
.emb向量库是必须的.
然后打开这个开关：
koishi插件目录下新增了background目录，进入其中。
默认只提供一个咕咕白的背景，如果你没有给人设配置背景库也不会影响人设正常使用。
每个人设都可以配置一个同名字的背景信息库。
其内部构造为基础数组结构，你可以随意增减其中的条目：
注意格式，别改错了，改好后保存即可。
接下来是如何使用。
在打开这个按钮后：
预处理只需要进行一次，重启koishi也不会消失，背景库向量化后是固定且写入文件的。
根据你的背景库大小，以及模型与emb模型性能，其处理时长可能也会不一样。
注意，在你进行处理后，背景库就确定了，要进行修改的话，你需要删除新出现的-background文件，然后再次运行oob.pretreat，指令只会处理没有背景库的人设，已经处理好的不会重复处理，所以只要删掉你要修改的就行。
如果你不想提前处理的话，在oob.load加载人设的时候，程序也会尝试自动进行处理。也就是说，如果你不提前做好处理的话，加载人设的时间可能会变得很长。
人设背景库其实是emb模型的另一种用法，在我们运行oob.pretreat的时候，程序会将人设背景库内的文本逐条进行向打标并向量化，然后存入每个加载人设的用户的独立记忆库内，通过tag检索与语意向量相似度的计算，动态的插入system prompt内，做到动态的调整，只将需要的内容实时添加到人设内，这样就大幅度节约了系统人设的token长度，变相提高了效率。
后续将会将这套系统增加并逐步更新为更高级的worldbook系统，并添加到knj内，理论上应该会能让模型运行一个简单的模拟场景系统。（前提是我有空摸鱼）
oobabooga-testbot
更新：oobabooga-testbot（3.8.0→3.8.9）
新增：审查系统，文本分段发送
优化：人设背景库系统逻辑，调整总结与打标prompt，调整检索权重
你可以按照你的想法修改有害度的评判标准。（越低审查门槛越低，拦截概率越低）
没啥好说的，就是单纯和knj一样的分开发送回复而已
唯一要注意的就是，这个模式是没有at的，所以群聊模式下，有可能会导致回复混乱，建议酌情开启。
好了不多说了，黑神话，悟空！启动
oobabooga-testbot
更新：oobabooga-testbot（3.8.9→3.9.0）
修复:背景人设库处理时上下文不会清理的情况。背景人设库处理时延时堆叠的情况。添加自动补全对应url防止出现转发频繁的情况。
总的来说，大幅加速背景人设库处理速度。
oobabooga-testbot
更新：oobabooga-testbot（3.9.0→3.9.1）
优化：调整emb权重逻辑，加入强tag匹配。
加入更多可调整参数
强tag匹配逻辑是直接使用打标的tag，匹配用户输入，来进行加权，增加emb读取的关联性。是听取了群友的意见加入的，现在暂定的加权权重为0.2，这个功能暂时发出来给大家测试测试，是否保留得看测试效果。如果各位有更多好的意见，可以直接加群反馈。
q群：719518427
oobabooga-testbot
更新：oobabooga-testbot（5.0.0→5.0.1）
修复高级选项内tgw_mode选项不生效的情况，增加tgw的name1，name2选项
oobabooga-testbot
更新：oobabooga-testbot（5.0.1→5.0.2）
给TGW高级选项增加character参数，方便使用chat-instruct模式进行模型破限。
oobabooga-testbot
更新：oobabooga-testbot（5.0.2→5.0.6）
5.0.5增加对原生gemini的api支持
5.0.6修复gemini的基础设置项在多后端配置下不显示的bug
