首先先介绍一下oobabooga-testbot插件。
考虑到oobabooga-text-generation-webui在国内的使用人数较少，大家也都不太熟悉，所以本贴将从包含了从搭建webui开始的以下几个方面，逐步为大家讲解：PS：如果想查看插件使用教程请直接转跳第二部分 ）第一部分oobabooga-text-generation-webui 第二部分插件使用以及人设文档创建
8 个赞
第一部分 oobabooga-text-generation-webui
github页面：GitHub - oobabooga/text-generation-webui: A gradio web UI for running Large Language Models like LLaMA, llama.cpp, GPT-J, Pythia, OPT, and GALACTICA.
oobabooga-text-generation-webui是一个用于运行类似Chatglm、RWKV-Raven、Vicuna、MOSS、LLaMA、llama.cpp、GPT-J、Pythia、OPT和GALACTICA等大型语言模型的Gradio Web用户界面。
它的目标是成为文本生成的AUTOMATIC1111/stable-diffusion-webui。以下是一些交互界面： 文本交流界面:
人设创建界面:
模型选择界面:
3 个赞
第一部分oobabooga-text-generation-webui
webui支持的功能非常多，大部分重点我已经用加粗标注了。类似stable-diffusion的，用户友好型交互界面。 较为友善的一键安装模式。 模型兼容性极佳，主流模型都可以加载。 一键式模型切换能力。 自带人设管理，一键加载 高级聊天功能（发送图片，获取带有TTS的音频响应） LoRA（加载和训练）
3 个赞
第一部分oobabooga-text-generation-webui
github上提供了两种搭建方式：
其他途径搭建 coyude 提供了一个一键解压安装的懒人包，但我并没有尝试过是否兼容插件。
text-generation-webui的懒人包v1版本，使用Python+pyqt5制作了图形化启动程序。懒人包下载链接请看我B站专栏因为我是上周才开始学习python和pyqt5,因此启动器的UI和功能都做的比较差，请见谅，后续我会尽力更新和优化UI。最后感谢大家的观看！希望这个懒人包能帮助到你懒人包禁止商用, 视频播放量 3661、弹幕量 1、点赞数 221、投硬币枚数 85、收藏人数 470、转发人数 13, 视频作者 coyude, 作者简介...
专栏地址：
b站大佬 AI斯基摩人 提供了一个详细的视频教程。
接下来我将会着重讲解github上一键安装包的安装过程与分步手动搭建流程。
2 个赞
github一键安装流程 GitHub - oobabooga/text-generation-webui: A gradio web UI for running Large Language Models like LLaMA, llama.cpp, GPT-J, Pythia, OPT, and GALACTICA.
2.找到如下选项：
可以看到现在一键安装是支持Windows，Linux和MacOS的。我们以Windows系统为例：
选择链接下载注意！请务必将文件放置在全英文路径下，并且不要包涵空格或者其他特殊符号 这里是一个例子：D:\oobabooga\oobabooga_windows oobabooga本体大约会占用10g左右的磁盘空间，单个语言模型大小在10g左右，也有特别大的14b模型可以到29g以上，所以请确保你的磁盘空间至少有50g左右。加载模型的时候会将数据导入到运存中，所以你的磁盘读取速度越快越好，个人建议放在SSD中，可以显著加快加载速度。
特别注意： 接下来的步骤有大概率需要全程科学上网，才能正确安装，如果不会的话请百度，这里不多做赘述。
然后我们双击运行start_windows.bat
它会自动下载miniconda并且安装在当前目录下。
miniconda安装完成：
这里会让你选择你的GPU类型
A：NVIDIA ，N卡选A
B：AMD ，A卡选B
C：Apple M Series，苹果选C
D：没显卡，或者显卡太弱，用CPU跑模型的用户选D（会导致回复非常慢）
我这里本地是RTX3090显卡，所以我选A，输入A，然后回车继续。
然后它就会开始自动下载一堆东西，不需要进行操作。
这一步需要等待较长时间，取决于你的网速，请你耐心等待。
我这里等待了15分钟左右完成。
出现这个表示下载完成，开始解压安装。请继续等待。
出现这个说明开始安装依赖了。请继续等待。这一步报错的概率非常大，如果出现红色报错，说明你依赖安装出现了问题。绝大部分安装问题都出在这里。详见本帖最后的报错汇总，或者前往qq群直接询问。
出现以下提示：
现在的目录结构应该是这样的：
我们运行start_windows.bat，来测试启动oobabooga。
那么接下来我将简单的讲一下如何下载模型。
1 个赞
接上文，接下来我将简单介绍一下如何下载模型并在oobabooga内启动
我们先前往huggingface官网。https://huggingface.co/
我将以Chatglm模型作为例子。
搜索模型
选择第一个：https://huggingface.co/THUDM/chatglm-6b
然后我们会来到这个界面：
接下来有两个选择，你可以使用oobabooga自带的下载器，下载模型，或者自己选择文件下载。
使用oobabooga内置下载器
然后我们回到这个界面：
选择L选项 Manually specify a Hugging Face model
然后我们把刚刚复制的内容粘贴进去
回车，它就会开始自动下载了。
下载目录为：\oobabooga_windows\text-generation-webui\models
文件夹里面就是下载的模型了。
自己下载模型文件 https://huggingface.co/THUDM/chatglm-6b
把这里
所有的 文件都下载到刚刚创建的文件里面：
完成后的模型文件夹内部应该类似这样：
注意！
不同类型的模型有不同的模型格式，一般来说只要把huggingface里所有的文件都下载下来就行了。如果还有问题请加群询问。
接下来我们继续oobabooga的模型加载
1 个赞
接下来我们回到oobabooga页面
现在我们以Vicuna-13b作为案例，来启动模型。
我们输入7 然后回车启动oobabooga
弹出
Running on local URL:
http://127.0.0.1:7860
To create a public link, set
share=True in
launch().
就说明启动成功，然后和stable-diffusion一样，我们访问127.0.0.1:7860
就可以看到webui界面了。
然后我会简单介绍一下oobabooga的界面选项，以及如何与模型对话和切换模型。
详细设定我就不讲了，大伙自己用翻译看一下就行。
Text generation界面
我们再input输入我们想要与模型对话的内容，然后使用黄色的generate按钮，就可以与模型对话了。
下面的几个按钮，就是一些正常的聊天用的按钮，自己摸索一下就都明白了。
然后是这部分，这你有三个模式，基本上就是不同的对话框模式
然后是下面的chat style
最下面是gallery
与模型对话的主要界面介绍就到这里。
接下来是第四个模型切换，加载与下载界面
model界面
我将会分区来进行详细说明：
左上角是模型选择界面，我们可以直接选择模型进行加载，右边是lora界面，同样可以选择加载，下面是Transformers模型的选项，可以选择限制模型占用的内存大小，右侧可以选择使用的模式。
这里是GPTQ模型使用的选项，一般来说oobabooga会自动选择合适的，但使用较新的模型的时候，你可能得自己选择对应的模式。
这部分是是否自动加载模型，就是你上面的选项选择模型后是否会自动加载。
下面是模型自动下载，和之前提到的oobabooga自带的下载器使用方式一样，只需要huggingface上的名称就可以自动下载模型。
这里是llama模型的选项卡。
这里就不多说了，看不懂可以百度翻译一下。
对于oobabooga界面的介绍就到此为止了
2 个赞
接上面的oobabooga中使用Chatglm模型
等待安装完成
然后重开oobabooga，你就应该可以加载Chatglm模型了。
如果遇到更多问题，请在本贴最后部分进行询问，或者前往qq群提问：719518427
5 个赞
第一部分oobabooga-text-generation-webui
这部分主要是我的主观想法，大伙就当做安利就行了。
4 个赞
第二部分插件使用以及人设文档创建
在koishi的插件市场搜索oobabooga
点击添加就可以安装了
在插件配置页面进行配置即可正常使用：
oobabooga启用api服务 接下来我将讲解如何打开oobabooga的api选项，让插件可以调用本地的oobabooga。
添加该选项，然后保存并关闭，正常启动webui，
你可以在Interface mode选项卡中
看到：
这样api服务就正常启动了，你的插件应该可以通过默认的url地址调用oobabooga了。
3 个赞
第二部分插件使用以及人设文档创建
[oob]
[oob.check]
[oob.del]
[oob.list]
[oob.load]
[oob.reset]
[oob.tag]
[oob.undo]
我们先来看看配置页面：
apiURL是用来填写你的oobabooga的api地址的。想要开启oobabooga的api，请看楼上。
用户使用逻辑如下：
然后我们才可以使用oob与模型进行对话
oob指令是基础指令，通过使用oob指令可以直接与模型对话
历史记录将会实时保存在对应文件内，同时historylimit将会限制上下文长度，具体取决于你的设置。
使用oob.undo指令，可以撤回刚刚的一个提问
使用oob.reset指令，可以重置当前会话的历史记录
使用oob.del指令，可以删除当前的会话，来加载新的人设。
oob.tag指令可以，让Ai帮助补充tag，进行绘图。
oob.check指令是一个检查指令，它会检查是是否已经存在会话了
现在的插件已经支持昵称与@唤醒
5 个赞
很看好这这个项目，不过因为我的英文水平奇差，很多优秀的英文模型我都无法完整体验，如果有这方面的解决办法就好了。
4 个赞
昨天回复数量达到上限了，今天继续
第二部分插件使用以及人设文档创建
首先我们来到
使用记事本打开任意一个人设文件，你会发现人设文件的格式都是类似的。
人设文件由两部分组成：
人设文件实际上是以数组的形式存放的，这里是一个比较好理解的例子：
但我们的人设文件还要再稍微复杂一些，你可以看到，我们首先给出了一段人设：
然后在标准的对话例子中增加了开头结尾，这里是一个例子：
这是为了让模型更好的认识到哪些是人设，哪些是示例对话。同时规范模型的返回格式，以方便我们后续的处理。
请注意你的人设文件名称：
这是Aqua人设的内部，你可以看到这里的会话格式变成了：
[“You: ||Hello||”,“Aqua: ||Hello||”]
这是因为插件会自动识别人设文件的名称，让模型扮演角色，这样可以让模型的回复更加符合人设。
现在你已经大致了解了人设文件的格式了，你可以尝试性的创建一个自己的人设了。
2 个赞
接下来我将会讲解github上分步手动搭建流程。 上面忘记讲了，现在补充一下
首先你需要安装Conda或者WSL
以下我将会以安装了conda虚拟环境的方式继续
激活conda
然后根据你的系统，安装Pytorch
然后安装oobabooga
安装依赖
等待依赖跑完就算安装完成了。GitHub - oobabooga/text-generation-webui: A gradio web UI for running Large Language Models like LLaMA, llama.cpp, GPT-J, Pythia, OPT, and GALACTICA.
2 个赞
教程部分基本上完结了 如果之后还有其他想得到的东西，就之后再添加了。
这层楼将作为问题回复与报错汇总。
2 个赞
加了点超链接方便阅读 https://www.npmjs.com/package/koishi-plugin-oobabooga-testbot GitHub - HunterShenSmzh/koishi-plugin-oobabooga-testbot: 一个基于oobabooga-text-generation-webui语言模型启动器的qq机器人，实现了一些基本的指令。支持vits语音回复，支持AI补充tag进行绘图。
考虑到oobabooga-text-generation-webui在国内的使用人数较少，大家也都不太熟悉，所以本贴将从包含了从搭建webui开始的以下几个方面，逐步为大家讲解：PS：如果想查看插件使用教程请直接转跳第二部分 ）
A gradio web UI for running Large Language Models like LLaMA, llama.cpp, GPT-J, Pythia, OPT, and GALACTICA. - GitHub - oobabooga/text-generation-webui: A gradio web UI for running Large Language Mo...
第一部分oobabooga-text-generation-webui 1.oobabooga-text-generation-webui是什么？ 2.oobabooga-text-generation-webui的主要功能有哪些？ 3.oobabooga-text-generation-webui如何本地搭建。 3.1github一键安装流程 3.2 下载模型与启动 3.3oobabooga使用界面介绍 3.4手动分步安装 4.为什么我推荐大家使用oobabooga-text-generation-webui。 第二部分插件使用以及人设文档创建 1.插件安装 2.插件使用教程 3.建立自己的人设文档
答疑与报错汇总
4 个赞
我做了一个docker镜像， initialencounter/text-gen-webui - Docker Image | Docker Hub
docker run --gpus all -d -it -p 7860:7860 initialencounter/text-gen-webui:latest
conda activate textgen;
cd /text-generation-webui;
python server.py --api --listen --listen-host "0.0.0.0" --listen-port 7860
4 个赞
如果你在加载chatglm时，弹出了这个报错：
那么请按照以下方法打开选项：
请注意chatglm需要打开trust_remote_code选项
请前往根目录，找到webui.py文件
这样就能开启trust_remote_code选项了
或者可以再webui中进行调整：
勾选好后，选择
就可以正常加载模型了。
2 个赞
