oobabooga-testbot插件的使用教程

接下来我们回到oobabooga页面
你应该已经下载好了模型。
如果model文件夹下只有一个模型,那oobabooga会自动加载,如果有多个模型,像我这样,它就会跳出模型选择的页面:

现在我们以Vicuna-13b作为案例,来启动模型。
(注意!请关闭clash,oobabooga与clash会冲突,导致页面可以启动但是)
(为何不用Chatglm做例子是因为Chatglm需要额外安装一下icetk,稍后我会详细讲的)

我们输入7 然后回车启动oobabooga


弹出
Running on local URL: http://127.0.0.1:7860
To create a public link, set share=True in launch().
就说明启动成功,然后和stable-diffusion一样,我们访问127.0.0.1:7860

就可以看到webui界面了。

然后我会简单介绍一下oobabooga的界面选项,以及如何与模型对话和切换模型。
在页面顶端,我们可以看到这几个选项卡。
image
第一个是我们与模型对话的主要界面
第二个是人设/角色加载和设定界面
第三个是模型详细参数调节
第四个是模型切换,加载与下载界面
第五个是lora训练界面
第六个是webui的选项卡

详细设定我就不讲了,大伙自己用翻译看一下就行。
我主要来介绍第一个与模型对话的主要界面和第四个模型切换,加载与下载界面

Text generation界面


我们再input输入我们想要与模型对话的内容,然后使用黄色的generate按钮,就可以与模型对话了。
image
下面的几个按钮,就是一些正常的聊天用的按钮,自己摸索一下就都明白了。
image
然后是这部分,这你有三个模式,基本上就是不同的对话框模式
image

然后是下面的chat style
image
这里个选项取决于你的模型支持什么样的chat style,一般来说oobabooga会自动帮你选择最佳的。

最下面是gallery
这个是用来加载角色的。oobabooga自带了一个example角色。
image
选中角色卡就可以加载。

与模型对话的主要界面介绍就到这里。

接下来是第四个模型切换,加载与下载界面

model界面
我们选择选项卡来到model。


我将会分区来进行详细说明:
image
左上角是模型选择界面,我们可以直接选择模型进行加载,右边是lora界面,同样可以选择加载,下面是Transformers模型的选项,可以选择限制模型占用的内存大小,右侧可以选择使用的模式。
image
这里是GPTQ模型使用的选项,一般来说oobabooga会自动选择合适的,但使用较新的模型的时候,你可能得自己选择对应的模式。
image
这部分是是否自动加载模型,就是你上面的选项选择模型后是否会自动加载。
下面是模型自动下载,和之前提到的oobabooga自带的下载器使用方式一样,只需要huggingface上的名称就可以自动下载模型。
image
这里是llama模型的选项卡。
image
这里就不多说了,看不懂可以百度翻译一下。

对于oobabooga界面的介绍就到此为止了
除了我介绍的部分之外,oobabooga还提供非常多的各种类型的功能,同时和stable-diffusion一样,也支持插件安装,大家可以自行探索。
也可以来qq群内一起讨论:719518427

2 个赞