oobabooga-testbot插件的使用教程

github一键安装流程
出现任何意外都可以来qq群交流:719518427
1.首先前往github主页。
地址:GitHub - oobabooga/text-generation-webui: A gradio web UI for running Large Language Models like LLaMA, llama.cpp, GPT-J, Pythia, OPT, and GALACTICA.

2.找到如下选项:

可以看到现在一键安装是支持Windows,Linux和MacOS的。
我们以Windows系统为例:
(注:接下来的全程都是在Windows10系统下的)

选择链接下载
image
image
解压缩
这里是解压缩后的文件:
image
注意!请务必将文件放置在全英文路径下,并且不要包涵空格或者其他特殊符号
这里是一个例子:D:\oobabooga\oobabooga_windows
oobabooga本体大约会占用10g左右的磁盘空间,单个语言模型大小在10g左右,也有特别大的14b模型可以到29g以上,所以请确保你的磁盘空间至少有50g左右。加载模型的时候会将数据导入到运存中,所以你的磁盘读取速度越快越好,个人建议放在SSD中,可以显著加快加载速度。

特别注意:
接下来的步骤有大概率需要全程科学上网,才能正确安装,如果不会的话请百度,这里不多做赘述。

然后我们双击运行start_windows.bat


它会自动下载miniconda并且安装在当前目录下。

miniconda安装完成:


这里会让你选择你的GPU类型
A:NVIDIA ,N卡选A
B:AMD ,A卡选B
C:Apple M Series,苹果选C
D:没显卡,或者显卡太弱,用CPU跑模型的用户选D(会导致回复非常慢)

我这里本地是RTX3090显卡,所以我选A,输入A,然后回车继续。

然后它就会开始自动下载一堆东西,不需要进行操作。


这一步需要等待较长时间,取决于你的网速,请你耐心等待。
我这里等待了15分钟左右完成。

出现这个表示下载完成,开始解压安装。请继续等待。
image

出现这个说明开始安装依赖了。请继续等待。
这一步报错的概率非常大,如果出现红色报错,说明你依赖安装出现了问题。绝大部分安装问题都出在这里。详见本帖最后的报错汇总,或者前往qq群直接询问。

出现以下提示:
image
恭喜你,你已经成功安装了oobabooga了。

现在的目录结构应该是这样的:
image

我们运行start_windows.bat,来测试启动oobabooga。
由于我们只安装了oobabooga,并没有下载任何模型,所以启动的时候会提示你选择模型下载。
image
你可以选择一个下载,但速度会比较慢,个人建议还是用idm直接去huggingface找到对应模型下载比较好。

那么接下来我将简单的讲一下如何下载模型。

1 个赞