第一部分oobabooga-text-generation-webui
2.oobabooga-text-generation-webui的主要功能有哪些?
webui支持的功能非常多,大部分重点我已经用加粗标注了。
类似stable-diffusion的,用户友好型交互界面。
较为友善的一键安装模式。
模型兼容性极佳,主流模型都可以加载。
一键式模型切换能力。
自带人设管理,一键加载
类似于OpenAI的记事本模式交流界面。
用于对话和角色扮演的聊天模式
与Alpaca、Vicuna、Open Assistant、Dolly、Koala、ChatGLM、MOSS、RWKV-Raven、Galactica、StableLM、WizardLM、Baize、Ziya、Chinese-Vicuna、MPT、INCITE、Wizard Mega、KoAlpaca、Vigogne、Bactrian、h2o和OpenBuddy等各种格式兼容的指令模式
包括LLaVA和MiniGPT-4在内的多模态流程
用于GALACTICA的Markdown输出,包括LaTeX渲染
用于GPT-4chan的漂亮HTML输出
高级聊天功能(发送图片,获取带有TTS的音频响应)
非常高效的文本流处理
参数预设丰富
LLaMA模型支持
4-bitGPTQ模型支持
LoRA(加载和训练)
llama.cpp模型支持
RWKV模型支持
8-bit模式
模型层分布GPU、CPU和磁盘
CPU模式
FlexGen
DeepSpeed ZeRO-3
带流式传输和无流式传输的API