oobabooga-testbot插件的使用教程

视觉模块使用教程:

首先你需要去git clone这个:

然后,你需要安装这个的环境,也就是pip install requirements
建议用conda进行环境隔离(或者使用tgw最新的懒人包也行,懒人包环境是满足需求的,不需要下载任何依赖,直接使用更目录的cmd_windows.bat进入懒人包环境即可)

然后你需要去下载模型:

下好之后全部文件都放一个目录就行。

接下来,你需要在你的环境内,运行

python main.py --model_path 模型路径(到文件夹)\Florence-2-large-ft --host 0.0.0.0

就可以使用GPU进行推理了。需要额外的1-2g显存。
你想要用cpu的话可以使用(amd一些老型号不行,比如我的3900x):

python main.py --model_path C:\Users\Administrator\Desktop\TGW\Florence-2-large-ft --host 0.0.0.0 --device cpu --dtype bfloat16

如果无法正常运行,考虑就是cpu不支持bfloat16,可以用下面这条:

python main.py --model_path C:\Users\Administrator\Desktop\TGW\Florence-2-large-ft --host 0.0.0.0 --device cpu --dtype float32

但这样就需要10g左右的内存,然后cpu运算速度比较慢,会导致延迟。
启动后:


插件里头配置一下(我这里是本地服务器,所以填的服务器ip,你要全是一台机子的话,直接http://127.0.0.1:8000/generate 就行),记得必须加/generate

然后随便找个图片用oob.vision测试一下,就行了。