Florence 在您的 Koishi 上本地运行强大的视觉基础模型。

插件发布
1

koishi-plugin-florence

npm

Powerful vision foundation model running locally in your koishi.

在您的 Koishi 上本地运行强大的视觉基础模型。

介绍

Florence-2 是一款先进的视觉基础模型，它采用基于提示词的方法来处理各种视觉和视觉语言任务。

支持的任务
点我查看:point_left:

73eb30bcd9bb0fc1825ee267f1d4c786
73eb30bcd9bb0fc1825ee267f1d4c7861149×497 24.9 KB

插件功能

点我查看:point_left:

配置

修改 transformers.js 模块代码

transformers.js 存在无法加载 florence 的bug

你需要在 @huggingface/transformers/dist/transformers.mjs 删掉第7471行，并加上这段代码

let modelName  = MODEL_CLASS_TO_NAME_MAPPING.get(this);
if (modelName === undefined){
  modelName = 'Florence2ForConditionalGeneration'
}

下载模型

如果您的机器可以访问 huggingface， 则无需做此步骤

点我查看👈

找一个存放模型的目录 例如 D:\models\florence

前往 huggingface 下载模型

下载模型配置文件

你需要下载这些文件，保存到存放模型的目录

  • config.json

  • preprocessor_config.json

  • generation_config.json

  • tokenizer.json

  • tokenizer_config.json

下载 onnx

新建一个文件夹 命名为 onnx， 将以下模型放入 onnx 文件夹

如果你选择的模型 dtype 为 fp32 你需要下载这些模型

  • decoder_model_merged.onnx

  • embed_tokens.onnx

  • encoder_model.onnx

  • vision_encoder.onnx

如果你选择的模型 dtype 为 q8 你需要下载这些模型

  • decoder_model_merged_quantized.onnx

  • embed_tokens_quantized.onnx

  • encoder_model_quantized.onnx

  • vision_encoder_quantized.onnx

配置插件

如果您的机器可以访问 huggingface， 则无需做此步骤

点我查看👈

填写存放模型的路径 例如 D:\models

填写模型名称 florence

选择下载的模型的精度

1 个赞