ToB企服应用市场:ToB评测及商务社交产业平台

标题: 谷歌推出PaliGemma 2 mix：用于多使命的视觉语言模型，开箱即用。 [打印本页]

作者: 饭宝 时间: 昨天 18:26
标题: 谷歌推出PaliGemma 2 mix：用于多使命的视觉语言模型，开箱即用。
去年 12 月，谷歌推出了 PaliGemma 2 ，这是Gemma系列中的升级版视觉语言模型。该版本包含差别大小（3B、10B 和 28B 参数）的预训练检查点，可轻松针对各种视觉语言使命和范畴举行微调，比方图像分割、短视频字幕、科学问答和文本相干使命，并实现高性能。

2月19日，谷歌宣布推出 PaliGemma 2 mix 检查点。PaliGemma 2 mix 是针对多种使命举行调解的模型，允许直接探索模型功能并将其开箱即用，用于常见用例。
PaliGemma 2 mix 有什么新功能？

一个模型可完成多项使命：PaliGemma 2 mix 可以解决短字幕和长字幕、光学字符辨认 (OCR)、图像问答、对象检测和分割等使命。
适合开辟职员的尺寸：借助差别的模型尺寸（3B、10B 和 28B 参数）和分辨率（224px 和 448px），使用最适合您需求的模型。
与您喜好的框架一起使用：利用您喜好的工具和框架，包括Hugging Face Transformers、Keras、PyTorch、JAX 和Gemma.cpp。

假如已经在使用原始的 PaliGemma 混合检查点，则可以直接升级到 PaliGemma 2，而无需举行任何更改。该模型根据提示方式实验差别的使命。
效果展示

检测

使命：检测（PaliGemma-2-3b-mix-224）
输入：“detect android\n”

效果

多物体检测

使命：多目的检测（PaliGemma-2-3b-mix-224）
输入：“检测椅子；桌子\n”

效果

餐厅内物品的多物体检测

效果：

光学字符辨认 (OCR)

使命：多目的检测（PaliGemma-2-3b-mix-224）
输入-“ocr\n”

效果：

分割

使命：分割 (PaliGemma-2-3b-mix-224)
输入-“segment cat\n”

效果

问答

使命：问答 (PaliGemma2-mix-3b-448)
输入：“答案 en 牛站在哪里？\n”

效果

beach
字幕

输入：“caption en\n”

效果

a cow standing on a beach next to a sign that says warning dangerous rip current.
光学字符辨认 (OCR)

效果：

WARNING
DANGEROUS
RIP CURRENT

立即开始

试用：https://huggingface.co/spaces/google/paligemma2-10b-mix
模型：https://www.kaggle.com/models/google/paligemma-2/
运行：https://ai.google.dev/gemma/docs/paligemma/inference-with-keras
部署：https://console.cloud.google.com/vertex-ai/publishers/google/model-garden/paligemma

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)