多模态大模子部署：联合dify
媒介上回说道，我们用ollama部署了一个多模态的大模子，也就是minicpm-v：
https://i-blog.csdnimg.cn/direct/63e2dc8cfaae4037b01862d5b3acbd32.png
但这玩意儿感觉只能打字啊。
怎么给它发图片呢？
minicpm-v
MiniCPM-V 是面壁智能推出的一个开源多模态大模子系列，它专注于图文明白，而且能够在端侧设备（例如智能手机、平板电脑等）上运行。这个系列的模子接受图像和文本输入，并能够提供高质量的文本输出。
自2024年2月以来，MiniCPM-V 系列共发布了多个版本模子，旨在实现领先的性能和高效的部署。其中，最引人注目标是 MiniCPM-V 2.6 模子，这是该系列中最新且性能最佳的模子，拥有8亿参数。MiniCPM-V 2.6 基于 SigLip-400M 和 Qwen2-7B 构建，相较于之前的版本，在单图、多图以及视频明白方面有了显著的性能提拔，并引入了新的功能。
MiniCPM-V 模子的特点包罗但不限于：
[*]高效推理和低内存占用：这使得它们非常恰当在移动设备或个人电脑等资源有限的环境中使用。
[*]强大的OCR能力：这意味着它可以正确地辨认并处理惩罚图像中的笔墨信息。
[*]多语言支持：能够明白和生成多种语言的文本，提高了模子的通用性和实用范围。
[*]实时视频明白：MiniCPM-V 2.6 成为了首个能够在iPad等端侧设备上进行实时视频明白的多模态大模子，这一特性对于必要即时反馈的应用场景尤为紧张。
别的，MiniCPM-V 还强调了其在多模态文档检索增强生成（RAG）中的应用，展示了它在处理惩罚包罗复杂图文交织内容的文档时的强大能力。
MiniCPM-V 的设计考虑到了现实应用场景的需求，如智能手机宁静板电脑上的图片和视频内容的实时明白和处理惩罚，以及支持多轮对话的能力，这些都极大地扩展了它的实用价值。
综上所述，MiniCPM-V 是一个集成了图像和文本处理惩罚能力的强大工具，它不仅在技术性能上有所突破，同时也为开辟者提供了丰富的大概性，以便在其基础上开辟出更多创新的应用和服务。如果你有爱好深入了解怎样使用或者部署 MiniCPM-V，可以参考相关的GitHub项目页面或其他官方提供的教程和指南。
Dify
我们直接把这个模子注册到dify的模子供应商里：
https://i-blog.csdnimg.cn/direct/f7294cf8c03049a7a72c50bf4f7b10c3.png
由于咱之前用过这个ollama，所以只必要增加模子即可。
https://i-blog.csdnimg.cn/direct/5725919e6478456db3fe348370d29eb8.png
是否支持视觉？
选择是
https://i-blog.csdnimg.cn/direct/6506ef60443e4690a64b75f4544d2556.png
不错，成功了。
测试一下
https://i-blog.csdnimg.cn/direct/0dc64d26b25d4efbba935ea942168990.png
还是认识的配方
https://i-blog.csdnimg.cn/direct/624dde2d635b46b9bf0635032bf0fb38.png
选到咱的多模态大模子。
https://i-blog.csdnimg.cn/direct/a7ce35db14294e42b0a839f7359e00f2.png
增加选择图片的功能。
https://i-blog.csdnimg.cn/direct/88e3a701d79449048c75a5cbbdb1f152.png
不是很智能的样子。
总结
在本篇文章中，我们探讨了怎样使用 Ollama 部署 MiniCPM-V 这个多模态大模子，并通过 Dify 平台来测试其功能。MiniCPM-V 作为一款专注于图文明白的模子，它不仅能够处理惩罚文本输入，还能接受图像作为输入，并提供高质量的文本输出 。这使得它成为处理惩罚多模态数据的理想选择，特别是在必要实时反馈的应用场景中，如智能手机宁静板电脑上的图片和视频内容的明白 。
部署过程回首
首先，我们成功地利用 Ollama 部署了 MiniCPM-V 模子，这是一个开源的大模子管理工具，答应用户便捷地运行多种大型开源模子 。通过 Ollama 的下令行界面或前端界面，我们可以轻松地下载并运行 MiniCPM-V 模子，从而为后续的实验提供了基础平台。
集成与测试
接下来，我们将这个模子集成到了 Dify 平台上。Dify 提供了一个直观的界面，使得即使是对技术不太认识的用户也能快速上手。我们特别关注了是否支持视觉输入这一点，由于这是 MiniCPM-V 的一大亮点。经过简朴的配置后，我们确认该模子确实支持图像输入，这意味着它可以用于处理惩罚更复杂的使命，比如图像形貌生成、基于图像的问答等 。
实验效果分析
只管初步测试表现模子的表现大概未达到预期的智能水平，但这并不意味着模子本身存在问题。相反，这大概是由于测试条件或者使用的数据集不够理想所导致。对于任何机器学习模子来说，性能每每依赖于练习数据的质量和多样性以及具体的调优策略 。因此，进一步优化模子参数、增加更多的练习样本或改进数据预处理惩罚方法都大概提拔模子的表现。
展望未来
展望未来，随着 MiniCPM-V 模子的不停迭代和发展，我们可以等待看到更加智能化的应用出现。例如，在教育领域，可以开辟出辅助讲授的系统；在医疗保健行业，可以帮助医生解读医学影像；在日常生活中，还可以创建个性化的捏造助手来帮助用户解决各种问题 。
总之，虽然现在的实验效果表现模子还有改进的空间，但 MiniCPM-V 已经展示了其在多模态数据处理惩罚方面的巨大潜力。通过持续的研究和技术进步，相信这一类模子将会在未来发挥更大的作用，推动人工智能技术向着更高的条理发展 。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]