Ollama 0.4 版本发布，支持 Llama 3.2 Vision 视觉模型，实测满意个人使用 ...

  更新信息

  最大的更新莫过于对 Llama 3.2 Vision 视觉模型的支持！ollama 的版本也因此从v0.3.14直接升级到v0.4.0。
  升级 ollama 后，运行如下命令体验

1. # 默认运行 11B 大小模型
2. ollama run llama3.2-vision
3. # 运行 90B 大小模型，需要显存支持
4. ollama run llama3.2-vision:90b

复制代码

• 支持 Llama 3.2 Vision（即 Llama）架构，即 Llama 最新的视觉模型。
  
• 向视觉模型发送后续请求将显著加快速率。
  
• 修复了停止序列无法正确检测的问题
  
• 现在可以在运行 ollama create my-model 时从 Safetensors 导入模型，而不需要 Modelfile 文件
  
• 办理了在 Windows 下重定向输出到文件会导致写入无效字符的问题
  
• 办理了导致 Ollama 堕落的不正当模型数据问题
  

  图片识别 Demo

  

1. >>> /Users/geek/Pictures/ollama-hardwriting.jpg what is the content.
2. Added image '/Users/geek/Pictures/ollama-hardwriting.jpg'
3. The image contains a handwritten note in Chinese characters, accompanied by an English translation. The note is divided into three sections:
5. *   **Section 1:** "Ollama" (likely a personal name or title) followed by several Chinese characters.
6. *   **Section 2:** A numbered list with the following items:
7.     *   **Item 1:** "Stay hungry, Stay foolish." (an English phrase)
8.     *   **Item 2:** A series of Chinese characters
9.     *   **Item 3:** Another series of Chinese characters
11. The image appears to be a personal note or message written in Chinese and English.

复制代码

从测试来看，手写字体识别中，Llama 3.2 Vision 模型很好的支持英文，无法识别中文，对中文的支持比较差，但是能区分出哪些字符是中文。
  OCR

  

1. $ ollama run llama3.2-vision
2. >>> /Users/geek/Pictures/ollama-ocr.png  what is the content.
3. Added image '/Users/geek/Pictures/ollama-ocr.png'
4. The image displays a slide from Meta's presentation about Llama 3.2, a large language model developed by Facebook AI
5. Research (FAIR). The slide provides an overview of the model's capabilities and features.
7. * **Title**
8.  + The title of the slide is "Llama 3.2" in large text at the top.
9. * **Description**
10.  + Below the title, there is a brief description of Llama 3.2 as a multimodal large language model that can perform
12. various tasks such as answering questions, generating text, and translating languages.
13.  + The description also mentions that Llama 3.2 has been trained on a diverse range of datasets, including but not
14. limited to natural language processing (NLP) tasks like question answering, sentiment analysis, named entity
15. recognition, part-of-speech tagging, dependency parsing, and word sense induction.
16. * **Features**
17.  + The slide highlights some key features of Llama 3.2, including its ability to:
18.   - Understand and generate human-like language
19.   - Perform various NLP tasks with high accuracy
20.   - Learn from large amounts of text data
21.   - Be fine-tuned for specific applications or domains
22. * **Benefits**
23.  + The slide also mentions the benefits of using Llama 3.2, such as:
24.   - Improving language understanding and generation capabilities
25.   - Enhancing NLP performance in various tasks
26.   - Facilitating development of more sophisticated AI systems
28. Overall, the image provides a concise overview of Llama 3.2's capabilities and features, highlighting its potential
29. applications and benefits in various fields such as natural language processing, computer vision, and robotics.
31. >>> which language llama3.2 vision support?
32. Llama 3.2 Vision supports the following languages:
34. * English
35. * German
36. * French
37. * Italian
38. * Portuguese
39. * Hindi
40. * Spanish
41. * Thai
43. >>> how many size llama3.2 vision has
44. The Llama 3.2-Vision model is available in two sizes: 11B and 90B.

复制代码

Llama 3.2 Vision 原生支持英文，对英文内容的识别非常准确，输出支持标准的 MarkDown 格式，而且能够正确理解识别的内容，并进行简单的问答。
  感觉可以用来做大陆的英文试卷，比如选择题和阅读理解，后续可以测试下看看结果。
  图表

  

1. >>> /Users/geek/Pictures/ollama-hist.png what is the most popular value?
2. Added image '/Users/geek/Pictures/ollama-hist.png'
3. The most popular value in this chart is 4, which appears 49 times. This is represented by the tallest bar on the
4. graph.
6. >>> how many bar in the chart.
7. There are seven bars representing different values from one to seven.
9. >>> sum the value of bar in the chart
10. To find the sum of the values represented by each bar, we can add up the numbers on the y-axis for each x-axis value.
12. *   Bar 1: 7
13. *   Bar 2: 14
14. *   Bar 3: 28
15. *   Bar 4: 49
16. *   Bar 5: 37
17. *   Bar 6: 17
18. *   Bar 7: 8
20. Summing these values gives us a total of **160**.

复制代码

能够理解问题，并结合图标内容给出答案，缺点是不能精确识别图标中的值，需要提高精确度。
  图片问答

  

1. >>> /Users/geek/Pictures/ollama-cat.webp what is the animal?
2. Unknown command '/Users/geek/Pictures/ollama-cat.webp'. Type /? for help
3. >>> /Users/geek/Pictures/ollama-cat.png what is the animal?
4. Added image '/Users/geek/Pictures/ollama-cat.png'
5. The animals in the image are cats. The cat on the left appears to be a long-haired orange and white domestic
6. shorthair, while the cat on the right seems to be a short-haired brown tabby with a white patch on its chest.
8. >>> responsd in chinese.
9. (Animals: Two cats)
11. This image shows two cats. The left one is an orange and white domestic shorthair, while the right one appears to be
12. a short-haired brown tabby with a white patch on its chest.
14. >>> how many cats in this image?
15. There are 2 cats in this image.

复制代码

从测试看，Llama 3.2 Vision 能够正确识别动物，而且描述图片的内容，能够盘算出有 2 只猫。不足之处是图片格式还不支持 webp。
  性能分析

  

• 内存占用
  

  

  Llama 3.2 Vision 11B 在 MacBook Pro 2022， M2x Max 上的内存占用仅有 3.32G，和 Chrome 浏览器占用的内存一个数量级。
  

• ollama 加载与理解图片
  

  加在图片的时间在 30-60ms 之间。理解图片的内容要长的多，耗时在秒级，具体时间取决于图片内容的复杂度，图片越简单，耗时越少，越复杂耗时越久。像 OCR 和手写字体的例子，耗时在 40s。
  至于 token 的天生速率，基本都在 25 token/s，能够满意日常使用。

1. # 手写字体识别
2. /Users/geek/Pictures/ollama-hardwriting.jpg what is the content.
3. Added image '/Users/geek/Pictures/ollama-hardwriting.jpg'
5. total duration:       39.276179625s
6. load duration:        38.170708ms
7. prompt eval count:    17 token(s)
8. prompt eval duration: 29.411s
9. prompt eval rate:     0.58 tokens/s
10. eval count:           242 token(s)
11. eval duration:        9.605s
12. eval rate:            25.20 tokens/s
14. # 动物识别
15. >>> /Users/geek/Pictures/ollama-cat.png what is the animal?
16. Added image '/Users/geek/Pictures/ollama-cat.png'
18. total duration:       1.628926916s
19. load duration:        66.047166ms
20. prompt eval count:    17 token(s)
21. prompt eval duration: 201ms
22. prompt eval rate:     84.58 tokens/s
23. eval count:           40 token(s)
24. eval duration:        1.15s
25. eval rate:            34.78 tokens/s
27. # meta 博客内容 OCR 识别
28. >>> /Users/geek/Pictures/ollama-ocr.png  what is the content.
29. Added image '/Users/geek/Pictures/ollama-ocr.png'
31. total duration:       41.742993542s
32. load duration:        31.597584ms
33. prompt eval count:    17 token(s)
34. prompt eval duration: 29.122s
35. prompt eval rate:     0.58 tokens/s
36. eval count:           302 token(s)
37. eval duration:        12.409s
38. eval rate:            24.34 tokens/s

复制代码

总结

  Ollama v0.4.0 最大的特点就是对 Meta Llama 3.2 Vision视觉模型的支持了。
  在实际测试过程中，Llama 3.2 Vision能够很好的识别并理解图片内容，理解图片的耗时取决于图片内容的复杂度，简单图片耗时在 5s 内，复杂图片也在 1min 内。
  11B 模型在 Mac 上的内存占用仅 3G 左右，token 的天生速率在 25Token/s，使用结果上个人认为和 ChatGPT 的图片理解在同一水平，能够满意个人的日常使用需求了。
  参考资料  [1]
  ollama release: https://github.com/ollama/ollama/releases/tag/v0.4.0
  [2]  Llama 3.2 Vision: https://ollama.com/blog/llama3.2-vision
  [3]  ollama x status: https://x.com/ollama/status/1854269461144174764

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。