使用Termux将安卓手机变成随身AI服务器(page assist连接) ...

打印 上一主题 下一主题

主题 895|帖子 895|积分 2685


通过以下方法在安卓手机上运行 Ollama 及大模子,无需 Root 权限,具体方案如下:


  • 通过 Termux 模拟 Linux 情况运行


  • 核心工具:

    • 安装 (安卓终端模拟器)()]。
    • 借助 proot-distro 工具安装 Linux 发行版(如 Debian)()]。

  • 操纵步调:

    • 在 Termux 中运行命令安装依赖:
      1. pkg update && pkg install proot-distro  
      2. proot-distro install debian  
      3. proot-distro login debian  
      复制代码
    • 在 Debian 情况中安装 Ollama:
      1. curl -fsSL https://ollama.com/install.sh | sh  
      复制代码
    • 启动服务并运行模子:
      1. ollama serve &  
      2. ollama run deepseek-r1:1.5b  # 以 DeepSeek-R1 为例()]  
      复制代码



  • 直接使用预编译的 Ollama 二进制文件 (推荐)


  • 适用场景:若手机性能较弱或不想设置复杂情况。
  • 操纵步调:

    • 在 Termux 中下载 Ollama 的 ARM64 版本:
      1. pkg install ollama
      复制代码
    • 直接运行模子:
      1. # 以下修改监听和允许跨域是远程访问必要参数  
      2. # 修改监听地址
      3. export OLLAMA_HOST=0.0.0.0:11434
      4. # 允许跨域访问
      5. export OLLAMA_ORIGINS=*
      6. # 后台启动监听
      7. ollama serve &
      8. # 拉取deepseek-r1:7b模型
      9. ollama run deepseek-r1:7b
      复制代码
      参数与性能调优
      情况变量控制:
      OLLAMA_FLASH_ATTENTION=1:启用注意力机制加速,提升模子推理速度。
      OLLAMA_NUM_PARALLEL=16:设置并行处理哀求数,优化多使命性能。
      Ollama支持的其他情况变量主要包括:
      OLLAMA_HOST:定义服务监听地点(如 0.0.0.0:11434)。
      OLLAMA_KEEP_ALIVE:设置模子在内存中的存活时间(如 24h)。
      OLLAMA_MAX_LOADED_MODELS:限定同时加载的模子数量(默认1)。
      OLLAMA_NUM_THREADS=8 根据CPU核心数调整(如8核)。
      OLLAMA_NUM_PARALLEL:设置并行哀求处理数(默认1)。
      OLLAMA_MODELS:自定义模子存储路径。
      OLLAMA_METRICS_ENABLED=true 启用prometheus监控指标输出,访问http://localhost:11434/metrics。



  • page assist的设置



  • 性能与注意事项


  • 硬件要求:

    • 手机需支持 ARM64 架构(主流安卓机均兼容)。
    • 运行 1.5B~8B 参数的模子需至少 4GB 内存。

  • 局限性:

    • 大模子(如 70B)因算力限定无法流畅运行。
    • 需保持 Termux 后台常驻,制止进程制止]。

  • 优化发起:

    • 使用 & 后台运行命令(如 ollama serve &)。
    • 优先选择量化版模子(如 4bit 精度)镌汰资源占用]。


总结
通过 Termux + Linux 情况或直接运行二进制文件,可在安卓手机上摆设 Ollama 并运行中小规模模子(如 DeepSeek-R1、Llama3-8B)。

免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复

使用道具 举报

0 个回复

正序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

缠丝猫

金牌会员
这个人很懒什么都没写!
快速回复 返回顶部 返回列表