01----嵌入式AI鸿蒙系统智能相机操作之优秀

曹旭辉  金牌会员 | 2022-6-26 09:09:27 | 显示全部楼层 | 阅读模式
打印 上一主题 下一主题
楼主

主题 545|帖子 545|积分 1635

目录

  1.1【实验目的】
1.2【实验原理】
1.3【实验步骤】
1.4 【附件】

  1.1【实验目的】


  • 利用OpenHarmony AI Camera 基于Hi3516开发板，使用开源OpenHarmony3.0-LTS开发的应用。通过获取摄像头数据，实现预览拍照以及录视频功能。并且通过后台AI服务识别唤醒词来进行语音控制拍照及录视频。
   
1.2【实验原理】





注意：用户对着相机说相应的唤醒词，相机收集到对应的音频，经过AI服务识别对应的文字，最后传到相机进行对应的操作。
1.3【实验步骤】

一、程序设计思路
硬件准备：
     第一个：预装windows系统的PC机。
     第二个：Hi3516DV300 IOT Camera开发板
     第三个：USB转串口线、网线（Windows工作台通过USB转串口线  ）
二、Linux编译服务器基础环境准备
   开发基础环境由windows工作台和Linux编译服务器组成。windows工作台可以通过samba服务或ssh方式访问Linux编译服务器。其中windows工作台用来烧录和代码编辑，Linux编译服务器用来编译OpenHarmony代码，为了简化步骤，Linux编译服务器推荐安装Ubuntu20.04
三、安装和配置Python
     第一个：打开Linux终端。
     第二个：输入如下命令，查看python版本号，需要使用python3.7以上版本，可以参考基础环境搭建。
          命令：python3 --version
四、安装并升级Python包管理工具（pip3）   
          命令：sudo apt-get  install  python3-setuptools python3-pip -y
                sudo pip3 install  --upgrade  pip
五、安装LLVM
      第一个：下载LLVN工具。
      第二个：解压LLVM安装包~/llvm路径下。
          命令：tar -zxvf llvm.tar -C ~/
      第三个：设置环境变量
          命令：vim ~/.bashrc
      第四个：将一下命令复制到.bashrc文件的最后一行，保存并退出。
          命令：export PATH=~/llvm/bin:$PATH
      第五个：使环境变量生效
          命令：source  ~/.bashrc
六、安装hb
       第一个：运行如下命令安装hb
          命令：python3 -m pip install --user ohos-build
       第二个：设置环境变量
          命令: vim ~/.bashrc
       第三个：将以下命令复制到.bashrc文件的最后一行，保存并退出
          命令: export PATH=~/.local/bin:$PATH
       第四个：执行如下命令更新环境变量
          命令：source ~/.bashrc
       第五个：执行”hb -h” ，有打印以下信息即表示安装成功
     
     
  1. <strong>usage: hb
  3. OHOS build system
  5. positional arguments:  </strong>
复制代码
  1. <strong>{build,</strong><strong>set</strong><strong>,env,clean}    </strong>
复制代码
  1. <strong>build      Build source code    </strong>
复制代码
  1. <strong>set</strong><strong>       </strong><strong> </strong><strong>OHOS build settings    </strong>
复制代码
  1. <strong>env        Show OHOS build </strong><strong> </strong><strong>env    </strong>
复制代码
  1. <strong>clean      Clean output
  3. optional arguments:  </strong>
复制代码
  1. <strong>-h, --help   show </strong><strong>this</strong><strong> help message </strong><strong>and</strong><strong> </strong><strong>exit</strong>
复制代码


七、Hi3516开发环境准备
     第一个：将Linux shell改为bash，查看shell是否为bash，在终端运行如下命令
           命令：ls -l /bin/sh
     第二个：如果显示为/bin/sh -> bash则为正常，否则请按以下方式修改：
           命令：sudo rm -rf /bin/sh
           命令：sudo ln -s /bin/bash /bin/sh
     第三个：安装编译依赖基础软件（仅Ubuntu 20+需要）
命令：sudo apt-get install build-essential && sudo apt-get install gcc && sudo apt-get install g++ && sudo apt-get install make && sudo apt-get install zlib* && sudo apt-get install libffi-dev
八、安装文件打包工具
     第一个：打开Linux编译服务器终端。运行如下命令，安装dosfstools。
           命令： sudo apt-get install dosfstools    
     第二个：运行如下命令，安装mtool
           命令：sudo apt-get install mtools
     第三个：运行如下命令，安装mtd-utils
           命令：sudo apt-get install mtd-utils

九、安装hc-gen
     第一个：打开Linux编译服务器终端。
     第二个：下载hc-gen工具。
     第三个：解压hc-gen安装包到Linux服务器 ~/hc-gen路径下
            命令：tar -xvf hc-gen-0.65-linux.tar -C ~/
     第四个：设置环境变量
            命令：vim ~/.bashrc

     第五个：将一下命令复制到.bashrc文件的最后一行，保存并退出
            命令：export PATH=~/hc-gen:$PATH
     第六个：使环境变量生效
            命令：source ~/.bashrc
十、安装Java虚拟机环境
     第一个：打开Linux编译服务器终端
     第二个：安装java运行时环境
            命令：sudo apt-get install default-jre
     第三个：安装java sdk开发工具包
            命令：sudo apt-get install default-jdk
操作实现步骤：
PS：
java虚拟机是应用签名打包时才会用到的，SDK中默认的3个系统应用是需要签名打包，所以需要安装java虚拟机，没有安装的话，应用签名打包时会报如下错误：


第一个：源码下载与编译准备

环境搭建完后，就该准备代码了。
OpenHarmony源码下载方法多种多样，本文重点介绍linux + repo方式下载。
下载repo
  1. <strong>curl https://gitee.com/oschina/repo/raw/fork_flow/repo-py3 > /usr/local/bin/repo</strong>
复制代码
  1. <strong>chmod a+x /usr/local/bin/repo</strong>
复制代码
  1. <strong>pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple requests</strong>
复制代码
第二个：下载OpenHarmony源码
  1. #特别注意：请下载OpenHarmony 3.0 LTS 版本，后续会更新支持OpenHarmony其他版本
复制代码
  1. <strong>repo init -u git@gitee.com:openharmony/manifest.git -b OpenHarmony-3.0-LTS --no-repo-verify</strong>
复制代码
  1. <strong>repo sync -c</strong>
复制代码
  1. <strong>repo forall -c 'git lfs pull'</strong>
复制代码

十一：下载智能相机代码
第一个：具体仓库地址
    通过git命令下载：命令：git clone git@gitee.com:xxxxxxx/knowledge_demo_smart_home.git
第二个：代码复制
      命令：mkdir vendor/team_x
  

第三个：将下载的智能中控屏代码的代码拷贝到新建的team_x下面：
命令：cp -rf ../knowledge_demo_smart_home/dev/team_x/smart_camera/ vendor/team_x/
 
 



至此为止，代码准备完成，可以进行编译了。

十二：鸿蒙代码编译

第一个：代码目录结构
     在编译代码前，可以先了解一下代码目录结构,我们的demo主要包含2个部分，一个是相机(demo_cameraApp)，负责相机相关功能，其次就是AI语音识别服务(demo_keyword_spotting),否则语音是采集以及识别。
     demo_cameraApp 代码目录结构:
 


demo_keyword_spotting 代码目录结构:
 


特别说明：AI语音识别服务是一个后台服务应用，因此我们需要通过设置让它自启动，配置文件如下
vendor/team_x/smart_camera/init_configs/init_liteos_a_3516dv300.cfg
第一个：具体修改步骤：
     1、在services服务模块最后添加以下代码




  • 在jobs模块中找到“name”:”post-init”，在“cmd”的最后加上“start kws_app”
                            

第二个：代码编译
     源码和环境准备完后，接下来就是编译，编译涉及的指令有2条，hb set和hb build -f 。
hb set -- 设置工程目录和选择对应的目标，通过键盘的上下键来选择。
 


hb build -f  -- 开始全量编译。（hb build 为增量编译）     
                
 


编译完后会生成对应整个系统固件(u-boot-hi3516dv300.bin,OHOS_Image.bin,rootfs_vfat.img, userfs_vfat.img)以及我们应用对应的so文件。
其中u-boot-hi3516dv300.bin在device/hisilicon/hispark_taurus/sdk_liteos/uboot/out/boot/：
 


OHOS_Image.bin,rootfs_vfat.img,以及userfs_vfat.img在out目录下：
 


对应的libsmart_camera.so在out/hispark_taurus/smart_camera/usr/lib/ 目录下：
 


AI服务可执行程序在out/hispark_taurus/smart_camera/bin/   目录下:



以下表格为所有生成的固件及对应的位置：



第三个：固件烧录
       第一个：烧录工具选择
       固件编译完后，是需要烧录到单板的。这里我们用的是HiTool工具烧录的。(HiTool工具下载地址:HiHope官网)
       第二个：烧录步骤
       打开HiTool工具，如下图：
 

      
烧写步骤按照图中标注即可。点击烧入后，烧录工具会提示重新上电，此时重启单板即可。



第四个：烧录结果
烧录成功后，会弹出如下提示，单板也会自行启动。




烧录失败的话需要根据失败提示查找一下原因。一般情况需要检查一下串口是否连接正常，网线是否正确插入，IP是否选择正常等。
查看IP的方法：当单板上电后并正确插入网线后，点击工具上刷新按钮，此时单板IP会自动添加到服务器IP列表中。



注意：IDE烧录：另外，OpenHarmony官网有提供一种通过IDE来烧录的，具体烧录步骤请参考文档：3516上快速运行Hello OHOS。
特别说明：如果是第一次烧录程序的话，单板在启动的时候需要设置bootargs，否则不能正常启动。单板第一次启动会停在hisilicon界面：
 


我们需要输入以下指令：
  1. 重要命令：
复制代码
  1. <strong>setenv bootcmd </strong><strong>"mmc read 0x0 0x80000000 0x800 0x4800; go 0x80000000"</strong><strong>;</strong>
复制代码
  1. <strong>setenv bootargs </strong><strong>"console=ttyAMA0,115200n8 root=emmc fstype=vfat rootaddr=10M rootsize=20M rw"</strong><strong>;</strong>
复制代码
  1. <strong>s</strong><strong>aveenv</strong>
复制代码
  1. <strong>reset</strong>
复制代码
 


到此，烧录已经完成，设备也正常启动。



第五个：应用安装
    第一个：打包应用
   本demo是以安装包的形式安装到系统中启动运行的。因此，在安装应用前，需要将应用打包成安装包。
将编译好的libsmart_camera.so文件与工程目录下的res以及config.json文件通过压缩打包成zip格式(三个文件直接压缩，不能压缩文件夹)，并将后缀名改为hap(smart_camera.hap)。
 

  
    第二个：挂载NFS
    应用打包后，我们是通过NFS方式将单板挂载到本地，通过相关的指令来安装的，NFS挂载方法参照文章：Hi3516通过NFS挂载方式与Windows共享文件。
  

   第三个：安装
   通过nfs是单板连接到本地电脑后，我们可以通过bm安装指令进行安装。bm安装工具在系统编译完后会自动生成，路径在：
   out/hispark_taurus/smart_camera/dev_tools/bin/
  

  
   由于bm默认安装的应用为已经签名的应用，所以我们在安装前需要先将签名去掉。
    bm set -s disable        // 去签名
    bm install -p filename      // 安装应用filename， filename需要指定路径
 



安装完后桌面会显示对应应用的ICON，直接点击ICON即可以启动相机的应用。

第四个：使用指南



由于本demo涉及到摄像头的读写，故需要申请了相关的权限。在使用本demo前需要在setting中打开对应的权限。具体操作
第一步：点击setting--->应用--->smart_camera，然后将所有权限打开。
第二步：本demo带有相机的所有功能，包含预览，拍照，录像以及跳转到图库查看对应拍的图片和录制的视频。
第三步：在demo最主要的功能是语音控制相机，需要对准板子上的麦克风说唤醒词，目前支持2个唤醒词（Hi,xiaowen以及Nihao,wenwen）,分别对应控制相机的拍照以及录像功能。

1.4 【附件】

    注意：另外新建两个文件夹：一个存放（参考资料）  另一个存放（实验代码）




免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！
回复

使用道具 举报

0 个回复

倒序浏览
返回列表

快速回复

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

曹旭辉

金牌会员
这个人很懒什么都没写!

楼主热帖

标签云

挺好的 服务器
微信订阅号
微信服务号
微信客服
小程序
H5
关于我们 商务合作 网站地图
©Copyright 2022-2024 杭州祥升科技有限公司 版权所有 浙ICP备20004199号
快速回复 返回顶部 返回列表