在android studio上使用rknn模块下面的yolov8_pose模子

汕尾海湾  论坛元老 | 2025-4-19 04:53:56 | 显示全部楼层 | 阅读模式
打印 上一主题 下一主题
楼主

主题 1658|帖子 1658|积分 4974

我的第一想法就是直接把rk的demo当成so库封装来用,我直接在yolov8_pose的c代码下面添加yolov8_pose.cc与yolov8_pose.h用作封装,先上代码
  yolov8_pose.cc
  1. #include "yolov8_pose.h"
  4. #include <stdint.h>
  5. #include <stdio.h>
  6. #include <stdlib.h>
  7. #include <string.h>
  11. #include "yolov8-pose.h"
  12. #include "image_utils.h"
  13. #include "file_utils.h"
  14. #include "image_drawing.h"
  15. #include "postprocess.h"
  16. int skeleton[38] ={16, 14, 14, 12, 17, 15, 15, 13, 12, 13, 6, 12, 7, 13, 6, 7, 6, 8,
  17.             7, 9, 8, 10, 9, 11, 2, 3, 1, 2, 1, 3, 2, 4, 3, 5, 4, 6, 5, 7};
  19. int ret;
  20. rknn_app_context_t rknn_app_ctx;
  21. image_buffer_t src_image;
  23. int yolov8_init() {
  24.         memset(&rknn_app_ctx, 0, sizeof(rknn_app_context_t));
  25.        
  26.         init_post_process();
  27.        
  28.     ret = init_yolov8_pose_model("/data/user/0/com.rockchip.gpadc.yolodemo/cache/yolov8_pose.rknn", &rknn_app_ctx);
  29.     if (ret != 0) {
  30.         printf("yolov8_init fail! ret=%d\n", ret);
  31.     }
  32.     return ret;
  33. }
  35. char* run_yolov8_pose(unsigned char* pixeldata,int cound) {
  37.     memset(&src_image, 0, sizeof(image_buffer_t));
  38.     //ret = read_image("/data/model/test.jpg", &src_image);
  39.        
  40.          // 默认图像为3通道
  41.     int w = 1280, h = 720, c = 3;
  42.     // printf("load image wxhxc=%dx%dx%d path=%s\n", w, h, c, path);
  43.     int msize = w * h * c;
  45.     // 设置图像数据
  46.     (&src_image)->virt_addr = pixeldata;
  47.     (&src_image)->width = w;
  48.     (&src_image)->height = h;
  49.         (&src_image)->format = IMAGE_FORMAT_RGB888;
  50.        
  51.   //  if (ret != 0)
  52.    // {
  53.    //     printf("read image fail! ret=%d image_path=%s\n", ret, "/data/model/test.jpg");
  54.    // }
  56.     object_detect_result_list od_results;
  58.     ret = inference_yolov8_pose_model(&rknn_app_ctx, &src_image, &od_results);
  59.     if (ret != 0)
  60.     {
  61.         printf("inference_yolov8_pose_model fail! ret=%d\n", ret);
  62.     }
  64.          char buffers[1024]; // 用于存储格式化后的字符串
  65.          char *finalBuffer = NULL; // 用于存储最终的字符串
  66.          // 分配足够的内存来存储所有字符串
  67.      finalBuffer = (char *)malloc(4084);
  68.      if (finalBuffer == NULL) {
  69.          perror("内存分配失败");
  70.      }
  71.          
  72.         // 初始化最终缓冲区
  73.     finalBuffer[0] = '\0';
  74.                
  75.         // 格式化字符串
  76.      snprintf(reinterpret_cast<char *const>(buffers), sizeof(buffers), "%3d\n", "");
  77.       
  79.     // 画框和概率
  80.     char text[256];
  81.    
  82.     for (int i = 0; i < od_results.count; i++)
  83.     {
  84.                 //做一个限制人数的功能
  85.                 if(od_results.count <= cound){
  86.                         object_detect_result *det_result = &(od_results.results[i]);
  87.                     // 将信息格式化到临时缓冲区
  88.                         //snprintf(buffers, 1024, "%s (left:%d top:%d right:%d bottom:%d) 概率:%.3f length:%d\n",
  89.                         //                        coco_cls_to_name(det_result->cls_id),
  90.                         //                        det_result->box.left, det_result->box.top,
  91.                         //                        det_result->box.right, det_result->box.bottom,
  92.                         //                        det_result->prop,od_results.count);
  93.                        
  94.                         snprintf(buffers, 1024, "%s (left:%d top:%d right:%d bottom:%d) 概率:%.3f length:%d\n",
  95.                                                 "person-pose",
  96.                                                 det_result->box.left, det_result->box.top,
  97.                                                 det_result->box.right, det_result->box.bottom,
  98.                                                 det_result->prop,od_results.count);
  99.                        
  100.                        
  101.                        
  102.        
  103.                         // 将格式化后的字符串附加到 finalBuffer
  104.                         strcat(finalBuffer, buffers);
  106.    
  107.                         for (int j = 0; j < 38/2; ++j)
  108.                         {
  109.                                 int x1 = (int)(det_result->keypoints[skeleton[2*j]-1][0]);
  110.                                 int y1 = (int)(det_result->keypoints[skeleton[2*j]-1][1]);
  111.                                 int x2 = (int)(det_result->keypoints[skeleton[2*j+1]-1][0]);
  112.                                 int y2 = (int)(det_result->keypoints[skeleton[2*j+1]-1][1]);
  113.                
  114.                                 // 将线段坐标添加到 finalBuffer
  115.                                 snprintf(buffers, 1024, "skeleton:(%d, %d,%d, %d)\n", x1, y1, x2, y2);
  116.                                 strcat(finalBuffer, buffers);
  117.                         }
  118.                        
  119.                         for (int j = 0; j < 17; ++j)
  120.                         {
  121.                                 int cx = (int)(det_result->keypoints[j][0]);
  122.                                 int cy = (int)(det_result->keypoints[j][1]);
  123.                                 // 将关键点坐标添加到 finalBuffer
  124.                                 snprintf(buffers, 1024, "key:(%d, %d)\n",cx, cy);
  125.                                 strcat(finalBuffer, buffers);
  126.                         }
  127.                 }
  128.         
  129.     }
  131.    // write_image("/data/model/out.jpg", &src_image);
  132.        
  133. //}
  134.        
  136.     return finalBuffer;
  137. }
  139. void yolov8_cleanup() {
  140.     deinit_post_process();
  141.     ret = release_yolov8_pose_model(&rknn_app_ctx);
  142.     if (ret != 0)
  143.     {
  144.         printf("release_yolov5_model fail! ret=%d\n", ret);
  145.     }
  147.     if (src_image.virt_addr != NULL)
  148.     {
  150.         free(src_image.virt_addr);
  151.     }
  153. }
复制代码
yolov8_pose.h
  1. #ifndef YOLOV8_POSE_H
  2. #define YOLOV8_POSE_H
  6. #ifdef __cplusplus
  7. extern "C" {
  8. #endif
  10. // 初始化模型
  11. int yolov8_init();
  13. // 执行推理
  14. char*  run_yolov8_pose(unsigned char* pixeldata,int cound);
  16. // 清理工作
  17. void yolov8_cleanup();
  19. #ifdef __cplusplus
  20. }
  21. #endif
  23. #endif // YOLOV8_POSE_H
复制代码
1.代码解析


  • 我细致研究了一下代码,我发现,rk的demo是读取一张640*640的图片输入模子,然后再输出一张640*640带上骨架等信息的图片
  • 我的功能逻辑是实时输入摄像头帧数据,然后输出骨架信息,人相框信息等
  • 我这里默认使用1280*720的像素, 我这里写死了rknn模子的地点,你们可以自行更改
  • 既然我把功能代码封装好了,我们就需要把这些功能代码打包成库,所以我们需要更改一下配置文件
  • 这里的CMakeLists.txt文件我没有去做编削,我只是在原根本上增加打包库文件,并且使用全部的接口,如下源码
  1. cmake_minimum_required(VERSION 3.10)
  2. project(rknn_yolov8_pose_demo)
  4. set(rknpu_yolov8-pose_file rknpu2/yolov8-pose.cc)
  6. # 添加第三方库和工具库
  7. add_subdirectory(${CMAKE_CURRENT_SOURCE_DIR}/../../../3rdparty/ 3rdparty.out)
  8. add_subdirectory(${CMAKE_CURRENT_SOURCE_DIR}/../../../utils/ utils.out)
  10. set(CMAKE_INSTALL_RPATH "$ORIGIN/lib")
  12. file(GLOB SRCS ${CMAKE_CURRENT_SOURCE_DIR}/*.cc)
  14. # 定义共享库 yolov8_pose
  15. add_library(yolov8_pose SHARED
  16.     yolov8_pose.cc
  17.     postprocess.cc
  18.     ${rknpu_yolov8-pose_file}
  19. )
  21. # 将包含目录添加到 yolov8_pose 库
  22. target_include_directories(yolov8_pose PRIVATE
  23.     ${CMAKE_CURRENT_SOURCE_DIR}                    
  24.     ${LIBRKNNRT_INCLUDES}                        
  25.     ${CMAKE_CURRENT_SOURCE_DIR}/../../../3rdparty   
  26.     ${CMAKE_CURRENT_SOURCE_DIR}/../../../utils/   
  27. )
  29. # 定义一个变量，包含公共库
  30. set(COMMON_LIBS
  31.     imageutils
  32.     fileutils
  33.     imagedrawing   
  34.     ${LIBRKNNRT}
  35.     dl
  36. )
  38. # 将共享库 yolov8_pose 链接到相关库
  39. target_link_libraries(yolov8_pose ${COMMON_LIBS})
  41. # 添加可执行文件
  42. add_executable(${PROJECT_NAME}
  43.     main.cc
  44.     postprocess.cc
  45.     ${rknpu_yolov8-pose_file}
  46. )
  48. # 将可执行文件链接到共享库和公共库
  49. target_link_libraries(${PROJECT_NAME}
  50.     yolov8_pose
  51.     ${COMMON_LIBS}  # 也链接公共库
  52. )
  54. if (CMAKE_SYSTEM_NAME STREQUAL "Android")
  55.     target_link_libraries(${PROJECT_NAME}
  56.         log
  57.     )
  58. endif()
  60. if (CMAKE_SYSTEM_NAME STREQUAL "Linux")
  61.     set(THREADS_PREFER_PTHREAD_FLAG ON)
  62.     find_package(Threads REQUIRED)
  63.     target_link_libraries(${PROJECT_NAME} Threads::Threads)
  64. endif()
  66. target_include_directories(${PROJECT_NAME} PRIVATE
  67.     ${CMAKE_CURRENT_SOURCE_DIR}
  68.     ${LIBRKNNRT_INCLUDES}
  69. )
  71. # 安装目标
  72. install(TARGETS ${PROJECT_NAME} DESTINATION .)
  73. install(FILES ${CMAKE_CURRENT_SOURCE_DIR}/../model/bus.jpg DESTINATION ./model)
  74. install(FILES ${CMAKE_CURRENT_SOURCE_DIR}/../model/yolov8_pose_labels_list.txt DESTINATION ./model)
  75. file(GLOB RKNN_FILES "${CMAKE_CURRENT_SOURCE_DIR}/../model/*.rknn")
  76. install(FILES ${RKNN_FILES} DESTINATION model)
  78. # 安装共享库
  79. install(TARGETS yolov8_pose DESTINATION lib)
复制代码
编译:这里就能在install下面找到我们编译成功的库

   2.android studio使用,直接使用ndk开辟


先上代码:
   native-lib.cc
  2. #include <jni.h>
  3. #include <unistd.h>
  4. #include <errno.h>
  5. #include <string.h>
  6. #include <pthread.h>
  7. #include <sys/syscall.h>
  8. #include <sched.h>
  11. #include <stdint.h>
  12. #include <stdio.h>
  13. #include <stdlib.h>
  15. #include "yolov8_pose.h"
  17. /******************************************************yolov8***************************************************/
  18. // 其他必要的引入
  19. #include <android/log.h>
  21. //#define LOGI(...) ((void)__android_log_print(ANDROID_LOG_INFO, "YOLOv8PoseJNI", __VA_ARGS__))
  22. #define LOGI(...) __android_log_print(ANDROID_LOG_INFO, "YOLOv8PoseJNI", ##__VA_ARGS__);
  24. extern "C" JNIEXPORT void JNICALL
  25. Java_com_rockchip_gpadc_demo_yolo_InferenceWrapper_native_1inityolov8(JNIEnv *env, jobject obj) {
  26.     int ret = yolov8_init();
  27.     LOGI("Java_com_rockchip_gpadc_demo_yolo_InferenceWrapper_native_1inityolov8  yolov8_init: %d",
  28.          ret);
  29. }
  31. // 推理
  32. extern "C" JNIEXPORT void JNICALL
  33. Java_com_rockchip_gpadc_demo_yolo_InferenceWrapper_native_1inference(JNIEnv *env, jobject obj,
  34.                                                                      jobject call_back,
  35.                                                                      jbyteArray imageData,
  36.                                                                      jint width, jint height) {
  37.     // 创建一个 JNI 全局引用
  38.     jobject global_callback = (*env).NewGlobalRef(call_back);
  39.     // 获取回调方法的方法ID
  40.     jclass cls = (*env).GetObjectClass(call_back);
  41.     jmethodID gCallBackMid = (*env).GetMethodID(cls, "onCall", "(Ljava/lang/String;)V");
  42.     // 获取字节数组的指针
  43.     jbyte *byteArray = (*env).GetByteArrayElements(imageData, NULL);
  44.     if (byteArray == nullptr) {
  45.         return; // 获取数组元素失败
  46.     }
  47.     //我这里限制五个人 前五个 后面的不管 数据量太大的话可能刷新不过来
  48.     char *result = run_yolov8_pose(reinterpret_cast<unsigned char *>(byteArray),5);
  50.     // 将 char* 转换为 Java 字符串
  51.     jstring resultString = env->NewStringUTF(result);
  52.     // 调用回调方法，将结果字符串传递回 Java 侧
  53.     env->CallVoidMethod(global_callback, gCallBackMid, resultString);
  54.     // 释放 JNI 创建的字符串
  55.     env->DeleteLocalRef(resultString); // 删除局部引用的字符串
  56.     // 释放字节数组的元素
  57.     env->ReleaseByteArrayElements(imageData, byteArray, 0);
  58.     // 释放全局引用
  59.     env->DeleteGlobalRef(global_callback);
  60. }
  62. // 清理资源
  63. extern "C" JNIEXPORT void JNICALL
  64. Java_com_rockchip_gpadc_demo_yolo_InferenceWrapper_native_1releaseModel(JNIEnv *env, jobject obj) {
  65.     yolov8_cleanup();
  66. }
复制代码
  CMakeLists.txt
  1. # For more information about using CMake with Android Studio, read the
  2. # documentation: https://d.android.com/studio/projects/add-native-code.html
  4. # Sets the minimum version of CMake required to build the native library.
  6. cmake_minimum_required(VERSION 3.4.1)
  8. # Creates and names a library, sets it as either STATIC
  9. # or SHARED, and provides the relative paths to its source code.
  10. # You can define multiple libraries, and CMake builds them for you.
  11. # Gradle automatically packages shared libraries with your APK.
  13. # include rga.
  14. #include_directories(src/main/cpp/rga)
  16. add_library( # Sets the name of the library.
  17.              rknn4j
  19.              # Sets the library as a shared library.
  20.              SHARED
  22.              # Provides a relative path to your source file(s).
  23.              src/main/cpp/native-lib.cc
  24.              src/main/cpp/yolov8_pose.h
  25.              )
  27. # Searches for a specified prebuilt library and stores the path as a
  28. # variable. Because CMake includes system libraries in the search path by
  29. # default, you only need to specify the name of the public NDK library
  30. # you want to add. CMake verifies that the library exists before
  31. # completing its build.
  33. find_library( # Sets the name of the path variable.
  34.               log-lib
  36.               # Specifies the name of the NDK library that
  37.               # you want CMake to locate.
  38.               log )
  40. # Specifies libraries CMake should link to your target library. You
  41. # can link multiple libraries, such as libraries you define in this
  42. # build script, prebuilt third-party libraries, or system libraries.
  44. target_link_libraries( # Specifies the target library.
  45.                        rknn4j
  46.                        # Links the target library to the log library
  47.                        # included in the NDK.
  48.                        ${CMAKE_SOURCE_DIR}/src/main/jniLibs/${ANDROID_ABI}/librknnrt.so
  49.                        ${CMAKE_SOURCE_DIR}/src/main/jniLibs/${ANDROID_ABI}/librga.so
  50.                        ${CMAKE_SOURCE_DIR}/src/main/jniLibs/${ANDROID_ABI}/libyolov8_pose.so
  51.                        ${log-lib} )
复制代码
   这里我在native-lib.cc使用了实时回调,把模子推理数据实时的回调给app,app调用
  1. package com.rockchip.gpadc.demo.yolo;
  3. import com.rockchip.gpadc.demo.callstr;
  4. /**
  5. * Created by randall on 18-4-18.
  6. */
  8. public class InferenceWrapper {
  9.     private final String TAG = "rkyolo.InferenceWrapper";
  11.     static {
  12.         System.loadLibrary("rknn4j");
  13.     }
  14.     public InferenceWrapper() {
  16.     }
  19.       public void setmessage(byte[] bytes, final callstr mcallstr){
  20.          // Log.e("TAG","setmessage bytes==="+bytes.length);
  21.           native_inference(new INativeListener() {
  22.               @Override
  23.               public void onCall(String str) {
  24.                 //  Log.e("TAG","模型回调数据======"+str);
  25.                   mcallstr.onCall(str);
  26.               }
  27.           },bytes,1280,720);
  28.      }
  30.     public int initModel(){
  31.         native_inityolov8();
  32.         return 0;
  33.     }
  36.     public void deinit() {
  37.         native_releaseModel();
  38.     }
  41.     // java回调接口 INativeListener.java
  42.     interface INativeListener {
  43.         void onCall(String str);
  44.     }
  47.     /**************************************************yolov8******************************************/
  49.     private native void native_inityolov8();
  50.     private native void native_inference(INativeListener mINativeListener,byte[] imageData, int width, int height);
  51.     private native void native_releaseModel();
  52. }
复制代码
   这里我做了个回调接口,在对应的地方调用即可
  这里还有个说明,因为rknn的推理数据是rgb的数据,但是很多摄像头的数据是yuv-nv12或者nv21,这里输入数据的时候需要转化一下,这个网上随便搜,很多.
  

  • 详细的打开摄像头,解析数据等代码这里我不能贴出来
  • 其实步骤很简单,在oncreat里面先初始化调用
    1. public int initModel(){
    2.     native_inityolov8();
    3.     return 0;
    4. }
    复制代码
  • 然后转换一下数据格式传入jni,就能实时得到数据了
    1. native_inference(new INativeListener() {
    2.     @Override
    3.     public void onCall(String str) {
    4.         Log.e("TAG","模型回调数据======"+str);
    5.         //解析
    6.     }
    7. },bytes,1280,720);
    复制代码
  • 详细怎么解析你们可以自定义上面的格式,这里我是一个数据一行,你们可以更改上面的yolov8_pose.cc里面的finalBuffer数据,这个数据就是全部数据回调
  • 详细就这些了,有什么不懂的可以找我咨询.
  



免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

本帖子中包含更多资源

您需要 登录 才可以下载或查看，没有账号？立即注册

x
回复

举报

0 个回复

倒序浏览
返回列表

快速回复

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

汕尾海湾

论坛元老
这个人很懒什么都没写!

楼主热帖

标签云

集成商 AI 运维 CIO 存储 服务器
微信订阅号
微信服务号
微信客服
小程序
H5
关于我们 商务合作 网站地图
©Copyright 2022-2024 杭州祥升科技有限公司 版权所有 浙ICP备20004199号
快速回复 返回顶部 返回列表