如何利用OpenBayes安装GPU版本LightGBM

最近在参加数据发掘比赛，代码中利用了LightGBM来进行建模，但是利用CPU版原来进行练习真的太慢了，五折交叉验证必要2-3个小时，效率很低，所以尝试构建GPU版本的lgb来进行建模，由于本地AMD的GPU环境，感觉也不太好搭建，所以选择利用云算力平台来进行搭建，但很多云服务器又没有root权限，纵然安装了CUDA也找不到安装路径等诸如此类问题，一直找不到合适的云服务器，还好想起来了有OpenBayes，固然不能在文件管理中直接查看系统设置文件，但是可以通过linux命令来查看，而且还安装成功了，速度提拔了8倍左右，只必要10-20分钟就能完成练习。下面详细先容一下安装流程：
OpenBayes注册利用地址：
https://openbayes.com/console/signup?r=datayouth_18uy
新用户注册完成手机号及邮箱双重验证后，即可获得4小时RTX 4090、5小时CPU免费利用时长以及免费存储空间 50 GB。

创建新容器

利用上面的链接注册登录之后，在平台的【模型练习】页面下点击【创建新容器】。

填写容器基本信息

容器名称必填，另外也可以先自己上传数据到数据仓库，然后直接绑定容器就OK，接入方式选择jupyterlab的工作空间，可设置主动关闭，当JupyterLab 页面被关闭大概CPU 利用率连续低于 2%的时候会被视为空闲，空闲状态一段时间后将被主动关闭，当容器被认定为空闲状态后容器的创建者会收到短信大概邮件提示。

选择算力

Openbayes提供了丰富的算力资源，最高可以提供96核CPU，192GB显存，320GB内存，800GB工作空间，详细算力资源如下所示。选择好合适的算力后，再选择镜像设置，包含了现有主流的深度学习框架，如torch、tf、paddle等。

练习开始

选择好设置之后，点击【审核并实行】后再点击【实行】即可开始OpenBayes之旅。在实行记录页面可以清楚地看到CPU、内存、GPU的利用率环境，可以很好的监控练习过程。点击Jupyter的工作空间即可开始。

GPU版本LightGBM模型构建

安装sudo

1. apt-get update
2. apt-get install sudo

复制代码

命令行安装

1. sudo apt-get install libboost-all-dev  
2. sudo apt install ocl-icd-opencl-dev
3. sudo apt-get install cmake
4. apt-get update --fix-missing

复制代码

CUDA目录查抄

1. /usr/local/cuda/lib64/libOpenCL.so.1
2. /usr/local/cuda/include/

复制代码

通过在命令行运行cd、ls命令可以看到这两个目录都存在。

设置环境变量

1. export CC=/usr/bin/gcc
2. export CXX=/usr/bin/g++

复制代码

导入并构建

1. git clone --recursive https://github.com/microsoft/LightGBM
2. cd LightGBM
3. cmake -B build -S . -DUSE_GPU=1 -DOpenCL_LIBRARY=/usr/local/cuda/lib64/libOpenCL.so -DOpenCL_INCLUDE_DIR=/usr/local/cuda/include/
4. cmake --build build

复制代码

安装python接口

1. sh ./build-python.sh install --cuda

复制代码

检验安装是否成功

1. import lightgbm
2. import numpy as np
4. def check_gpu_support():
5.     data = np.random.rand(50, 2)
6.     label = np.random.randint(2, size=50)
7.     print(label)
8.     train_data = lightgbm.Dataset(data, label=label)
9.     params = {'num_iterations': 1, 'device': 'cuda'}
10.     try:
11.         gbm = lightgbm.train(params, train_set=train_data)
12.         print("GPU True !!!")
13.     except Exception as e:
14.         print("GPU False !!!")
17. if __name__ == '__main__':
18.     check_gpu_support()

复制代码

此外也可以参考LightGBM官方的安装教程：
https://lightgbm.readthedocs.io/en/latest/Installation-Guide.html#build-gpu-version

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。