pycharm连接长途linux服务器上的docker举行深度学习练习

打印 上一主题 下一主题

主题 514|帖子 514|积分 1542

实习过程中由于GPU都在服务器上,编辑代码很麻烦。并且服务器上配置了docker的环境,所以用pycharm连接长途服务器的docker举行深度学习,这样在本地调用长途服务器的GPU和环境,更方便一点,将这个过程记录下来,希望对大家有所帮助。
目次
一、创建映射端口的docker容器
二、配置ssh
三、在pycharm中配置环境

一、创建映射端口的docker容器

首先查看已有的镜像(我自己制作了一个,所以用grep过滤一下)
  1. docker images | grep ds
复制代码

我选择ds-pytorch作为创建容器的镜像,接下来看看目前所有的相关容器。
  1. docker ps -a | grep ds
复制代码

开始创建容器
  1. docker run -it --name ds-test -p 8028:22 --gpus all -v /home/huangds/project:/project ds-pytorch:1.0 /bin/bash
复制代码
这条命令用于启动一个新的 Docker 容器,并设置了多个选项。以下是详细的表明:


  • docker run:这是启动一个新容器的根本命令。
  • -it

    • -i:让容器分配一个伪TTY,并保持 STDIN 打开。这意味着你可以与容器内的进程举行交互。
    • -t:让容器分配一个伪TTY。通常 -i 和 -t 一起使用,以获得交互式 shell 体验。

  • --name ds-test:这个选项指定了容器的名称为 ds-test。
  • -p 8028:22:这个选项用来发布(publish)容器的端口到宿主机上。这里的意思是从容器的端口 22 映射到宿主机的端口 8028。端口 22 通常是 SSH 服务使用的端口,这是为了允许从宿主机访问容器中的 SSH 服务。
  • --gpus all:这个选项指定了容器可以访问所有可用的 GPU 资源。
  • -v /home/huangds/project:/project:这个选项用来挂载宿主机的一个目次到容器中。具体来说,它把宿主机上的 /home/huangds/project 目次挂载到容器内的 /project 目次。这使得容器可以访问宿主机上的数据,可以数据共享和恒久化存储。(容器会自动创建/project路径,从图中框起来的路径就可以看出)
  • ds-pytorch:1.0:这部分指定了底子镜像的名字及其标签(tag)。这里的 ds-pytorch 是镜像的名字,而 1.0 是标签。标签用于区分同一个镜像的差别版本。自己的制作的镜像假如没有指定标签,会表现找不到报错。
  • /bin/bash:这部分指定了容器启动后实行的第一个命令。在这里,容器启动后会进入一个交互式的 bash shell,允许用户与容器内的环境举行交互。
二、配置ssh

容器中:
更新apt
  1. apt update
复制代码

下载openssh-server
  1. apt install -y openssh-server
复制代码
下载安装过程中会出现必要填写的部分,如下图填写亚洲(6)和上海(70)就行。


此时安装完成,必要举行一些配置
  1. mkdir /var/run/sshd
  2. echo 'root:passwd' | chpasswd  # 这里使用你自己想设置的用户名和密码,但是一定要记住!
  3. sed -i 's/PermitRootLogin prohibit-password/PermitRootLogin yes/' /etc/ssh/sshd_config
  4. sed 's@session\s*required\s*pam_loginuid.so@session optional pam_loginuid.so@g' -i /etc/pam.d/sshd
  5. echo "export VISIBLE=now" >> /etc/profile
复制代码
然后重启ssh服务
  1. service ssh restart
复制代码


  • mkdir /var/run/sshd: 创建一个名为 /var/run/sshd 的目次,这是 OpenSSH 服务所需的目次,用于存放一些临时文件。
  • echo 'root:123456' | chpasswd: 修改 root 用户的密码为 123456。注意,这是一个非常弱的密码,强烈建议使用更安全的密码。
  • sed -i 's/PermitRootLogin prohibit-password/PermitRootLogin yes/' /etc/ssh/sshd_config: 编辑 /etc/ssh/sshd_config 配置文件,将 PermitRootLogin prohibit-password 改为 PermitRootLogin yes,允许 root 用户通过 SSH 登录。
  • sed 's@session\s*required\s*pam_loginuid.so@session optional pam_loginuid.so@g' -i /etc/pam.d/sshd: 编辑 /etc/pam.d/sshd 文件,将 pam_loginuid.so 从 required 改为 optional。这一步是为了允许非交互式 SSH 会话,如通过 SSH 导出文件等操作。
  • echo 'export VISIBLE=now' > /etc/profile: 添加环境变量 VISIBLE=now 到 /etc/profile 文件。这一步似乎有些奇怪,由于 VISIBLE 变量并不是尺度的 Linux 环境变量。可能是某种自定义的需求,具体作用取决于上下文。
  • service ssh restart: 重启 SSH 服务,让上述改动生效。
宿主机上(不是服务器的docker里):
测试新建docker容器中哪个端口转发到了服务器的22端口
  1. docker port [your_container_name] 22
复制代码

可以看到是8028,跟之前创建容器时的对应上了。
  1. ssh root@[your_host_ip] -p 8028
复制代码
ssh测试连接时有时间会报错,所以在容器中查看一下ssh的配置文件
  1. vim /etc/ssh/sshd_config
复制代码
将PermitRootLogin的值从prohibit-password改为yes,X11UseLocalhost设置为no。

之后重新在服务器中ssh连接一下,输入密码就没题目了。
  1. ssh root@[your_host_ip] -p 8028
复制代码

三、在pycharm中配置环境

选择文件file–>setting设置—>找到python解析器




出现上图就阐明pycharm中的ssh连通了。

要选择体系编译器,然后选择自己的python在哪个目次下,不知道的可以在容器里输入
  1. which python
复制代码

我的python文件在/opt/conda/bin/python,所以修改如下:

"Sync folders" 表现为 <roject root> -> /dasheng,这意味着 PyCharm 将把本地项目根目次与长途服务器上的 /dasheng 目次举行同步。

出现红色方框中的选项就阐明没题目了,接下来就可以在pycharm中调用服务器里GPU举行练习了。

免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
回复

使用道具 举报

0 个回复

正序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

农妇山泉一亩田

金牌会员
这个人很懒什么都没写!

标签云

快速回复 返回顶部 返回列表