Alphafold2/Alphafold-Multimer在服务器(CPU)安装教程(conda安装) ...

打印 上一主题 下一主题

主题 984|帖子 984|积分 2952

2024甲辰龙年2月22日始
碎碎念:生信小白一枚,去年暑假就打算开始坚持写博文的,一直到现在才开始,拖延症属实晚期了!不过只要开始就还不算晚。
记录自己天天做的学的东西,目的是督促自己(其实是记性差)希望自己能坚持下去!
最近在研究Alphafold/Alphafold-Multimer的使用,第一步当然是找教程学习在服务器上安装(没有可用服务器的小同伴可以使用谷歌的Colab试试)。废话不多说,下面是我根据教程一步一步的安装过程:
1、conda创建alphafold2的虚拟环境并激活

  1. conda create --name alphafold python==3.8
  2. conda activate alphafold
  3. mkdir Alphafold   #建个文件夹,后面存放alphafold的各种文件
复制代码
2、安装所需依赖

  1. conda install -y -c conda-forge openmm==7.5.1 cudnn==8.2.1.32 cudatoolkit==11.0.3 pdbfixer==1.7
  2. conda install -y -c bioconda hmmer==3.3.2 hhsuite==3.3.0 kalign2==2.04
  3. pip install absl-py==1.0.0 biopython==1.79 chex==0.0.7 dm-haiku==0.0.9 dm-tree==0.1.6 immutabledict==2.0.0 jax==0.3.25 ml-collections==0.1.0 numpy==1.21.6 pandas==1.3.4 protobuf==3.20.1 scipy==1.7.0 tensorflow-cpu==2.9.0
  4. pip install --upgrade  jax==0.3.25  jaxlib==0.3.25+cuda11.cudnn82 -f https://storage.googleapis.com/jax-releases/jax_cuda_releases.html
复制代码
3、下载Alphafold V2.2.4

最开始下载的是V2.3.0,但是后面安装依赖openmm patch堕落,查了一下说是2.3.0版本之后docker文件里就没有openmm.patch这个文件了。
后续增补:2.3版本及以上没有补丁解决方法:手动打补丁!参照这篇PSP - 关于 AlphaFold2 的 openmm.patch 补丁_patch -p0 < $alphafold_path/docker/openmm.patch-CSDN博客

找到site-packages里的simtk/openmm/app/topology.py文件,按照已经打过补丁的文件,自己对照着修改就行,亲测可用!

下载方法一:直接下载或是git克隆方法我没用过,不知道咋样。不过这样下载,后面想更新代码的话就可以直接使用官方命令git fetch origin main。
  1. wget https://github.com/deepmind/alphafold/archive/refs/tags/v2.3.1.tar.gz && tar -xzf v2.3.1.tar.gz && export alphafold_path="$(pwd)/alphafold-2.3.1"
  2. git clone https://github.com/deepmind/alphafold.git
复制代码
下载方法二:我用的。在github找到要下载的版本,按下图这样把文件下载好,我是用FileZilla传到服务器里的前面建的Alphafold文件夹里,就算下载好了。该方法后续更新代码使用git fetch origin main会报错,我自己又找方法设置了一下,照旧没成功。

  1. 设置一下alphafold_path路径
  2. alphafold_path="/home/用户名/Alphafold"
复制代码
4、下载化学性质(chemical properties)到alphafold里的common文件夹内

  1. cd common/
  2. wget -q -P $alphafold_path/alphafold/common/ https://git.scicore.unibas.ch/schwede/ope/raw/7102c63615b64735c4941278d92b554ec94415f8/modules/mol/alg/src/stereo_chemical_props.txt
复制代码
后续增补:最开始都没发现根本就没下载到stereo_chemical_props.txt这个文件,直到运行报错才发现。不过在github上找到了别人的解决办法:将-q 换成 --no-check-certificate 就可以了。

  1. wget --no-check-certificate -P alphafold/alphafold/common/ https://git.scicore.unibas.ch/schwede/openstructure/-/raw/7102c63615b64735c4941278d92b554ec94415f8/modules/mol/alg/src/stereo_chemical_props.txt
复制代码
5、添加openmm.patch补丁

  1. cd /home/用户名/anaconda3/envs/alphafold/lib/python3.8/site-packages/ && patch -p0 < $alphafold_patnmm.patch
复制代码
6、修改run_alphafold.sh的权限并运行,不报错就是安装成功了。

  1. cd Alphafold/
  2. chmod 777 run_alphafold.sh
  3. bash run_alphafold.sh
  4. python run_alphafold_test.py
复制代码


7、下载数据集(pdb_mmcif需要用另外的方法!)

这是最麻烦的过程。不要直接运行download_all_data.sh,下载全部数据,大概率是不成功的,虽然我没试。我是使用IDM下载器手动一个一个下载的。打开scripts文件夹内的随便一个脚本,找到下载地址,复制到IDM上下载就可以了。然后传到服务器上的dataset文件夹里的相应数据库文件夹(给每个数据库都建个文件夹)。SOURCE_URL后面就是下载链接。脚本里是用aria2c下载的,没有的需要先安装,使用conda就可以。由于我们已经下载好了,所以把这行注释掉就可以了(下图,加个#就注释掉了),只解压就可以了。

  1. bash scripts/download_alphafold_params.sh /home/用户名/Alphafold/alphafold/dataset
复制代码
8、pdb_mmcif数据集的下载

这个比力麻烦,不能用7中的方法。这个数据集使用了同步(rsync)的方式举行下载。好多人推荐根据rsync 多进程并发实行同步数据 - 技术写真 - 若海的方法举行多线程同步,代码如下:
  1. #!/bin/sh
  2. src='rsync.rcsb.org::ftp_data/structures/divided/mmCIF' #源路径,结尾不带斜线
  3. dst='./pdb_mmcif/raw' #目标路径,结尾不带斜线
  4. opt="--recursive --links --perms --times --compress --info=progress2 --delete --port=33444" #同步选项
  5. num=10 #并发进程数
  6. depth='5 4 3 2 1' #归递目录深度
  7. task=/tmp/`echo $src$ | md5sum | head -c 16`
  8. [ -f $task-next ] && cp $task-next $task-skip
  9. [ -f $task-skip ] || touch $task-skip
  10. # 创建目标目录结构
  11. rsync $opt --include "*/" --exclude "*" $src/ $dst
  12. # 从深到浅同步目录
  13. for l in $depth ;do
  14.     # 启动rsync进程
  15.     for i in `find $dst -maxdepth $l -mindepth $l -type d`; do
  16.         i=`echo $i | sed "s#$dst/##"`
  17.         if `grep -q "$i$" $task-skip`; then
  18.             echo "skip $i"
  19.             continue
  20.         fi
  21.         while true; do
  22.             now_num=`ps axw | grep rsync | grep $dst | grep -v '\-\-daemon' | wc -l`
  23.             if [ $now_num -lt $num ]; then
  24.                 echo "rsync $opt $src/$i/ $dst/$i" >>$task-log
  25.                 rsync $opt $src/$i/ $dst/$i &
  26.                 echo $i >>$task-next
  27.                 sleep 1
  28.                 break
  29.             else
  30.                 sleep 5
  31.             fi
  32.         done
  33.     done
  34. done
复制代码
但是我实行该脚本时,可能是由于我们学校网络的原因,同步下载的每一项都无法达到100%,担心后面运行堕落,我就放弃了这种多线程的方法。就直接使用了官方自带的脚本,也是同步(rsync)的方式举行下载。实行下面的命令:断断续续下了有1天吧,我们学校的网最近限速,最高才3M/s,服务器也总是会断。查了一下rsync是默认会停止续传的,下载自动解压后数据库有275G,也不知道是不是完整的,到时候运行看看会不会报错。obsolete.dat这个文件如果无法下载,就复制他的下载地址下载,然后再传到服务器pdb_mmcif文件夹里就行了。
  1. bash ./scripts/download_pdb_mmcif.sh /home/用户名/Alphafold/dataset
复制代码
官方贴出的所需数据库的信息:数据库大小会有更新,应该只会比这个大,不会小。
  1. $DOWNLOAD_DIR/                             # Total: ~ 2.62 TB (download: 556 GB)
  2.     bfd/                                   # ~ 1.8 TB (download: 271.6 GB)
  3.         # 6 files.
  4.     mgnify/                                # ~ 120 GB (download: 67 GB)
  5.         mgy_clusters_2022_05.fa
  6.     params/                                # ~ 5.3 GB (download: 5.3 GB)
  7.         # 5 CASP14 models,
  8.         # 5 pTM models,
  9.         # 5 AlphaFold-Multimer models,
  10.         # LICENSE,
  11.         # = 16 files.
  12.     pdb70/                                 # ~ 56 GB (download: 19.5 GB)
  13.         # 9 files.
  14.     pdb_mmcif/                             # ~ 238 GB (download: 43 GB)
  15.         mmcif_files/
  16.             # About 199,000 .cif files.
  17.         obsolete.dat
  18.     pdb_seqres/                            # ~ 0.2 GB (download: 0.2 GB)
  19.         pdb_seqres.txt
  20.     small_bfd/                             # ~ 17 GB (download: 9.6 GB)
  21.         bfd-first_non_consensus_sequences.fasta
  22.     uniref30/                              # ~ 206 GB (download: 52.5 GB)
  23.         # 7 files.
  24.     uniprot/                               # ~ 105 GB (download: 53 GB)
  25.         uniprot.fasta
  26.     uniref90/                              # ~ 67 GB (download: 34 GB)
  27.         uniref90.fasta
复制代码
我是根据很多教程一点一点安装下载的,完了之后才写的这篇,导致中间一些过程没有截图,写的也不敷完全。加上的后续增补是我运行时出现的题目,找到相识决办法觉得照旧放在这里比力好!
这类的教程非常多,感谢各位大佬的分享,让我这种小白也能一点一点完成。写这些主要是记录一下我的学习过程,防止忘记,能时常翻来看看,如果碰巧也能帮到你,那真是太好了!如果哪里有错误的地方,请各位大佬多多指出来!后续的运行过程,我也会记录下来,希望自己能坚持下去!2024年2月29日最后贴上一张很故意思的图:


免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
回复

使用道具 举报

0 个回复

倒序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

天津储鑫盛钢材现货供应商

金牌会员
这个人很懒什么都没写!
快速回复 返回顶部 返回列表