生信工作流框架搭建 | 04-nextflow与Slurm高性能计算

生信工作流框架搭建 | 04-nextflow与Slurm高性能计算

   本篇为biodoge《生信工作流框架搭建》系列笔记的第5篇，该系列将持续更新。
  前情提要

上回生信工作流框架搭建 | 03-nextflow与AWS批量计算为各人提供了nextflow上云的实用教程。虽然AWS批量计算技能含量较大，但毕竟在国内应用场景较少，下面将为各人先容另一种更为常用的应用：阿里云的HPC高性能计算。
本身slurm＋nextflow操作非常简朴，但是鉴于网络资料较少，且有很多误导（比如误导用sbatch投递！），照旧有须要整理出来的。
什么是HPC高性能计算

在阿里云和亚马逊云中，HPC（高性能计算）和批量计算都是云计算服务的一部门，但它们的紧张区别在于它们所针对的计算场景和工作负载范例不同。
HPC服务旨在提供专业的高性能计算服务，针对必要高性能计算本领的科学计算、工程仿真等范畴提供高效率的计算本领，通常采用的是超级计算机或集群的方式，支持大规模的并行计算任务，涉及的计算资源包括CPU、GPU、存储等，而且还提供了完善的调度和管理工具，用于管理大规模任务并优化计算资源的利用效率。

批量计算服务紧张是用于处理数据处理、大数据分析等工作负载的计算服务。它通常采用分布式计算的方式，在大规模的集群中运行多个计算任务，以实现高效的数据处理和分析。与HPC相比，批量计算更偏重于处理分布式数据，必要利用大量的存储、计算和网络资源来支持海量数据的分布式处理和计算。
什么是slurm

在HPC情况下，集群通常由数千甚至数万个计算节点组成，每个节点包罗多个处理器和大量的内存和存储资源。为了有效地利用这些资源，必要一种资源管理系统来监督、控制和分配这些资源。这就是调度器（Scheduler）所提供的功能。它可以跟踪和管理计算节点、CPU、内存、GPU等资源，动态地分配资源以支持各种作业范例，如并行作业、串行作业等。下面是几种常见的HPC调度器：

• Slurm：Slurm（Simple Linux Utility for Resource Management）是一种开源的集群和超级计算机资源管理系统，支持各种作业范例，如并行作业、串行作业等。Slurm具有机动的设置选项和强大的作业控制功能，广泛应用于各种规模的计算集群中。
  
• PBS（Portable Batch System）：PBS是一种开源的作业管理系统，广泛应用于HPC情况中。PBS具有机动的作业调度功能和可扩展性，支持各种计算模式和作业范例，如MPI并行作业、GPU计算等。
  
• LSF（Load Sharing Facility）：LSF是一种商业化的作业管理系统，广泛应用于大型计算集群和超级计算机中。LSF具有高度的可扩展性和强大的调度功能，支持各种作业范例和计算模式，如MPI并行作业、GPU计算等。
  
• TORQUE：TORQUE是一种开源的作业管理系统，支持HPC情况中的作业调度和资源管理。TORQUE具有机动的设置选项和易于利用的界面，支持各种计算模式和作业范例。
  

现在，SLURM已成为一种广泛利用的资源管理系统。本文默认你已知HPC概念，并能明确任务投递过程。
Slurm功能sinfo集群状态squeue列队作业状态sbatch作业提交scontrol检察和修改作业参数salloc交互式提交任务scancel删除作业   NB：本文不但适用于Slurm，对其他调度器也可应用，具体请查阅 nextflow官方文档
  nextflow设置

相较于批量计算繁复的操作设置，nextflow在slurm上运行简直十拿九稳。甚至连SBATCH也不消。
你只需：

• 在 nextflow.config 里的profile部门新增"slurm" ，只需两行须要的参数
  

1. slurm{
2.         process.executor = 'slurm'
3.         process.queue          = 'your queue' //slurm投递队列
4. }

复制代码

请留意，这里仅仅指定了执行器和队列，其他选项默认，由nextflow代为投递。
通过squeue和scontrol show job下令，发现nextflow投递SBATCH，参数都是默认的，这就充足投递了，但我们如果想指定更多参数（比如account）该如那边理呢？
这个问题，即便是ChatGPT都没能解决。通过检索nextflowGITHUB上的问题讨论，终于发现这个名为“clusterOptions”的参数，隐藏在官方文档的一角。

• 登陆节点，下令行指定-profile：
  

1. nextflow run main.nf --input samplesheet.csv --outdir out -profile slurm

复制代码

• BINGO！现在可以用squeue检察队列情况啦
  

留意事项

• 在HPC平台可以利用-resume 即断点重投功能，非常有用
  
• 缓存的弊端是work/目录占空间较大。如果对本身的流程稳定性非常有信心，可以指定process.scratch=true，如许制止非须要文件在不同节点之间传输，和NAS盘不须要的空间占用。
  
• 务必在登录节点（有投递权限）运行nextflow
  

下期预告

当我以为nextflow可以告一段落的时候，总有新知识可以分享。那么，下次有机会将为各人分享nfcore，非常好用的nextflow搭建框架。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。