2026/9/17 18:14:52
FEATURED · 精选文章 
简介面向生物信息学专业的 Linux 课程教学实践是一份聚焦教学改革与学科应用的参考文档适合高校生物信息、计算生物及相关专业教师、课程设计者与需要补强 Linux 实践能力的学生阅读。PDF 围绕 Linux 在新一代测序研究中的必要性展开梳理案例驱动、实验实践强化、考试方法改革三条教学路径并引入读段回帖软件如 Bowtie、BWA、SOAP 等在人类基因组比对中的运行时间与内存需求用以说明桌面计算机难以承担、服务器集群与 Linux 环境为何成为刚需。资料共 1 个 PDF 文件压缩包约 820KB体量轻便便于随课分发或作为教学参考文献保存。已有 196 人学习下载内容涵盖课程内容选择与设计、生物信息学专业学生数理与计算机基础衔接、实际科研问题转化为课堂案例等要点可帮助读者快速搭建从理论到实践的教学框架也可为课程大纲、实验环节与考核方式调整提供现成思路。1. 一次 12M 读段的回帖任务为什么把 Linux 变成了生物信息学的必修课一台 8GB 内存的笔记本跑一次 12M 条、76bp 的读段回帖BWA 跑到一小时四十分钟被内核 OOM killer 干掉学生的实验报告只剩半截日志。这不是配置问题而是任务本身的资源下限就摆在那里主流回帖软件的内存门槛普遍在 3GB 以上索引常驻、排序落盘、临时文件翻倍桌面端很难扛住。也正是这个账本把 Linux 从计算机基础课推成了生物信息学专业绕不开的必修课。《面向生物信息学专业的 LINUX 课程教学实践》来自哈尔滨医科大学生物信息科学与技术学院讨论的不是 Linux 语法而是怎么把课讲成能上手做分析的样子用科研里的真实案例驱动兴趣用实验训练把课堂内容压进肌肉记忆再用考核方式改革把做过一遍变成能独立复现。它适合三类人看要给生信专业排课的高校教师要带新人熟悉服务器流程的实验室工程师以及把分析流程从图形界面搬到计算节点的从业者。后面按资源账本、流水线、集群调度、考核落地四段拆开。2. 从读段回帖的内存账本倒推 Linux 课程的内容重排2.1 把 mapping 的资源开销算成一张表课堂上最容易讲空的地方是直接念工具名。真正让生物信息学专业学生坐直的方式是把每个工具的资源画像摆出来让他们看到选哪个背后是可量化的取舍。索引结构决定了内存曲线的形状FM-index 类的实现索引体积小、cache 友好哈希索引类实现查找快但内存驻留大早期实现还有明显的单线程瓶颈。工具索引/算法特征常见内存量级线程扩展性课堂适配度BowtieFM-index索引体积小34 GB一般高适合小基因组先跑通BWABWT 后缀数组46 GB好高工业界主流教学首选SOAP哈希索引5 GB 以上一般中可做对照组Mosaik哈希索引逐条比对6 GB 以上好中耗时偏长SeqMap / RMAP / SHRIMP早期实现索引驻留内存4 GB 以上弱低仅作历史对照提示表里的量级随参考基因组版本、读长和线程数浮动教学时不要把它当标准答案让学生用/usr/bin/time -v在本地实测一遍比背下来有用得多。2.1.1 为什么这张表比命令清单更能撑住课程一旦学生知道这个任务最少要 5GB 内存他对--mem、线程数和排序缓冲区这几个参数就不再是被动接受。教学实践里最有效的一步是让同一个样本分别在单机、容器、集群各跑一次记录耗时、峰值内存和失败原因三份数据放在一起对比Linux 从一堆命令变成了一套资源调度手段。2.2 课程主线从命令清单换成数据流命令清单式教学的典型后果是学生能默写出grep、awk、sort的用法真拿到一个比对失败的 bam 却不知道从哪查。把主线换成数据流之后整门课可以压缩成四段输入fastq 与质控、转换索引、比对、排序、中间产物bam 及其索引、结论vcf 或统计表。每敲一条命令都要能回答两个问题——它作用在数据流的哪一段它产出的文件格式是什么。常见做法是给每个实验配一张数据流图和一列文件清单要求学生交作业时把中间产物的体积、行数、校验值一并写进报告。ls -lh、wc -l、md5sum这几条最基础的 linux 常用命令反而成了整个流程的锚点体积不对说明比对没跑完行数不对说明过滤条件写错了。2.3 教学环境选型本地虚拟机、容器还是共享集群三种环境在教学里的分工不一样混用会出乱子。虚拟机安装 linux 系统适合课前预习和课后复习学生在家装坏了直接回滚快照容器适合固化版本把 bwa、samtools、bcftools 绑在一套镜像里避免老师机器上能跑共享集群才是真实规模实验的归宿队列、配额、作业脚本这些工程约束只有真机环境才教得出来。# 用 conda 固定一套教学环境避免学生机器上版本漂移 conda create -n bioinfo-teach -c bioconda -c conda-forge \ bwa samtools bcftools fastqc seqtk conda activate bioinfo-teach samtools --version | head -n 1 # 版本号要写进实验报告的固定字段这里的-n指定环境名-c指定软件渠道教学场景下必须优先 bioconda 再补 conda-forge否则容易出现二进制依赖冲突。最后一行打印版本不是形式主义生物信息流水线的结果对版本敏感评分时同一份数据在不同版本下位点数可能差出几个百分点把版本写进报告是让结果可追溯的最低成本做法。3. 案例驱动的最小可运行流水线从 fastq 到变异位点3.1 教学账号与目录约定多人共用一台服务器最常见的翻车场景是所有人用同一个账号A 把 B 的中间文件覆盖了谁也说不清。为每个学生建独立账号、独立数据目录是实验课的第一道工程约束也顺带把 linux 新建用户和用户组权限这两个知识点讲透了。# 每人一个账号避免多人共用同一账号互相覆盖数据 sudo useradd -m -s /bin/bash stu001 sudo passwd stu001 sudo mkdir -p /data/teaching/stu001/{raw,ref,out} sudo chown -R stu001:stu001 /data/teaching/stu001 sudo chmod 750 /data/teaching/stu001-m建家目录-s指定登录 shell缺了后者有的系统会落到/bin/sh导致source activate之类写法失效。chmod 750表示属主读写执行、同组只读执行、其他用户无权限既能防止误删他人数据也让抄作业这件事在文件系统层面变得麻烦一些。目录按raw、ref、out三段划分是为了让第 2 章讲的数据流在磁盘上有个物理对应。3.2 比对与排序把 bwa mem 的参数讲清楚真正要教的是那条管道而不是单条命令。比对产生 sam排序产生 bam中间那一步如果落盘磁盘占用会翻几倍这也是很多学生第一次跑就No space left on device的原因。# 1) 建索引一次性动作产物是 ref.fa.* 一组文件 bwa index -a bwtsw ref.fa # 2) 比对并直接管道给排序避免中间 sam 落盘 bwa mem -t 8 -R RG\tID:s1\tSM:stu001 ref.fa raw/R1.fq.gz raw/R2.fq.gz \ | samtools sort - 4 -m 1G -o out/stu001.sorted.bam - # 3) 建索引后续按区间取数会快一个量级 samtools index out/stu001.sorted.bam参数含义教学建议取值调错的后果-t 8比对线程数与作业申请核数一致超配会被集群限流排队更慢-R RG...读组信息必须带SM字段后续去重和多样本合并会报错或样本混淆sort - 4排序线程数单机 24线程过多与-m争抢内存sort -m 1G每个排序线程的内存总内存 ÷ 线程数 × 0.7设大 OOM设小产生大量临时文件末尾-从标准输入读固定写法写成文件名会多出一份 sam 中间文件-a bwtsw是建索引算法长基因组用 bwtsw短序列用默认的is更快这个选择在课堂上用不同大小的参考序列跑一次就能看出差别。SM字段是样本名一旦写错后面做去重或者合并多样本时会把两个样本当成一个是生信流水线里最难排查的一类错误。3.3 结果校验与统计学生交作业前先自己校验是让实验课可评分的前提。比对率、成对比对率、变异位点数这三个指标基本能覆盖跑通了没有的判断。# 比对质量总览重点看 mapped % 与 properly paired % samtools flagstat out/stu001.sorted.bam # 只保留比对上的读段并抽 1/10用于课堂快速迭代 samtools view -b -F 4 -s 0.1 out/stu001.sorted.bam out/stu001.sub.bam # 变异检测最小闭环 bcftools mpileup -f ref.fa out/stu001.sorted.bam | \ bcftools call -mv -Oz -o out/stu001.vcf.gz bcftools index out/stu001.vcf.gz-F 4是过滤掉 flag 位里含 4 的读段也就是未比对上的-s 0.1按 10% 抽样前一段写种子可复现后一段写比例。mpileup -f需要参考序列重建碱基质量call -mv只输出变异位点-Oz输出压缩 vcf。抽样这步在教学中很关键全量数据跑一次要几十分钟抽样后几十秒出结果学生才有机会反复试参数。3.4 两个高频操作坑解压乱码与行尾# Windows 打包的压缩包在 Linux 下解压中文文件名常变乱码 unzip -O cp936 data.zip -d raw/ # 已经解压出来的乱码文件名用 convmv 回写 convmv -f gbk -t utf-8 -r --notest raw/ # CRLF 行尾会让 shell 脚本报 bad interpreter sed -i s/\r$// pipeline.sh file pipeline.shlinux 解压文件乱码的根因是压缩包记录的是 GBK 编码的文件名而系统按 UTF-8 解读-O cp936显式指定来源编码即可。行尾问题更隐蔽脚本是在 Windows 上写的每行末尾多一个\rshebang 变成#!/bin/bash\r系统找不到解释器就报bad interpreter。file命令看到with CRLF line terminators就是它sed删掉行尾回车是最省事的修法。4. 把课堂搬进集群SLURM 作业脚本、配额与失败排查4.1 作业脚本模板与参数对齐单机跑通和集群跑通之间隔着一层调度器。学生最容易犯的错是脚本里写-t 16而作业只申请了 8 个核结果被 cgroup 限流跑得比单机还慢还查不出原因。#!/bin/bash #SBATCH --job-namebwa_stu001 #SBATCH --cpus-per-task8 #SBATCH --mem16G #SBATCH --time02:00:00 #SBATCH --outputlogs/%x_%j.out #SBATCH --errorlogs/%x_%j.err set -euo pipefail # 任一步失败立即退出别让错误往下游传 module load bwa samtools # 集群上通常用 module 而非 conda bwa mem -t ${SLURM_CPUS_PER_TASK} \ -R RG\tID:s1\tSM:stu001 ref.fa raw/R1.fq.gz raw/R2.fq.gz \ | samtools sort - 4 -m 1G -o out/stu001.sorted.bam - samtools index out/stu001.sorted.bam--cpus-per-task是整作业能用的核数--mem是整作业的内存上限--time超时后调度器会先 SIGTERM 再 SIGKILL。%x和%j分别是作业名和作业号日志按这两项命名交作业多的时候不至于找不到自己的输出。set -euo pipefail里的pipefail尤其重要管道中间某一步失败默认只看最后一条命令的退出码加上它才能让整个管道失败即终止。4.2 内存与线程的配比原则集群上排错的第一步永远是算账而不是改代码。一个可用的估算式是samtools sort的内存占用约等于-m乘以排序线程数再加上 BWA 索引常驻内存和系统开销。按 3.2 的写法-m 1G乘- 4是 4GB索引常驻按 5GB 算再加上管道缓冲16GB 的申请量才算合理。# 作业跑完后看实际峰值内存用来校准下一次的 --mem sacct -j jobid --formatJobID,MaxRSS,Elapsed,StateMaxRSS是作业实际用到的峰值常驻内存跟申请值对比能直接看出申请是浪费还是不够。教学场景建议要求学生把这次实测值写进下一次作业的申请理由里几次下来他们对资源申请这件事就有了手感。4.3 常见失败的定位路径现象先跑什么常见根因作业秒退StateOOMsacct -j ID --formatMaxRSS--mem小于sort -m × 线程数No space left on devicedf -h、du -sh out/*sam 中间文件未清理临时目录落在/tmpPermission deniedls -l、id目录组权限、umask或 NFS 上 uid 不一致一直PENDINGsqueue -o %.10i %.9P %.8T %.10M %.20R申请核数超分区上限、QOS 限制bad interpreterfile script.sh、head -1 script.shCRLF 行尾或 shebang 路径不存在注意df -h看的是节点本地盘很多集群的/home和/tmp挂在不同的存储上out目录写满不代表临时目录没满两个都要看。4.4 教学场景的环境固化一次性的临时环境是实验课最大的敌人同样的命令A 同学的结果跟 B 同学差 3%。可行做法是用 apptainer 或 singularity 把工具链打成一个只读镜像学生只挂载数据目录环境和数据彻底分离。# 挂载数据目录镜像只读学生改不动环境 apptainer exec --bind /data/teaching/stu001:/work \ bioinfo-teach.sif bash -c cd /work bash run.sh--bind把宿主目录映射进容器镜像本身只读学生能改的只有数据和自己写的脚本。这一步做完评分时才能把环境差异从失败原因里排除掉。5. 考核方法改革落地一套能自动判分的实操考试5.1 题目设计给数据、给验收标准不给步骤抛弃名词解释和命令默写改成给定抽样后的双端数据、参考基因组和一份输出规格stu.vcf.gz、flagstat.txt、一条能重跑的run.sh限时完成。不给步骤是刻意的——会做的人自然知道从建索引开始不会做的人至少能暴露出卡在哪一段。为了把考试压进 30 分钟用seqtk sample -s 100 R1.fq.gz 0.1抽 10% 子集位点召回率会略降但足以区分流程是否跑通。5.2 判分脚本可复现、限时、看资源import subprocess, gzip, time, resource def run(cmd, timeout1800): 限时执行学生脚本返回退出码、耗时、子进程峰值内存(MB) start time.time() p subprocess.run(cmd, shellTrue, capture_outputTrue, textTrue, timeouttimeout) peak resource.getrusage(resource.RUSAGE_CHILDREN).ru_maxrss / 1024 return p.returncode, time.time() - start, peak, p.stderr[-2000:] def load_sites(path): 读 vcf.gz返回 (chrom, pos) 集合跳过注释行 sites set() with gzip.open(path, rt) as fh: for line in fh: if line.startswith(#): continue f line.split(\t) sites.add((f[0], f[1])) return sites code, cost, peak, err run(bash /exam/submit/stu001/run.sh) ref load_sites(/exam/answer/truth.vcf.gz) got load_sites(/exam/submit/stu001/out/stu.vcf.gz) inter len(ref got) recall inter / len(ref) precision inter / len(got) if got else 0 print(fexit{code} time{cost:.1f}s peak{peak:.0f}MB frecall{recall:.3f} precision{precision:.3f})timeout防的是死循环和误写的无限等待否则一个学生能占满一个节点。RUSAGE_CHILDREN拿的是子进程峰值内存正好对应samtools sort那条管道比自己加监控省事。集合求交算 recall 和 precision 时用(chrom, pos)二元组而不是行号避免学生换了排序方式就被判错。p.stderr[-2000:]只留错误日志尾部是为了人工复核时能快速看到真正的报错行而不是被几千行警告淹没。5.3 评分维度与容差维度检查方法权重容差流程可复现干净容器内重跑run.sh40%退出码为 0产物齐全位点召回与标准 vcf 求集合交25%recall ≥ 0.95资源控制sacct的MaxRSS或ru_maxrss15%峰值不超申请值结果解释flagstat关键指标写入报告10%mapped ≥ 0.9排错记录错误日志与修正过程10%人工评分要动手落地一个具体技巧是把内存不炸设成及格线而不是加分项让每位学生在/usr/bin/time -v下跑一遍自己的脚本把Maximum resident set size填进提交表格占位内存超过申请值的一律退回重跑。这样训练几轮学生拿到新数据会先估内存、再申请资源而不是先提交再祈祷。本文还有配套的精品资源点击获取
生物信息学Linux课程改革：从内存账本到集群实操
简介面向生物信息学专业的 Linux 课程教学实践是一份聚焦教学改革与学科应用的参考文档适合高校生物信息、计算生物及相关专业教师、课程设计者与需要补强 Linux 实践能力的学生阅读。PDF 围绕 Linux 在新一代测序研究中的必要性展开梳理案例驱动、实验实践强化、考试方法改革三条教学路径并引入读段回帖软件如 Bowtie、BWA、SOAP 等在人类基因组比对中的运行时间与内存需求用以说明桌面计算机难以承担、服务器集群与 Linux 环境为何成为刚需。资料共 1 个 PDF 文件压缩包约 820KB体量轻便便于随课分发或作为教学参考文献保存。已有 196 人学习下载内容涵盖课程内容选择与设计、生物信息学专业学生数理与计算机基础衔接、实际科研问题转化为课堂案例等要点可帮助读者快速搭建从理论到实践的教学框架也可为课程大纲、实验环节与考核方式调整提供现成思路。1. 一次 12M 读段的回帖任务为什么把 Linux 变成了生物信息学的必修课一台 8GB 内存的笔记本跑一次 12M 条、76bp 的读段回帖BWA 跑到一小时四十分钟被内核 OOM killer 干掉学生的实验报告只剩半截日志。这不是配置问题而是任务本身的资源下限就摆在那里主流回帖软件的内存门槛普遍在 3GB 以上索引常驻、排序落盘、临时文件翻倍桌面端很难扛住。也正是这个账本把 Linux 从计算机基础课推成了生物信息学专业绕不开的必修课。《面向生物信息学专业的 LINUX 课程教学实践》来自哈尔滨医科大学生物信息科学与技术学院讨论的不是 Linux 语法而是怎么把课讲成能上手做分析的样子用科研里的真实案例驱动兴趣用实验训练把课堂内容压进肌肉记忆再用考核方式改革把做过一遍变成能独立复现。它适合三类人看要给生信专业排课的高校教师要带新人熟悉服务器流程的实验室工程师以及把分析流程从图形界面搬到计算节点的从业者。后面按资源账本、流水线、集群调度、考核落地四段拆开。2. 从读段回帖的内存账本倒推 Linux 课程的内容重排2.1 把 mapping 的资源开销算成一张表课堂上最容易讲空的地方是直接念工具名。真正让生物信息学专业学生坐直的方式是把每个工具的资源画像摆出来让他们看到选哪个背后是可量化的取舍。索引结构决定了内存曲线的形状FM-index 类的实现索引体积小、cache 友好哈希索引类实现查找快但内存驻留大早期实现还有明显的单线程瓶颈。工具索引/算法特征常见内存量级线程扩展性课堂适配度BowtieFM-index索引体积小34 GB一般高适合小基因组先跑通BWABWT 后缀数组46 GB好高工业界主流教学首选SOAP哈希索引5 GB 以上一般中可做对照组Mosaik哈希索引逐条比对6 GB 以上好中耗时偏长SeqMap / RMAP / SHRIMP早期实现索引驻留内存4 GB 以上弱低仅作历史对照提示表里的量级随参考基因组版本、读长和线程数浮动教学时不要把它当标准答案让学生用/usr/bin/time -v在本地实测一遍比背下来有用得多。2.1.1 为什么这张表比命令清单更能撑住课程一旦学生知道这个任务最少要 5GB 内存他对--mem、线程数和排序缓冲区这几个参数就不再是被动接受。教学实践里最有效的一步是让同一个样本分别在单机、容器、集群各跑一次记录耗时、峰值内存和失败原因三份数据放在一起对比Linux 从一堆命令变成了一套资源调度手段。2.2 课程主线从命令清单换成数据流命令清单式教学的典型后果是学生能默写出grep、awk、sort的用法真拿到一个比对失败的 bam 却不知道从哪查。把主线换成数据流之后整门课可以压缩成四段输入fastq 与质控、转换索引、比对、排序、中间产物bam 及其索引、结论vcf 或统计表。每敲一条命令都要能回答两个问题——它作用在数据流的哪一段它产出的文件格式是什么。常见做法是给每个实验配一张数据流图和一列文件清单要求学生交作业时把中间产物的体积、行数、校验值一并写进报告。ls -lh、wc -l、md5sum这几条最基础的 linux 常用命令反而成了整个流程的锚点体积不对说明比对没跑完行数不对说明过滤条件写错了。2.3 教学环境选型本地虚拟机、容器还是共享集群三种环境在教学里的分工不一样混用会出乱子。虚拟机安装 linux 系统适合课前预习和课后复习学生在家装坏了直接回滚快照容器适合固化版本把 bwa、samtools、bcftools 绑在一套镜像里避免老师机器上能跑共享集群才是真实规模实验的归宿队列、配额、作业脚本这些工程约束只有真机环境才教得出来。# 用 conda 固定一套教学环境避免学生机器上版本漂移 conda create -n bioinfo-teach -c bioconda -c conda-forge \ bwa samtools bcftools fastqc seqtk conda activate bioinfo-teach samtools --version | head -n 1 # 版本号要写进实验报告的固定字段这里的-n指定环境名-c指定软件渠道教学场景下必须优先 bioconda 再补 conda-forge否则容易出现二进制依赖冲突。最后一行打印版本不是形式主义生物信息流水线的结果对版本敏感评分时同一份数据在不同版本下位点数可能差出几个百分点把版本写进报告是让结果可追溯的最低成本做法。3. 案例驱动的最小可运行流水线从 fastq 到变异位点3.1 教学账号与目录约定多人共用一台服务器最常见的翻车场景是所有人用同一个账号A 把 B 的中间文件覆盖了谁也说不清。为每个学生建独立账号、独立数据目录是实验课的第一道工程约束也顺带把 linux 新建用户和用户组权限这两个知识点讲透了。# 每人一个账号避免多人共用同一账号互相覆盖数据 sudo useradd -m -s /bin/bash stu001 sudo passwd stu001 sudo mkdir -p /data/teaching/stu001/{raw,ref,out} sudo chown -R stu001:stu001 /data/teaching/stu001 sudo chmod 750 /data/teaching/stu001-m建家目录-s指定登录 shell缺了后者有的系统会落到/bin/sh导致source activate之类写法失效。chmod 750表示属主读写执行、同组只读执行、其他用户无权限既能防止误删他人数据也让抄作业这件事在文件系统层面变得麻烦一些。目录按raw、ref、out三段划分是为了让第 2 章讲的数据流在磁盘上有个物理对应。3.2 比对与排序把 bwa mem 的参数讲清楚真正要教的是那条管道而不是单条命令。比对产生 sam排序产生 bam中间那一步如果落盘磁盘占用会翻几倍这也是很多学生第一次跑就No space left on device的原因。# 1) 建索引一次性动作产物是 ref.fa.* 一组文件 bwa index -a bwtsw ref.fa # 2) 比对并直接管道给排序避免中间 sam 落盘 bwa mem -t 8 -R RG\tID:s1\tSM:stu001 ref.fa raw/R1.fq.gz raw/R2.fq.gz \ | samtools sort - 4 -m 1G -o out/stu001.sorted.bam - # 3) 建索引后续按区间取数会快一个量级 samtools index out/stu001.sorted.bam参数含义教学建议取值调错的后果-t 8比对线程数与作业申请核数一致超配会被集群限流排队更慢-R RG...读组信息必须带SM字段后续去重和多样本合并会报错或样本混淆sort - 4排序线程数单机 24线程过多与-m争抢内存sort -m 1G每个排序线程的内存总内存 ÷ 线程数 × 0.7设大 OOM设小产生大量临时文件末尾-从标准输入读固定写法写成文件名会多出一份 sam 中间文件-a bwtsw是建索引算法长基因组用 bwtsw短序列用默认的is更快这个选择在课堂上用不同大小的参考序列跑一次就能看出差别。SM字段是样本名一旦写错后面做去重或者合并多样本时会把两个样本当成一个是生信流水线里最难排查的一类错误。3.3 结果校验与统计学生交作业前先自己校验是让实验课可评分的前提。比对率、成对比对率、变异位点数这三个指标基本能覆盖跑通了没有的判断。# 比对质量总览重点看 mapped % 与 properly paired % samtools flagstat out/stu001.sorted.bam # 只保留比对上的读段并抽 1/10用于课堂快速迭代 samtools view -b -F 4 -s 0.1 out/stu001.sorted.bam out/stu001.sub.bam # 变异检测最小闭环 bcftools mpileup -f ref.fa out/stu001.sorted.bam | \ bcftools call -mv -Oz -o out/stu001.vcf.gz bcftools index out/stu001.vcf.gz-F 4是过滤掉 flag 位里含 4 的读段也就是未比对上的-s 0.1按 10% 抽样前一段写种子可复现后一段写比例。mpileup -f需要参考序列重建碱基质量call -mv只输出变异位点-Oz输出压缩 vcf。抽样这步在教学中很关键全量数据跑一次要几十分钟抽样后几十秒出结果学生才有机会反复试参数。3.4 两个高频操作坑解压乱码与行尾# Windows 打包的压缩包在 Linux 下解压中文文件名常变乱码 unzip -O cp936 data.zip -d raw/ # 已经解压出来的乱码文件名用 convmv 回写 convmv -f gbk -t utf-8 -r --notest raw/ # CRLF 行尾会让 shell 脚本报 bad interpreter sed -i s/\r$// pipeline.sh file pipeline.shlinux 解压文件乱码的根因是压缩包记录的是 GBK 编码的文件名而系统按 UTF-8 解读-O cp936显式指定来源编码即可。行尾问题更隐蔽脚本是在 Windows 上写的每行末尾多一个\rshebang 变成#!/bin/bash\r系统找不到解释器就报bad interpreter。file命令看到with CRLF line terminators就是它sed删掉行尾回车是最省事的修法。4. 把课堂搬进集群SLURM 作业脚本、配额与失败排查4.1 作业脚本模板与参数对齐单机跑通和集群跑通之间隔着一层调度器。学生最容易犯的错是脚本里写-t 16而作业只申请了 8 个核结果被 cgroup 限流跑得比单机还慢还查不出原因。#!/bin/bash #SBATCH --job-namebwa_stu001 #SBATCH --cpus-per-task8 #SBATCH --mem16G #SBATCH --time02:00:00 #SBATCH --outputlogs/%x_%j.out #SBATCH --errorlogs/%x_%j.err set -euo pipefail # 任一步失败立即退出别让错误往下游传 module load bwa samtools # 集群上通常用 module 而非 conda bwa mem -t ${SLURM_CPUS_PER_TASK} \ -R RG\tID:s1\tSM:stu001 ref.fa raw/R1.fq.gz raw/R2.fq.gz \ | samtools sort - 4 -m 1G -o out/stu001.sorted.bam - samtools index out/stu001.sorted.bam--cpus-per-task是整作业能用的核数--mem是整作业的内存上限--time超时后调度器会先 SIGTERM 再 SIGKILL。%x和%j分别是作业名和作业号日志按这两项命名交作业多的时候不至于找不到自己的输出。set -euo pipefail里的pipefail尤其重要管道中间某一步失败默认只看最后一条命令的退出码加上它才能让整个管道失败即终止。4.2 内存与线程的配比原则集群上排错的第一步永远是算账而不是改代码。一个可用的估算式是samtools sort的内存占用约等于-m乘以排序线程数再加上 BWA 索引常驻内存和系统开销。按 3.2 的写法-m 1G乘- 4是 4GB索引常驻按 5GB 算再加上管道缓冲16GB 的申请量才算合理。# 作业跑完后看实际峰值内存用来校准下一次的 --mem sacct -j jobid --formatJobID,MaxRSS,Elapsed,StateMaxRSS是作业实际用到的峰值常驻内存跟申请值对比能直接看出申请是浪费还是不够。教学场景建议要求学生把这次实测值写进下一次作业的申请理由里几次下来他们对资源申请这件事就有了手感。4.3 常见失败的定位路径现象先跑什么常见根因作业秒退StateOOMsacct -j ID --formatMaxRSS--mem小于sort -m × 线程数No space left on devicedf -h、du -sh out/*sam 中间文件未清理临时目录落在/tmpPermission deniedls -l、id目录组权限、umask或 NFS 上 uid 不一致一直PENDINGsqueue -o %.10i %.9P %.8T %.10M %.20R申请核数超分区上限、QOS 限制bad interpreterfile script.sh、head -1 script.shCRLF 行尾或 shebang 路径不存在注意df -h看的是节点本地盘很多集群的/home和/tmp挂在不同的存储上out目录写满不代表临时目录没满两个都要看。4.4 教学场景的环境固化一次性的临时环境是实验课最大的敌人同样的命令A 同学的结果跟 B 同学差 3%。可行做法是用 apptainer 或 singularity 把工具链打成一个只读镜像学生只挂载数据目录环境和数据彻底分离。# 挂载数据目录镜像只读学生改不动环境 apptainer exec --bind /data/teaching/stu001:/work \ bioinfo-teach.sif bash -c cd /work bash run.sh--bind把宿主目录映射进容器镜像本身只读学生能改的只有数据和自己写的脚本。这一步做完评分时才能把环境差异从失败原因里排除掉。5. 考核方法改革落地一套能自动判分的实操考试5.1 题目设计给数据、给验收标准不给步骤抛弃名词解释和命令默写改成给定抽样后的双端数据、参考基因组和一份输出规格stu.vcf.gz、flagstat.txt、一条能重跑的run.sh限时完成。不给步骤是刻意的——会做的人自然知道从建索引开始不会做的人至少能暴露出卡在哪一段。为了把考试压进 30 分钟用seqtk sample -s 100 R1.fq.gz 0.1抽 10% 子集位点召回率会略降但足以区分流程是否跑通。5.2 判分脚本可复现、限时、看资源import subprocess, gzip, time, resource def run(cmd, timeout1800): 限时执行学生脚本返回退出码、耗时、子进程峰值内存(MB) start time.time() p subprocess.run(cmd, shellTrue, capture_outputTrue, textTrue, timeouttimeout) peak resource.getrusage(resource.RUSAGE_CHILDREN).ru_maxrss / 1024 return p.returncode, time.time() - start, peak, p.stderr[-2000:] def load_sites(path): 读 vcf.gz返回 (chrom, pos) 集合跳过注释行 sites set() with gzip.open(path, rt) as fh: for line in fh: if line.startswith(#): continue f line.split(\t) sites.add((f[0], f[1])) return sites code, cost, peak, err run(bash /exam/submit/stu001/run.sh) ref load_sites(/exam/answer/truth.vcf.gz) got load_sites(/exam/submit/stu001/out/stu.vcf.gz) inter len(ref got) recall inter / len(ref) precision inter / len(got) if got else 0 print(fexit{code} time{cost:.1f}s peak{peak:.0f}MB frecall{recall:.3f} precision{precision:.3f})timeout防的是死循环和误写的无限等待否则一个学生能占满一个节点。RUSAGE_CHILDREN拿的是子进程峰值内存正好对应samtools sort那条管道比自己加监控省事。集合求交算 recall 和 precision 时用(chrom, pos)二元组而不是行号避免学生换了排序方式就被判错。p.stderr[-2000:]只留错误日志尾部是为了人工复核时能快速看到真正的报错行而不是被几千行警告淹没。5.3 评分维度与容差维度检查方法权重容差流程可复现干净容器内重跑run.sh40%退出码为 0产物齐全位点召回与标准 vcf 求集合交25%recall ≥ 0.95资源控制sacct的MaxRSS或ru_maxrss15%峰值不超申请值结果解释flagstat关键指标写入报告10%mapped ≥ 0.9排错记录错误日志与修正过程10%人工评分要动手落地一个具体技巧是把内存不炸设成及格线而不是加分项让每位学生在/usr/bin/time -v下跑一遍自己的脚本把Maximum resident set size填进提交表格占位内存超过申请值的一律退回重跑。这样训练几轮学生拿到新数据会先估内存、再申请资源而不是先提交再祈祷。本文还有配套的精品资源点击获取 
