环境变量管理程序bmod使用教程(breed环境变量)
off999 2025-06-30 19:17 8 浏览 0 评论
注:bmod属于李云海博士原创开发程序,版权属于他,欢迎大家关注他的相关网站:
https://gitee.com/yhli/misc/tree/master/bmod
https://github.com/yhli1016/misc/tree/master/bmod
http://blog.sciencenet.cn/blog-2909108-1267515.html
1. 简介
在UNIX/Linux系统下做计算,不可避免地会接触到各种环境变量。编译程序时,需要通过环境变量指定编译器、编译选项和依赖库的位置。运行程序时,需要通过环境变量来查找可执行文件和动态链接库。若设置不当,便会导致各种错误(详见附录)。因此管理环境变量便成了一件既重要又棘手的事。
最简单的管理环境变量的方法,就是直接在$HOME/.bashrc中添加相应设置。这种方法的缺点也是很明显的:环境变量名易写错,添加或删除设置后要重新登录才能起效,bashrc冗长等等。大型超算中心通常用Environment Modules系统解决这个问题。但目前主流的Environment Modules系统安装和使用都比较复杂,学习成本较高。而个人电脑、自己组装的工作站和小型集群软件环境简单,再用Environment Modules系统牛刀杀鸡之嫌。因此,在这里提供一个环境变量管理程序bmod。程序非常简单,全部由bash语言写成,主体仅有150行左右,但实现了一个Environment Modules系统最基本的功能。下面介绍安装和使用方法。
2. 安装
https://github.com/yhli1016/misc/tree/master/bmod
解压后将bmod目录移动到安装路径下面(本文中为$HOME/soft),打开init.sh,找到这两行:
# Set up environment variables used by bmod
export BMOD_ROOT=$HOME/soft/bmod
将BMOD_ROOT设置为init.sh所在的目录(在本文中为$HOME/soft/bmod),接着打开$HOME/.bashrc,添加如下设置:
source $HOME/soft/bmod/init.sh
最后执行命令source $HOME/.bashrc,安装完成。modules目录下面自带了很多例子,在添加自己的脚本之前,记得全部删除。
3. 使用
3.1 通过命令行添加和移除设置
3.1.1 使用预定义的环境变量
与程序编译和运行相关的环境变量众多,不仅难记,还容易拼错。因此,bmod中预定义了常见的环境变量。以安装在$HOME/soft/lib/fftw-3.3.8下面的fftw库为例,为使该库能正常工作,我们需要手动输入如下命令:
fftw_root=$HOME/soft/lib/fftw-3.3.8
export PATH=$fftw_root/bin:$PATH
export LIBRARY_PATH=$fftw_root/lib64:$LIBRARY_PATH
export LD_RUN_PATH=$fftw_root/lib64:$LD_RUN_PATH
export LD_LIBRARY_PATH=$fftw_root/lib64:$LD_LIBRARY_PATH
export C_INCLUDE_PATH=$fftw_root/include:$C_INCLUDE_PATH
export CPLUS_INCLUDE_PATH=$fftw_root/include:$CPLUS_INCLUDE_PATH
unset fftw_root
而在bmod中,上述设置只需一行命令即可:
set_mod add pkg $HOME/soft/lib/fftw-3.3.8
移除设置只需运行下面命令:
set_mod rm pkg $HOME/soft/lib/fftw-3.3.8
set_mod命令后面参数含义:
第一个参数为add或rm,指定添加还是删除设置;
第二个参数为预定义的环境变量类型;
第三个参数为添加到环境变量中,或从环境变量中删除的设置。当预定义类型为pkg时,第三个参数无需具体到bin、lib64或include等子目录,bmod会自动搜索和添加。
目前bmod中预定义的类型和对应的环境变量为:
bin
PATH
lib:
LIBRARY_PATH
LD_RUN_PATH
LD_LIBRARY_PATH
inc
C_INCLUDE_PATH
CPLUS_INCLUDE_PATH
py
PYTHONPATH
pkg
PATH
LIBRARY_PATH
LD_RUN_PATH
LD_LIBRARY_PATH
C_INCLUDE_PATH
CPLUS_INCLUDE_PATH
当预定义类型为bin、lib、inc、py时,bmod不会自动搜索子目录,所以第三个参数必须具体到bin、lib64或include。上面fftw的例子若用bin、lib、inc等预定义类型改写,对应的命令为:
set_mod add bin $HOME/soft/lib/fftw-3.3.8/bin
set_mod add lib $HOME/soft/lib/fftw-3.3.8/lib64
set_mod add inc $HOME/soft/lib/fftw-3.3.8/include
再看一个xcrysden的例子。程序安装在$
HOME/soft/dft/xcrysden-1.6.2-bin-shared,可执行文件为xcrysden,还有一个动态链接库libTogl.so.2。为使这个程序正常运行,需将$
HOME/soft/dft/xcrysden-1.6.2-bin-shared添加到环境变量PATH和LD_LIBRARY_PATH,对应操作为:
set_mod add bin $HOME/soft/dft/xcrysden-1.6.2-bin-shared
set_mod add lib $HOME/soft/dft/xcrysden-1.6.2-bin-shared
或者简写为set_mod add bin+lib $
HOME/soft/dft/xcrysden-1.6.2-bin-shared。
3.1.2 使用自定义的环境变量
预定义的环境变量可以满足大多数情形。若待修改的环境变量没有预定义,可以用set_env和reset_env命令修改。
假设我们要把$HOME/soft/lib/abc/def添加到环境变量TEST中,对应操作为
set_env add TEST $HOME/soft/lib/abc/def
删除时为
set_env rm TEST $HOME/soft/lib/abc/def
如果我们希望把环境变量重设为一个新的值,而不是把新的值追加到变量中,可以用reset_env命令。例如,要将openmp线程数设置为4,可以输入:
reset_env add OMP_NUM_THREADS 4
若要将其恢复默认值,可以输入:
reset_env rm OMP_NUM_THREADS
3.2 通过脚本添加和移除设置
一般来说,程序在编译和运行过程中会涉及很多库,需要我们输入很多次set_mod和set_env命令。以siesta为例,加载设置时我们需要输入:
siesta=$HOME/soft/dft/siesta-v4.1-b4
set_mod add pkg $siesta/Docs/build/flook/0.8.1
set_mod add pkg $siesta/Docs/build/hdf5/1.8.21
set_mod add pkg $siesta/Docs/build/netcdf/4.7.4
set_mod add pkg $siesta/Docs/build/zlib/1.2.11
set_mod add bin $siesta/Obj
unset siesta
reset_env add OMP_NUM_THREADS 1
移除设置时需要输入:
siesta=$HOME/soft/dft/siesta-v4.1-b4
set_mod rm pkg $siesta/Docs/build/flook/0.8.1
set_mod rm pkg $siesta/Docs/build/hdf5/1.8.21
set_mod rm pkg $siesta/Docs/build/netcdf/4.7.4
set_mod rm pkg $siesta/Docs/build/zlib/1.2.11
set_mod rm bin $siesta/Obj
unset siesta
reset_env rm OMP_NUM_THREADS 1
而这些命令的区别,仅仅是把add换成了rm。这样太麻烦了。在bmod中我们可以通过脚本,用同一套命令完成加载和卸载两种操作。我们在$HOME/soft/bmod/modules下面新建一个bash脚本siesta-v4.1-b4.sh,把上面的命令存进去,并把add或rm换成$1:
siesta=$HOME/soft/dft/siesta-v4.1-b4
set_mod $1 pkg $siesta/Docs/build/flook/0.8.1
set_mod $1 pkg $siesta/Docs/build/hdf5/1.8.21
set_mod $1 pkg $siesta/Docs/build/netcdf/4.7.4
set_mod $1 pkg $siesta/Docs/build/zlib/1.2.11
set_mod $1 bin $siesta/Obj
unset siesta
reset_env $1 OMP_NUM_THREADS 1
加载设置时输入:
bmod add siesta-v4.1-b4
卸载时输入:
bmod rm siesta-v4.1-b4
bmod会自动把$1替换成add或rm。需注意,如果系统中安装了某个库的多个版本,而待运行的程序只能使用特定版本,那么在加载该版本前必须把其它版本卸掉。假设系统中还安装了hdf5-1.10.12,上述设置就要改成:
set_mod rm pkg $HOME/soft/lib/hdf5-1.10.12
siesta=$HOME/soft/dft/siesta-v4.1-b4
set_mod $1 pkg $siesta/Docs/build/flook/0.8.1
set_mod $1 pkg $siesta/Docs/build/hdf5/1.8.21
set_mod $1 pkg $siesta/Docs/build/netcdf/4.7.4
set_mod $1 pkg $siesta/Docs/build/zlib/1.2.11
set_mod $1 bin $siesta/Obj
unset siesta
reset_env $1 OMP_NUM_THREADS 1
由于我们希望在加载hdf5-1.8.21之前卸载hdf5-1.10.12,所以set_mod后面的参数必须是rm,不能用$1代替。
除了add/rm外,bmod命令支持如下选项:
av: 列出所有可用脚本
ls: 列出所有已加载脚本
cl: 卸载已加载的脚本
pg: 卸载所有脚本(含未加载)
modules目录下面中自带了很多用作例子的脚本。下面是bmod av命令的输出结果:
[yhli@linux-h149 ~]$ bmod av
---- /home/yhli/soft/bmod/modules ----
1) bgw-2.1
2) boost-1.75.0
3) fleurMaXR3.1
4) office
5) openmpi-4.0.5
6) qe-6.6
7) siesta-v4.1-b4
8) spex05.00
9) vasp.5.4.4
10) vesta
11) vtst
12) wannier90-2.1.0
13) xcrysden-1.6.2
以及bmod ls命令的输出结果:
[yhli@linux-h149 ~]$ bmod ls
Currently loaded modules:
由于在一开始我们没有加载任何脚本,所以bmod ls输出为空。我们先用bmod add命令加载几个脚本后,再来看有何不同:
[yhli@linux-h149 ~]$ bmod add bgw-2.1 boost vesta
[yhli@linux-h149 ~]$ bmod ls
Currently loaded modules:
1) bgw-2.1
2) boost-1.75.0
3) vesta
可以看到这几个脚本已被加载了。如果脚本名字中的版本号和主体以-隔开,可以省略不写。所以bmod add boost是可以的,而bmod add vasp却不行,必须输入全称bmod add vasp.5.4.4。
我们用bmod cl命令卸载已加载的脚本,看下效果:
[yhli@linux-h149 ~]$ bmod ls
Currently loaded modules:
可见所有已加载的脚本都已被卸载。bmod pg有类似效果,就不再展示了。
4. 补充说明
4.1 常见环境变量及报错信息
4.1.1 PATH
系统需要通过这个环境变量查找可执行程序(二进制文件或脚本)。若未正确设置,会报类似如下错误:
[yhli@linux-h149 ~]$ pw.x
-bash: pw.x: command not found
4.1.2 LD_RUN_PATH, LIBRARY_PATH
这两个环境变量指定编译程序时,所用到的库文件所在位置。库文件有两种:静态链接库(libxxx.a)和动态链接库(libxxx.so)。若未正确设置,会报类似如下错误:
/usr/lib64/gcc/x86_64-suse-linux/7/../../../../x86_64-suse-linux/bin/ld: cannot find -lboost_python38
collect2: error: ld returned 1 exit status
make: *** [Makefile:65:pyxaid_core.so] Error 1
4.1.3 LD_LIBRARY_PATH
这个环境变量指定运行程序时,所用到的动态链接库所在位置。若未正确设置,会报类似如下错误:
[yhli@linux-h149 doublecmd]$ ./doublecmd
./doublecmd: error while loading shared libraries: libQt5Pas.so.1: cannot open shared object file: No such file or directory
4.1.4 C_INCLUDE_PATH, CPLUS_INCLUDE_PATH
这两个环境变量指定编译程序时,所用到的头文件所在位置。若未正确设置,会报类似如下错误:
pyxaid_core.cpp:10:10: fatal error: boost/python.hpp: No such file or directory
#include <boost/python.hpp>
^~~~~~~~~~~~~~~~~~
compilation terminated.
make: *** [Makefile:59:pyxaid_core.o] Error 1
4.2 注意事项
目前bmod缺失对已加载模块检查的功能。以下述命令为例:
[yhli@linux-h149 ~]$ bmod add qe
[yhli@linux-h149 ~]$ bmod add fleurMaXR3.1
[yhli@linux-h149 ~]$ bmod ls
Currently loaded modules:
1) qe-6.6
2) fleurMaXR3.
当执行第一条命令bmod add qe时,bmod加载了与qe相关的设置。一般来说,这需要卸载冲突库和加载依赖库。当执行第二条命令bmod add fleurMaXR3.1时,bmod同样会执行类似操作。但是,如果fleur依赖的某个库恰巧与qe冲突,或者与fleur有冲突的某个库恰巧是qe的依赖库,那么执行完第二句后,qe的环境变量就被破坏了。也就是说,bmod目前只能“狗熊掰玉米”,保证最后一个加载的程序可用。要解决这个问题,需要复杂的依赖和冲突关系分析。这已经超出了bmod的设计初衷,如有这方面的需求,可以选择功能更强大的Environment Modules系统,或本人开发的Pmod 。
相关推荐
- 如何理解python中面向对象的类属性和实例属性?
-
类属性和实例属性类属性就是给类对象中定义的属性通常用来记录与这个类相关的特征类属性不会用于记录具体对象的特征类属性的理解:类属性是与类自身相关联的变量,而不是与类的实例关联。它们通...
- Java程序员,一周Python入门:面向对象(OOP) 对比学习
-
Java和Python都是**面向对象编程(OOP)**语言,无非是类、对象、继承、封装、多态。下面我们来一一对比两者的OOP特性。1.类和对象Java和Python都支持面向对象...
- 松勤技术精选:Python面向对象魔术方法
-
什么是魔术方法相信大家在使用python的过程中经常会看到一些双下划线开头,双下划线结尾的方法,我们把它统称为魔术方法魔术方法的特征魔术方法都是双下划线开头,双下划线结尾的方法魔术方法都是pytho...
- [2]Python面向对象-【3】方法(python3 面向对象)
-
方法的概念在Python中,方法是与对象相关联的函数。方法可以访问对象的属性,并且可以通过修改对象的属性来改变对象的状态。方法定义在类中,可以被该类的所有对象共享。方法也可以被继承并重载。方法的语法如...
- 一文带你理解python的面向对象编程(OOP)
-
面向对象编程(OOP,Object-OrientedProgramming)是一个较难掌握的概念,而Python作为一门面向对象的语言,在学习其OOP特性时,许多人都会对“继承”和“多态”等...
- 简单学Python——面向对象1(编写一个简单的类)
-
Python是一种面向对象的编程语言(ObjectOrientedProgramming),在Python中所有的数据类型都是对象。在Python中,也可以自创对象。什么是类呢?类(Class)是...
- python进阶突破面向对象——四大支柱
-
面向对象编程(OOP)有四大基本特性,通常被称为"四大支柱":封装(Encapsulation)、继承(Inheritance)、多态(Polymorphism)和抽象(Abstrac...
- Python学不会来打我(51)面向对象编程“封装”思想详解
-
在面向对象编程(Object-OrientedProgramming,简称OOP)中,“封装(Encapsulation)”是四大核心特性之一(另外三个是继承、多态和抽象),它通过将数据(属性)和...
- Python之面向对象:对象属性解析:MRO不够用,补充3个方法
-
引言在前面的文章中,我们谈及Python在继承关系,尤其是多继承中,一个对象的属性的查找解析顺序。由于当时的语境聚焦于继承关系,所以只是简要提及了属性解析顺序同方法的解析顺序,而方法的解析顺序,在Py...
- Python之面向对象:通过property兼顾属性的动态保护与兼容性
-
引言前面的文章中我们简要提及过关于Python中私有属性的使用与内部“名称混淆”的实现机制,所以,访问私有属性的方法至少有3种做法:1、使用实例对象点操作符的方式,直接访问名称混淆后的真实属性名。2、...
- Python之面向对象:私有属性是掩耳盗铃还是恰到好处
-
引言声明,今天的文章中没有一行Python代码,更多的是对编程语言设计理念的思考。上一篇文章中介绍了关于Python面向对象封装特性的私有属性的相关内容,提到了Python中关于私有属性的实现是通过“...
- Python中的私有属性与方法:解锁面向对象编程的秘密
-
Python中的私有属性与方法:解锁面向对象编程的秘密在Python的广阔世界里,面向对象编程(OOP)是一种强大而灵活的方法论,它帮助我们更好地组织代码、管理状态,并构建可复用的软件组件。而在这个框...
- Python 面向对象:掌握类的继承与组合,让你的代码更高效!
-
引言:构建高效代码的基石Python以其简洁强大的特性,成为众多开发者首选的编程语言。而在Python的面向对象编程(OOP)范畴中,类的继承和组合无疑是两大核心概念。它们不仅能帮助我们实现代码复用,...
- python进阶-Day2: 面向对象编程 (OOP)
-
以下是为Python进阶Day2设计的学习任务,专注于面向对象编程(OOP)的核心概念和高阶特性。代码中包含详细注释,帮助理解每个部分的实现和目的。任务目标:复习OOP基础:类、对象、继...
- 外婆都能学会的Python教程(二十八):Python面向对象编程(二)
-
前言Python是一个非常容易上手的编程语言,它的语法简单,而且功能强大,非常适合初学者学习,它的语法规则非常简单,只要按照规则写出代码,Python解释器就可以执行。下面是Python的入门教程介绍...
你 发表评论:
欢迎- 一周热门
- 最近发表
- 标签列表
-
- python计时 (73)
- python安装路径 (56)
- python类型转换 (93)
- python进度条 (67)
- python吧 (67)
- python字典遍历 (54)
- python的for循环 (65)
- python格式化字符串 (61)
- python静态方法 (57)
- python列表切片 (59)
- python重命名文件 (54)
- python面向对象编程 (60)
- python串口编程 (60)
- python读取文件夹下所有文件 (59)
- java调用python脚本 (56)
- python操作mysql数据库 (66)
- python获取列表的长度 (64)
- python接口 (63)
- python调用函数 (57)
- python多态 (60)
- python匿名函数 (59)
- python打印九九乘法表 (65)
- python赋值 (62)
- python异常 (69)
- python元祖 (57)