メインコンテンツに移動

クラスターシステムインストール

とりあえずOSを更新とか準備

インストール用USBメモリーのデータは古い場合が多いので, インストールしたらまずはOSを更新する.

ホストファイルを確認

/etc/hosts の内容に, 次の行があるか確認

10.249.229.253 h251.229.249.10.1016485.vlan.kuins.net   ←そのPCのIPアドレスと, ホスト名

ホスト名は, hostname コマンドで確認できる. IPアドレスは hostname -I で確認できる

DNSの設定を確認

/etc/resolv.conf の内容が，次の感じになっているかを確認

nameserver 10.249.229.123  ←FreeIPAサーバのIPアドレス
nameserver 10.249.229.191

OSを更新

# dnf update -y
# reboot

RMSサーバー(10.249.229.123)とのパスワード除去

次のようにしてRMSサーバー(10.249.229.123 sun2)にパスワードなしでろぐいんできるようにする

new-PC# ssh-keygen -t ed25519
Password:ぽこ
new-PC# ssh-copy-id -i .ssh/id_ed25519.pub root@10.249.229.123  ←RMSサーバーのIPアドレス
Password:いつものいつもの
new-PC# ssh 10.249.229.123
sun2# ssh-copy-id -i .ssh/id_ed25519.pub root@10.249.229.253 ←そのPCのIPアドレス
Password:いつものいつもの
sun2# exit

 

IPAクライアントのインストール

まず流体力学研究室に参加しましょう. sshで新ノードにログインする. 

# mkdir -p /local/disk0/packages
# cd /local/disk0/packages
# git clone https://bitbucket.org/rgdkyotou/thirdparty.git
# cd thirdparty
# git checkout AlmaLinux9

Makefileの上の方を確認する

ETHER=bond0    ←OSをインストールするときに, bond0作りましたよね？違ったら訂正
RMS_SERVER=10.249.229.123    ← RMSサーバー. 2025年3月はこれだ
DNS_TRUE=( 10.224.253.1 10.224.254.1 )    ←所属する組織に依存する. 京大ならコレ
DNS_FAKE=( 10.249.229.123 10.249.229.191 )  ←所属する研究室に依存する. 流体研はこれ

おんじゃ，いきまふ.

# make client
あんたのRMSサーバー[10.249.229.123]のキーをコピーします
munge.key.copy       munge.key.copy
# make ipa-client
# make ipa-client
IPADDR[10.249.229.230] HOSTNAME[h230.229.249.10.1016485.vlan.kuins.net]
ipa-client完了しました!
success
...
Do you want to configure chrony with NTP server or pool address? [no]: yes
Enter NTP source server addresses separated by comma, or press Enter to skip: ntp.kuins.net
Enter a NTP source pool address, or press Enter to skip:(ぽこ)
...
Continue to configure the system with these values? [no]: yes
...
User authorized to enroll computers: admin
Password for admin@229.249.10.1016485.VLAN.KUINS.NET:いつものいつものいつもの
...
Continue to configure the system with these values? [no]: yes
...
お前は本名[h230]に通名をつけよう(嫌なら本名):as3122-12←通称名を決定して入力
...
ipa-clientOK           4.12.2-1.el9_5.4

エラーの一例

ホスト名[h230.229.249.10.1016485.vlan.kuins.net]がDNS情報[h230.229.249.10.1016485.vlan.kuins.net.229.249.10.in-addr.arpa]と一致しません.
訂正するには hostnamectl set-hostname h230.229.249.10.1016485.vlan.kuins.net.229.249.10.in-addr.arpa を実行するのぢゃ
make: *** [Makefile:51: ipa-client] エラー 4
これは, 逆引きホスト名が間違ってますね：あ

残りの作業を行ってから再起動する：

# make selinux
# reboot

これで, 流体力学研究室の計算機となった（ユーザー名やフォルダーが共有できる）.

各種ライブラリーをインストール

各種ライブラリーをインストール 

# make all
gsl完了しました!
cmake完了しました!
bzip2-devel完了しました!
epel-release完了しました!
p7zip完了しました!
python-devel完了しました!
boostCompressed: 106956199
boost./boost/math/policies/error_handling.hpp:773:22: 警告: ‘y’ はこの関数内初期化されずに使用されるかもしれません
boost./boost/math/special_functions/bessel.hpp:336:53: 警告: ‘y’ はこの関数内初期化されずに使用されるかもしれません
boostgcc.compile.c++ bin.v2/libs/charconv/build/gcc-11/release/threading-multi/visibility-hidden/to_chars.o
boost ...failed updating 2 targets...
boost gcc.compile.c++ bin.v2/libs/charconv/build/gcc-11/release/threading-multi/visibility-hidden/from_chars.o
boost gcc.compile.c++ bin.v2/libs/charconv/build/gcc-11/release/threading-multi/visibility-hidden/to_chars.o
boostぶうすと: いくつかびるどできん
libXt完了しました!
libopengl完了しました!
vtkSubmodule path 'ThirdParty/vtkm/vtkvtkm/vtk-m': checked out '025421a2dc4c5ee983d1f87fe1328b7effc1e107'
vtkSwitched to a new branch 'v9.4.1'
vtk-- Build files have been written to: /local/disk0/packages/thirdparty/CLUSTER/LIB/vtk.build
vtkmake[1]: ディレクトリ '/local/disk0/packages/thirdparty/CLUSTER/LIB/vtk.build' から出ます
vtkmake[1]: ディレクトリ '/local/disk0/packages/thirdparty/CLUSTER/LIB/vtk.build' から出ます
vtkゔってけOK
blas完了しました!
gmp完了しました!
mpfr完了しました!
eigenCloning into 'eigen'...
eigenSwitched to a new branch '3.4.0'
eigenえいげんOK
ntlgenerated ../include/NTL/ConfigLog.h
ntlmake[1]: ディレクトリ '/local/disk0/packages/thirdparty/CLUSTER/LIB/ntl-11.5.1/src' から出ます
ntlmake[1]: ディレクトリ '/local/disk0/packages/thirdparty/CLUSTER/LIB/ntl-11.5.1/src' から出ます
ntlmake[1]: ディレクトリ '/local/disk0/packages/thirdparty/CLUSTER/LIB/ntl-11.5.1/src' から出ます
ntlNTL:OK
cgalSwitched to a new branch 'v6.0.1'
cgal-- Build files have been written to: /local/disk0/packages/thirdparty/CLUSTER/LIB/cgal/build/release
cgalmake[1]: ディレクトリ '/local/disk0/packages/thirdparty/CLUSTER/LIB/cgal/build/release' から出ます
cgalmake[1]: ディレクトリ '/local/disk0/packages/thirdparty/CLUSTER/LIB/cgal/build/release' から出ます
cgalしーがるOK
calc完了しました!
nkf完了しました!
gfortran完了しました!
openssl完了しました!
munge完了しました!
maria完了しました!
MariaDBの管理パスワードを設定します.
以下のように答えるとよいぞ:
Enter current password for root (enter for none):(RETURN)
OK, successfully used password, moving on...
Switch to unix_socket authentication [Y/n] Y
Change the root password? [Y/n] Y
New password:(RETURN)
Re-enter new password:(RETURN)
Remove anonymous users? [Y/n] Y
Disallow root login remotely? [Y/n] Y
Remove test database and access to it? [Y/n] Y
Reload privilege tables now? [Y/n] Y
(HIT ENTER KEY)ぽこ
NOTE: RUNNING ALL PARTS OF THIS SCRIPT IS RECOMMENDED FOR ALL MariaDB
     SERVERS IN PRODUCTION USE!  PLEASE READ EACH STEP CAREFULLY!
In order to log into MariaDB to secure it, we'll need the current
password for the root user. If you've just installed MariaDB, and
haven't set the root password yet, you should just press enter here.
Enter current password for root (enter for none):ぽこ
OK, successfully used password, moving on...
Setting the root password or using the unix_socket ensures that nobody
can log into the MariaDB root user without the proper authorisation.
You already have your root account protected, so you can safely answer 'n'.
Switch to unix_socket authentication [Y/n] Y
Enabled successfully!
Reloading privilege tables..
... Success!
You already have your root account protected, so you can safely answer 'n'.
Change the root password? [Y/n] Y
New password:いつものいつもの
Re-enter new password:いつものいつもの
Password updated successfully!
Reloading privilege tables..
... Success!
By default, a MariaDB installation has an anonymous user, allowing anyone
to log into MariaDB without having to have a user account created for
them.  This is intended only for testing, and to make the installation
go a bit smoother.  You should remove them before moving into a
production environment.
Remove anonymous users? [Y/n] Y
... Success!
Normally, root should only be allowed to connect from 'localhost'.  This
ensures that someone cannot guess at the root password from the network.
Disallow root login remotely? [Y/n] n
... skipping.
By default, MariaDB comes with a database named 'test' that anyone can
access.  This is also intended only for testing, and should be removed
before moving into a production environment.
Remove test database and access to it? [Y/n] Y
- Dropping test database...
... Success!
- Removing privileges on test database...
... Success!
Reloading the privilege tables will ensure that all changes made so far
will take effect immediately.
Reload privilege tables now? [Y/n] Y
... Success!
Cleaning up...
All done!  If you've completed all of the above steps, your MariaDB
installation should now be secure.
Thanks for using MariaDB!
さっきのよ:
Enter password:いつものいつもの
mariaslurmdb.sysh191.229.249.10.1016485.vlan.kuins.netB9*2470C0C06DEE42FD1618BB99005ADCA2EC9D1E19word
mysql_native_password
Created symlink /etc/systemd/system/mysql.service → /usr/lib/systemd/system/mariadb.service.
Created symlink /etc/systemd/system/mysqld.service → /usr/lib/systemd/system/mariadb.service.
Created symlink /etc/systemd/system/multi-user.target.wants/mariadb.service → /usr/lib/systemd/system/
mariaOK 3:10.5.27-1.el9_5
httpd完了しました!
mailx完了しました!
readline完了しました!
pam完了しました!
libcurl完了しました!
libevent-devel完了しました!
hwloc完了しました!
openpmixSubmodule path 'config/oac': checked out '5e954b6d51b31f095f15889cf78df3d271d6e49f'
openpmixSetting version 3.1.4
openpmixSwitched to a new branch 'v5.0.7'
openpmixmake[1]: ディレクトリ '/local/disk0/packages/thirdparty/CLUSTER/BASE/openpmix' から出ます
openpmixmake[1]: ディレクトリ '/local/disk0/packages/thirdparty/CLUSTER/BASE/openpmix' から出ます
openpmixぴみくすOK
dbus-devel完了しました!
slurmCloning into 'slurm'...
slurmSwitched to a new branch 'slurm-24-11-3-1'
slurm1 out of 2 hunks FAILED -- saving rejects to file src/plugins/mpi/pmix/pmixp_client.c.rej
slurmUsing python3 as default
slurm./configure --prefix=/usr/local --with-munge --with-pmix=/usr/local/pmix
slurmconfig.status: executing libtool commands
slurmmake[1]: ディレクトリ '/local/disk0/packages/thirdparty/CLUSTER/BASE/slurm' から出ます
slurmmake[1]: ディレクトリ '/local/disk0/packages/thirdparty/CLUSTER/BASE/slurm' から出ます
slurmすらるむOK
ompi[DOWNLOAD]
ompiSubmodule path 'config/oac': checked out 'dfff67569fb72dbf8d73a1dcf74d091dad93f71b'
ompiMwit3rd-party/prrte
ompi[AUTOGEN]
ompi[CONFIGURE]
ompi./configure --prefix=/usr/local --with-slurm --with-pmix=/usr/local/pmix
ompi --with-libevent --with-hwloc=/usr --with-hwloc-libdir=/usr/lib64 
ompi --with-ompi-pmix-rte --disable-mca-dso
ompisrc/mem/mpl_trmem.c:649:18: 警告: 書式 ‘%p’ は引数の型が ‘void *’ であると予期されますが、第 4 引数の型は
ompisrc/str/mpl_argstr.c:73:32: 警告: 書式 ‘%X’ は引数の型が ‘unsigned int *’ であると予期されますが、第 3  
ompicoll_tuned_dynamic_file.c:128:47: 警告: 書式 ‘%u’ は引数の型が ‘unsigned int *’ であると予期されますが
ompi/usr/local/pmix/include/pmix_deprecated.h:865:9: 警告: ‘procs’ はこの関数内初期化されずに使用されるかも
ompicommunicator/ft/comm_ft.c:432:5: 警告: 前に ‘ompi_comm_ishrink_internal’ 用のプロトタイプがありません
ompimake[1]: ディレクトリ '/local/disk0/packages/thirdparty/CLUSTER/BASE/ompi' から出ます
ompimake[1]: ディレクトリ '/local/disk0/packages/thirdparty/CLUSTER/BASE/ompi' から出ます
ompiえむぴーあいOK
boost-mpi...updated 77 targets...
boost-mpiぶうすとえむぴあいOK
cryptopp完了しました!
lapack完了しました!
log4cplus完了しました!
maria-devel完了しました!
mysqlppconfig.status: executing libtool commands
mysqlppmake[1]: ディレクトリ '/local/disk0/packages/thirdparty/CLUSTER/LIB/mysql++-3.3.0' から出ます
mysqlppmake[1]: ディレクトリ '/local/disk0/packages/thirdparty/CLUSTER/LIB/mysql++-3.3.0' から出ます
mysqlppmysqlpp:OK
php完了しました!
libpng完了しました!
libXaw完了しました!
texinfo完了しました!
plotutilsCloning into 'gnu-plotutils-fd-patch'...
plotutilsSwitched to a new branch '2.6.fd7'
plotutilsconfig.status: executing depfiles commands
plotutilsmake[1]: Leaving directory '/local/disk0/packages/thirdparty/CLUSTER/LIB/gnu-plotutils-fd-patch/plotutils-
plotutilsmake[1]: Leaving directory '/local/disk0/packages/thirdparty/CLUSTER/LIB/gnu-plotutils-fd-patch/plotutils-
plotutilsplotutils:OK
GraphicsMagick完了しました!
mprealCloning into 'mpreal'...
mprealSwitched to a new branch 'mpfrc++-3.7.1'
mprealmpreal OK
fftw完了しました!

RMS実行ノードとして登録

ジョブ管理システム（RMS)に参加しましょう.

#  make slurm-client
openssl              1:3.2.2-6.el9_5.1
munge                0.5.13-13.el9
selinux              disabled
maria                3:10.5.27-1.el9_5
httpd                2.4.62-1.el9_5.2
mailx                14.9.22-6.el9
readline             8.1-4.el9
pam                  1.5.1-22.el9_5
libcurl              7.76.1-31.el9
bzip2-devel          1.0.8-10.el9_5
epel-release         9-9.el9
p7zip                16.02-31.el9
python-devel         3.9.21-1.el9_5
boost                boost_1_85_0
libevent-devel       2.1.12-8.el9_4
hwloc                2.4.1-5.el9
openpmix             v5.0.7
dbus-devel           1:1.12.20-8.el9
slurm                slurm-24-11-3-1
gfortran             11.5.0-5.el9_5.alma.1
cmake                3.26.5-2.el9
ompi                 v5.0.7
boost-mpi            boost_1_85_0
slurm-clientじっこーのーどOK
Please start slurmd by [ systemctl start slumd ] AFTER YOU CONFIRM slurmd.conf
that must include this machine as
NodeName=h191 CPUs=12 Boards=1 SocketsPerBoard=1 CoresPerSocket=6 ThreadsPerCore=2 RealMemory=31
779 UpTime=0-11:11:45 TmpDisk=17047341
or you can use [ smgr ] to apply [c] command

サーバーに登録

上のピンクの情報を元に, RMSサーバーで登録：

# ssh 10.249.229.123
sun2 # cat>>/usr/local/etc/slurm.conf <<@
NodeName=as3122-12 NodeAddr=h191 CPUs=12 Boards=1 SocketsPerBoard=1 CoresPerSocket=6 Threads
PerCore=2 RealMemory=31779 UpTime=0-11:11:45 TmpDisk=17047341
@
sun2 # smgr d
sun2 # smgr r

登録が完了したら, 新PCを再起動します：

# systemctl disable firewalld   ←MPI並列計算機では firewalld を停止
# reboot

周波数の調整

最近のCPUは, 周波数の調整機能を持っているので, 節電しましょう.

# cpupower frequency-set --governor ondemand
# systemctl enable cpupower
# systemcl start cpupower
# cpupower frequency-info 
analyzing CPU 0:
  driver: intel_cpufreq
  CPUs which run at the same hardware frequency: 0
  CPUs which need to have their frequency coordinated by software: 0
  maximum transition latency: 20.0 us
  hardware limits: 1.20 GHz - 5.70 GHz
  available cpufreq governors: conservative ondemand userspace powersave performance schedutil
  current policy: frequency should be within 1.20 GHz and 5.70 GHz.
                  The governor "performance" may decide which speed to use
                  within this range.
  current CPU frequency: Unable to call hardware
  current CPU frequency: 4.17 GHz (asserted by call to kernel)
  boost state support:
    Supported: yes
    Active: yes