abci でjulia mpi

JuliaのMPIバインドをABCIで動かせるか確認。 Juliaにはマルチノード対応があるが、それとは全く別の枠組みで、ただのメッセージパッシングライブラリが動くだけ。

.bashrcに以下を追記。

module load julia
module load openmpi/3.1.6

でjuliaを起動して、

import Pkg
Pkg.add("MPI")
ENV["JULIA_MPI_BINARY"]="system"
Pkg.build("MPI")

Pkt.add するとどうもMPIを独自にダウンロードしているようなので、システムのMPIを使わせるために 下の2行が必要らしい。

こんなふうにバッチファイルを書いて、

#!/bin/bash

#$ -l rt_F=2
#$ -cwd

source /etc/profile.d/modules.sh

module load julia
module load openmpi/3.1.6

mpiexec -n 2 -N 1 julia hello.jl

qsub -g XXXX test.sh

とかで起動。 ちなみにABCIではノード専有の rt_F以外の構成ではマルチノードジョブが動かない。なんでやねん。

juliaのwrapperの意味

https://docs.julialang.org/en/latest/manual/faq/#catch-ctrl-c-1 に出てくる下記のコードの意味がしばらくわからなかったのでメモ。

#!/bin/bash
#=
exec julia --color=yes --startup-file=no -e 'include(popfirst!(ARGS))' \
    "${BASH_SOURCE[0]}" "$@"
=#

@show ARGS  # put any Julia code here

このコードはbashとしてもJuliaとしても解釈できるようになっているのがみそ。

bashで起動すると、2行目はコメントとして無視され、3行目が実行される。execなので、これ以降の行はbashとしては解釈されない。2行目はこのファイル自体を引数としてJuliaを起動している。

Juliaでは'#=' '=#'がマルチラインコメントとして無視されるので、2-5行目はスキップされ、6行目以降が通常のJuliaコードとして解釈されるという仕掛け。 なるほど。

julia ssh manager 注意点

Julia でssh腰にprocessを起動する場合でtunnelを使う場合に、ControlMasterを使うとハマる。 juliaではmaster process からworker processへ、sshコネクション以外に接続を行う。この接続をssh tunnelできるのだけど、これは

ssh -f server sleep 60

としたときに、sshプロセスがすぐに終了することを前提としているが、Control Masterを使っていると、なぜか上記の挙動が微妙に変わってサーバ側のプロセスが終了するまでブロックするようになってしまう。

ControlMasterを使ったのはターゲットホストのエントリサーバがDNSラウンドロビンしているので、同じホストに行くとは限らないからだったのだが、仕方がないのでIPアドレス固定にした。

julia でモジュールの中の関数を書き換える

@eval MODULENAME function FUNC(...)
  ...
end

とやるとモジュールMODULENAME内の関数FUNCを再定義できる、ようだ。 でもグローバル変数の参照とかうまく行かないようで一筋縄では行かないのであった。

julia でリモートクラスタを使う

Juliaはリモートでプロセスを起動して使う機能が組み込みでついている 。sshトンネルでも可能。

using Distributions

addprocs([("sss-no 127.0.0.1", 3)], tunnel=true, dir="/home/nakada", max_parallel=10, exename="julia", topology=:master_worker)

はじめうまく行かなかったのは、手元のSSHのほうで余分なforwardを行っていたら、2度目以降にそれが警告を出すようになり そのせいでうまく情報を取得できなかったようだ。

新しくインストールしたJuliaでjupyter を使う

いつも忘れるので備忘のために。 もちろん事前にPythonでjupyerをインストールしておく必要がある。

> julia
julia> import Pkg;
julia> Pkg.add("IJulia")

これで抜けて普通に

> jupyter notebook

でJupyterを起動すれば、カーネルとして新しいバージョンが選択できるようになっている。