Do1e

Do1e

github
email
ホームアーカイブHomepageAbout @Do1e

CITE Lab サーバー使用ガイド

#CITE Lab200
AI 翻訳
この記事はAIを通じて中国語から日本語に翻訳されました。原文を表示
AI が生成した要約
この文書は、SSH接続や環境設定に関する手順を説明しています。2024年8月11日以降、すべてのサーバーはパスワードログインを無効にし、新しいアカウントには公開鍵を提供する必要があります。SSHキーの生成には、長いキーサイズを推奨し、Linux/Macではデフォルトで`~/.ssh`に保存されます。プロジェクト管理には`uv`を使用することが推奨され、依存関係を管理するためのコマンドも紹介されています。また、Dockerを使用して環境を構築する方法や、GPUの使用状況を確認する方法も説明されています。ネットワーク接続の問題に対処するためのプロキシ設定や、キャンパスネットワークへのログイン方法も記載されています。最後に、tmuxを使用してバックグラウンドでコードを実行する方法が説明されています。

この文は Mix Space によって xLog に同期更新されています
最適なブラウジング体験を得るために、元のリンクを訪れることをお勧めします
https://www.do1e.cn/posts/citelab/server-help

Tip

この文書は不定期に更新されますので、最新の動向を知るために定期的に戻ってくることを歓迎します。
右側の目次をクリック（モバイル端末では上にスクロールし、右下のボタン）して興味のある内容にジャンプしてください


接続とログイン#

ssh 接続または vscode で remote-ssh プラグインをダウンロードしてください。詳細は自分で検索してください。

::: banner {warning}
2024.08.11 以降、すべてのサーバーはパスワードログインができなくなります。新しいアカウントを割り当てる際には、公開鍵を提供してください。
公開鍵の内容（ssh-xxx xxxxx）を私に送ってください。
:::

鍵ペアを作成する：

# セキュリティを確保するために、できるだけ長いkey sizeを使用してください
ssh-keygen -t rsa -b 8192
# より新しい暗号アルゴリズムの使用をお勧めします
ssh-keygen -t ed25519

Linux/Mac ではデフォルトで ~/.ssh/id_rsaまたは~/.ssh/id_ed25519（秘密鍵）、~/.ssh/id_rsa.pubまたは~/.ssh/id_ed25519.pub（公開鍵）に保存されます。
Windows ではデフォルトで C:\Users\[username]\.ssh フォルダーに保存され、名前は同じです。
公開鍵は公開可能で、サーバーの ~/.ssh/authorized_keys ファイルに保存され、各行に異なる PC の秘密鍵に対応する公開鍵を記載します。

::: banner {warning}
秘密鍵は漏洩しないように保存してください。すべての PC で同じ鍵を使用することは強くお勧めしません！

参考リンク：

  1. Windows で TPM を使用して SSH キー認証を安全に行う
  2. 南京大学が提供するパスワード管理サービス Bitwarden
  3. Bitwarden が提供する SSH キー管理
    :::

自分のコンピュータ上で~/.ssh/configを次のように設定できます。これにより、ssh s1コマンドでサーバーに直接接続でき、便利です。

Host s1
  HostName s1.xxx.cn
  Port 22
  User xxx
  IdentityFile xxx/id_rsa

詳細なチュートリアルは：VSCode で SSH 接続してリモートサーバーに接続する方法 + パスワードなし接続チュートリアル

vscode を使用して接続できず、常にダウンロード中のメッセージが表示される場合は、最初に ssh で接続してから https://p.nju.edu.cn にログインしてください。ネットワーク接続の問題に関するセクションを参照してください。

環境設定#

uv#

プロジェクト管理環境には uv の使用を強くお勧めします。一度設定すれば、異なる場所で同じ環境設定を迅速に完了でき、環境のインストール速度は conda や pip よりもはるかに速いです。

関連チュートリアル： UV：Python パッケージ管理の神 - pip の 100 倍速い

uv init # 現在のプロジェクトを初期化
# .gitignore, .python-version, main.py, pyproject.toml, README.mdの5つのファイルが生成され、git initが実行されます
# pyproject.tomlに重点を置いてください。このファイルには依存関係、プロジェクト名などの情報が含まれています。.python-versionも変更しないでください。他のファイルは必要に応じて削除または変更してください
uv python pin 3.12    # pythonバージョンを指定
uv add "torch==2.1.0" # pip installに類似
# 最も重要なファイルuv.lockが生成され、このファイルにはすべての依存関係情報とそのバージョンが含まれます
# 同時に、現在のプロジェクトの仮想環境用の.venvフォルダーも作成されます
uv run xxx.py # コードを実行

# または
source .venv/bin/activate # 仮想環境をアクティブにする。conda activateに類似
python xxx.py

その後、別のプロジェクトで同じ環境を使用する場合や、コードを他のマシンにコピーする場合は、pyproject.tomlとuv.lockをコピーし、必要に応じてpyproject.tomlを変更してから、次のコマンドを実行することで元の環境を完全に再現できます：

uv lock && uv sync

conda#

conda: command not foundが表示された場合は、次のコマンドを実行してからターミナルを再起動してください。

/opt/anaconda3/bin/conda init

環境は~/.condaディレクトリに保存されるため、サーバーを切り替える際はディレクトリ全体をコピーするだけで環境移行が完了します。再設定する必要はありません。また、~/.condarcを次のように編集し、envs_dirsとpkgs_dirsを/nasdata/[name]/.conda/[envs/pkgs]に変更することで、NAS 上に環境を設定し、複数のサービスで使用できるようにします。

show_channel_urls: true
default_channels:
  - https://mirror.nju.edu.cn/anaconda/pkgs/main
  - https://mirror.nju.edu.cn/anaconda/pkgs/r
  - https://mirror.nju.edu.cn/anaconda/pkgs/msys2
custom_channels:
  conda-forge: https://mirror.nju.edu.cn/anaconda/cloud
  msys2: https://mirror.nju.edu.cn/anaconda/cloud
  bioconda: https://mirror.nju.edu.cn/anaconda/cloud
  menpo: https://mirror.nju.edu.cn/anaconda/cloud
  pytorch: https://mirror.nju.edu.cn/anaconda/cloud
  simpleitk: https://mirror.nju.edu.cn/anaconda/cloud
auto_activate_base: false
envs_dirs:
  - ~/.conda/envs
pkgs_dirs:
  - ~/.conda/pkgs

# pipで南大源を使用
pip config set global.index-url https://mirror.nju.edu.cn/pypi/web/simple

環境を設定した後、conda clean —allとrm -rf ~/.cache/pipを実行すると、多くの不要な conda キャッシュを削除でき、スペース不足の問題を軽減できます。

docker#

システムソフトウェアが要件を満たさない場合は、docker を使用できます。具体的なチュートリアルは自分で検索して学んでください。ただし、すべての docker コンテナは通常のユーザー権限で起動する必要があります。そうしないと、削除されます **（2-6 行 <必ず> 保持し、他は状況に応じてカスタマイズしてください）**

docker container run --name pytorch-dpj \
  --gpus all \
  --user $(id -u ${USER}):$(id -g ${USER}) \
  -v /etc/passwd:/etc/passwd:ro \
  -v /etc/group:/etc/group:ro \
  -v /etc/shadow:/etc/shadow:ro \
  -v /data1/peijie:/data/:rw \
  -v /home/peijie:/home/peijie:rw \
  -it fenghaox/pyt1.3cu10.1:v2 /bin/bash

home スペース不足問題の緩和#

  • conda clean --all ：conda キャッシュを削除
  • rm -rf ~/.cache/pip ：pip キャッシュを削除
  • uv cache clean ：uv キャッシュを削除
  • rmoldvs ：旧版 vscode-server を削除

GPU 使用状況の確認#

https://nvtop.njucite.cn/ （推奨）
メールアドレスでログインし、管理者にメールアドレスを提出してホワイトリストに追加してもらう必要があります。

または、各マシンでnvtopコマンドを使用します。

指定した GPU の使用#

並列処理を有効にしない場合、pytorch はデフォルトで 0 号 GPU を使用します。並列処理を有効にすると、すべての GPU が使用されます。
コードを実行する前に CUDA_VISIBLE_DEVICES 環境変数を設定して使用する GPU を指定します。非並列使用の場合は 1 号を使用：

export CUDA_VISIBLE_DEVICES=1

または、並列使用の場合は 0-3 号を使用：

export CUDA_VISIBLE_DEVICES=0,1,2,3

DataParallel（実装が比較的簡単ですが、最初の GPU で追加のメモリオーバーヘッドが発生し、メモリ使用率が高くありません）とDistributedDataParallel（実装が比較的複雑でデバッグが難しいですが、効率が高いので、コードが固定された後にこの方法に変更することをお勧めします）を学ぶために多 GPU 並列の方法を試してみてください。

nvtopを使用して GPU の使用状況を確認できます。占有されている場合や使用中の人と調整してください。

ネットワーク接続の問題#

プロキシ#

プロキシが設定されている場合、ネットワーク接続の問題（github など）が発生した場合は、ネットワーク接続が必要なコマンドの前に proxychains を追加してください。例えば：

proxychains curl https://ipapi.do1e.cn/get-ip

または、setproxyを使用してプロキシを設定した後にコマンドを実行します：

setproxy
curl https://ipinfo.io
unsetproxy

上記の 2 つの方法を試してみてください。すべてのウェブサイトに対して効果があるとは限りません。

キャンパスネットワークへのログイン#

p.nju.edu.cn にログインする必要がある場合は、このプロジェクトを参照してください：

Do1e/NJUlogin

南京大学统一身份认证登录模块，可用于登录校园各种网站

Python284
uvx NJUlogin -i # その後、QRコードをスキャンしてキャンパスネットワークにログイン
uvx NJUlogin -i -l pwdLogin # またはアカウントとパスワードを入力してログイン
uvx NJUlogin -p # ユーザー情報を印刷
uvx NJUlogin -o # ログアウト

ミラー#

キャンパス内で一部のミラーへのアクセスが提供されています。詳細は NJU CITE Lab 提供のキャンパス内ミラーを参照してください。

バックグラウンドでコードを実行#

サーバーには tmux がインストールされており、バックグラウンドでコードを実行する（ターミナルを終了しても実行を続ける）には、基本的な機能を使用するだけで済みます。

ターミナルにtmux newと入力すると、新しいターミナルが表示され、そこで長時間実行するコマンドを実行できます。その後、ctrl+Bを押し、続いてDを押すと、終了できます。この時点でコードはバックグラウンドで実行を続けます。
また、tmux new -s <name>を使用して新しいターミナルの名前を指定することもでき、デフォルトでは 0 から始まる数字になります。

tmux lsを使用してバックグラウンドで実行中のターミナルの名前を確認できます。
tmux attach -t <name>を使用してそのターミナルに戻り、実行状況を確認できます。

tmux ターミナル内でctrl+Bを押し、続いて[を押すと、上下キーでページをめくることができ、q を押すとページめくりモードを終了します。

データ！！！#

データの保存場所#

::: warning
home ディレクトリのスペースが小さいため、データファイルは home ディレクトリに置かないでください。/data1に置いてください。
:::

あまり使用しないファイルは/nasdataに置くことができます。詳細は下記の NAS の説明セクションを参照してください。

データのバックアップ#

::: warning
共用サーバーでは、自分でデータの安全を確保する必要があります。
:::

サーバーには rclone がインストールされており、重要なファイルを NJUBox に同期する方法を提供します：

rclone config

n → カスタム設定名（例えば njubox）→ 56 (seafile) → https://box.nju.edu.cn → 学生番号 → パスワード（最初に y を入力し、その後 2 回パスワードを入力）→ 2fa（そのまま Enter）→ データベース名（そのまま Enter で暗号化されていないすべてのデータベース）→ その他は指示に従ってください。

rclone の一般的な使用方法#

リモートファイルの確認#

rclone ls [設定名]:/[ディレクトリ]

image

同期#

最初の実行では、すべてのファイル（ソースアドレス）をリモート（ターゲットアドレス）にコピーします。
その後は変更されたファイルや新しいファイルのみをコピーします。

::: warning
特に注意： 毎回実行後、ターゲットアドレスのファイルはソースアドレスと完全に一致します。ソースアドレスで削除した場合、同期を実行するとターゲットアドレスの対応するファイルも削除されます（rclone copyを使用するとターゲットアドレスのファイルは削除されません）。
:::

rclone sync -v [ソースディレクトリ] [設定名]:/[ターゲットディレクトリ]

image

定期的な同期#

上記の同期コマンドをコピーし、crontabを使用して定期的なタスクを設定します。具体的にはインターネットで検索すれば、多くの関連チュートリアルがあります。

NAS の説明#

::: banner {warning}
NAS も 100% 信頼できるわけではありません。重要なデータは 321 原則（3 つのコピー、2 つのメディア、1 つのオフラインバックアップ）に従ってください。
:::

Synology の公式サイトからアプリをダウンロードしてください：企業ネットワークドライブ | Synology Drive_プライベートクラウド_データの随時アクセス_複数人での共有と協力 | Synology Inc.
または、直接ウェブサイトにアクセスしてください：https://nas.njucite.cn:5001

IP / ドメイン：nas.njucite.cn

アプリにログインすると home ディレクトリのみが表示されます。このディレクトリは自分だけが見えます。
ウェブログインでは share ディレクトリが見えます。このディレクトリは共有ディレクトリで、各サーバーにマウントされています/nasdata、サーバー間でデータを転送するために使用できます。一部のサーバー（s4 と s5）と NAS の間は万兆接続で、他は千兆接続です。

::: warning
/nasdataはすべての人が権限を持っています。他の人による誤削除を防ぐために、重要なデータは rclone を使用して設定することをお勧めします。以下のrclone を使用してローカルと NAS ファイルを同期する方法を参照してください。URL を置き換えることに注意してください。
:::

ウェブサイト上で 2 つのディレクトリ内のファイルを移動することもできます。

image

webdav を使用してマウントすることもできます。webdav アドレス：https://nas.njucite.cn:5006

接続速度をテストするために iperf3 を使用します：

iperf3 -c nas.njucite.cn

image

rclone を使用してローカルと NAS ファイルを同期する#

rclone config
e/n/d/r/c/s/q> n # 新しい設定を作成
name> nas # 設定名をnasにする
Storage> 52 # WevDAV、rcloneのバージョンによって異なる場合があります
url> https://nas.njucite.cn:5006 # s4とs5サーバーでは万兆ネットワークのhttp://10.0.0.100:5005を使用することをお勧めします
vendor> 7 # 他のサイト/サービスまたはソフトウェア、rcloneのバージョンによって異なる場合があります
user> abcd # NASユーザー名
y/g/n> y # パスワードを入力
password: ... # NASパスワードを2回入力
# 残りはそのままEnterを押してください

上記の手順でローカルコンピュータに設定を作成した後、以前に紹介したrclone copyまたはrclone syncコマンドを使用してファイルを同期できます（ローカルファイルを NAS にアップロードするか、NAS ファイルをローカルにダウンロードするなど）。

::: warning
特に注意： 毎回実行後、ターゲットアドレスのファイルはソースアドレスと完全に一致します。ソースアドレスで削除した場合、同期を実行するとターゲットアドレスの対応するファイルも削除されます（rclone copyを使用するとターゲットアドレスのファイルは削除されません）。
:::

上級#

以前に入力したコマンドを自動的に補完#

デフォルトのターミナルとしてzshを使用し、oh-my-zsh、powerlevel10k、zsh-autosuggestions、zsh-syntax-highlightingを設定できます。

zsh+oh-my-zsh+powerlevel10k ターミナル設定_powerlevel10k 設定 - CSDN ブログ

または、私自身の設定を直接使用し、以下のファイルを解凍して自分の home ディレクトリに置くだけで済みます。
zshconfigs.tar.gz

GUI 関連#

一部のコマンドはディスプレイがないと表示されます。GUI を使用する必要がある場合は、以下の 2 つの方法を参考にしてください。最初の方法は自分のターミナルでコマンドを実行するのに適しており、2 番目の方法は MobaXterm 内で実行することを要求します。前者は追加の設定が必要で、後者はすぐに使用できます。

方法一#

ローカルコンピュータにMobaXtermをインストールし、X サーバーを開きます。

image

マウスを上に置くと[IP]:[x11port]が表示されます。NAT ルーターの下でない（南大では一般的に NAT IP は 114 または 172 で始まり、ルーター NAT 下の IP は一般的に 192.168 または 10 で始まります）の IP とポートを選択し、サーバーターミナルに次のように入力します。

export DISPLAY=[IP]:[x11port]

その後、GUI に関連するコマンドを入力し、ローカルコンピュータにポップアップウィンドウが表示されたら「はい」をクリックします。

image

方法二#

直接 mobaxterm を使用して ssh 接続し、GUI 関連のコマンドを実行します。

進捗を表示するコピー#

~/.bashrcまたは~/.zshrcに以下を追加します：

function rcp(){
    local src=$1
    local dst=$2
    if [ -f "$src" ] && [ -d "$dst" ]; then
        dst="$dst/$(basename "$src")"
    fi
    mkdir -p "$(dirname "$dst")"
    rsync -ah --info=progress2 "$src" "$dst"
}

その後、rcp を使用できます。cp とは完全に同じロジックではなく、2 番目のパラメータ dst はターゲットディレクトリで、cp のように名前を変更することはできません。

トレーニング終了 / 失敗後のメール通知#

トレーニングスクリプトの後に以下の Python コードを追加するだけで済みます。

sender = "noreply@do1e.cn"             # 送信元メールアドレスを設定
sender_name = "s1"                     # 送信者名を設定、ここではサーバー名と定義
passwd = "xxxxxxx"                     # メールパスワード、QQメールの場合は認証コード
server = "smtphz.qiye.163.com"         # 送信元メールサーバー、QQメールの場合はsmtp.qq.com
port = 465                             # 送信元メールのポート番号、一般的にはこれ
receiver = "pjdiao@smail.nju.edu.cn"   # 受信者メールアドレス
receiver_name = "Peijie Diao"          # 受信者名
subject = "train on s3"                # メールの件名
message = "Training on s3 is finished" # メールの内容

import smtplib
from email.mime.text import MIMEText
from email.utils import formataddr
import socks

# サーバーがログインしていないとインターネットに接続できないため、ここで設定したプロキシを使用して自分の小さな猫の許可されたローカル接続を開くことができます
socks.set_default_proxy(socks.SOCKS5, "xxxx", 7891)
socks.wrapmodule(smtplib)

msg = MIMEText(message, 'plain', 'utf-8')
msg['From'] = formataddr((sender_name, sender))
msg['To'] = formataddr((receiver_name, receiver))
msg['Subject'] = subject

server = smtplib.SMTP_SSL(server, port)
server.login(sender, passwd)
server.sendmail(sender, [receiver], msg.as_string())
server.quit()

VPN の代替案#

学校の VPN サーバーが不安定な場合は、使用を検討できます。速度も比較的速いです（前提として P2P 接続が成功すること）。

image

能力があれば Zerotier や OpenVPN サービスを自分で構築することも考慮できます。

Zerotier を使用して私のキャンパス内サーバーと P2P 接続する#

xubiaolin/docker-zerotier-planet - クライアント設定を参照して Zerotier One を設定します（クライアント設定セクションにのみ注意してください）。
planet ファイルとネットワーク ID は、https://nvtop.njucite.cn にログインして確認するか、私に連絡してください。設定が完了したら、私に連絡してアドレスを提供し、認証を完了してください。

以下のアドレスは15ffbcaa44です。

> zerotier-cli info
200 info 15ffbcaa44 1.14.2 ONLINE

認証が完了したら、再度 zerotier サービスを再起動し、10.128.3.0/24の IP アドレスを取得できるはずで、https://test.nju.do1e.cn/ にアクセスできるようになります。この時点でこのステップは成功し、次のステップに進みます。

ルーティング#

以下のコマンドは管理者 /sudo権限が必要です。完了後、キャンパス外からサーバーと NAS に接続でき、https://nvtop.main.njucite.cn に成功裏にアクセスできるはずです。

Windows

管理者として PowerShell（cmd ではなく）で以下のコマンドを実行します：

$interface = (route print | Select-String 'ZeroTier Virtual Port').Line.Split('.')[0].Trim()
route add 114.212.0.0 mask 255.255.0.0 10.128.3.4 if $interface metric 1

Linux

sudo ip route add 114.212.0.0/16 via 10.128.3.4 dev $(ifconfig | awk -F: '/^zt[^:]+:/ {print $1; exit}') metric 1

MacOS （AI の結果、未検証）

route add -net 114.212.0.0/16 10.128.3.4 -hopcount 1

毎回再起動後に上記のルーティング設定を実行する必要があります。永久的な設定方法を自分で調べることもできますが、ノートパソコンに永久的に設定することはお勧めしません。
この方法はサーバーと NAS が接続できることを保証するだけです。

読み込み中...
文章は、創作者によって署名され、ブロックチェーンに安全に保存されています。