以下を実行する。
sudo sed -i 's/^#no-cgroups = false/no-cgroups = false/;' /etc/nvidia-container-runtime/config.toml sudo systemctl restart docker
以下を実行する。
sudo systemctl stop gdm sudo systemctl isolate multi-user.target sudo systemctl stop systemd-logind sudo killall gdm-x-session sudo rmmod nvidia_drm sudo rmmod nvidia_modeset sudo rmmod nvidia_uvm sudo rmmod nvidia sudo systemctl restart docker
インストール
sudo add-apt-repository ppa:graphics-drivers/ppa sudo apt update ubuntu-drivers devices # ドライバ候補表示 sudo apt install nvidia-driver-*** # 好きなドライバを選択
確認: nvidia-smiのコマンドでGPU状態が表示される
公式サイトから好きなバージョンを選択し、自分のPC環境を選んでいく
Installation Instructions通りにコマンドを実行する
# CUDA Toolkit 11.7 Update 1, Linux Ubuntu 22.04 x86_64, deb(local) の場合 wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-ubuntu2204.pin sudo mv cuda-ubuntu2204.pin /etc/apt/preferences.d/cuda-repository-pin-600 wget https://developer.download.nvidia.com/compute/cuda/11.7.1/local_installers/cuda-repo-ubuntu2204-11-7-local_11.7.1-515.65.01-1_amd64.deb sudo dpkg -i cuda-repo-ubuntu2204-11-7-local_11.7.1-515.65.01-1_amd64.deb sudo cp /var/cuda-repo-ubuntu2204-11-7-local/cuda-*-keyring.gpg /usr/share/keyrings/ sudo apt-get update sudo apt-get -y install cuda
以下を~/.bashrcに書き加えてパスを追加
export PATH="/usr/local/cuda/bin:$PATH" export LD_LIBRARY_PATH="/usr/lib/cuda/lib64:$LD_LIBRARY_PATH"
確認: nvcc -Vまたは/usr/local/cuda/bin/nvcc -VでCUDAの情報が表示される
備考
sudo dpkg -l | grep nvidia*sudo apt purge [不要ドライバ]公式サイトから好きなバージョンを選択し、ダウンロード
インストール
# tarファイル形式のcudnnをダウンロードした場合 tar -xvf [対象のcudnnファイル名].tar.xz sudo cp [対象のcudnnファイル名]/include/cudnn.h /usr/local/cuda/include sudo cp -P [対象のcudnnファイル名]/lib/libcudnn* /usr/local/cuda/lib64 sudo chmod a+r /usr/local/cuda/include/cudnn*.h /usr/local/cuda/lib64/libcudnn*
リポジトリの追加
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | \ sudo apt-key add - distribution=$(. /etc/os-release;echo $ID$VERSION_ID) curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | \ sudo tee /etc/apt/sources.list.d/nvidia-docker.list sudo apt-get update
インストール
sudo apt-get install nvidia-docker2
再起動
確認: 以下コマンドでエラーなく表示されればOK
nvidia-container-cli -k -d /dev/tty info
備考
インストール
pip install tensorflow-gpu
確認: 以下コマンドでPhysicalDeviceとしてGPUが認識される
python -c "import tensorflow as tf; print(tf.config.list_physical_devices('GPU'))"
備考
Could not load dynamic library 'libnvinfer.so.7'..., Could not load dynamic library 'libnvinfer_plugin.so.7'..., TF-TRT Warning: Cannot dlopen some TensorRT libraries...について
successful NUMA node read from SysFS had negative value (-1)...について
インストール
pip install torch torchvision torchaudio
確認: 以下コマンドでTrueと返ってくる
python -c "import torch; print(torch.cuda.is_available())"
venvを使ってpythonの仮想環境を活用する方法をまとめる。
venvはpythonの仮想環境を構築するモジュールの一つ。 pythonが公式で出している。
既にインストールされたpythonに依存した仮想環境を構築し、仮想環境ごとに独立のpythonモジュールの環境を作成できる。
ここではpython3.10がすでにインストールされているとする。
まずvenvモジュールをインストールする。
sudo apt install python3.10-venv
venvは仮想環境ごとにフォルダを作成して管理される。
そのフォルダは任意の場所に作成可能なので指定して仮想環境を作成する。
python3.10 -m venv [仮想環境フォルダのパス]
仮想環境に入るには以下のようにする。
source [仮想環境フォルダのパス]/bin/activate
この後はpythonやpipが仮想環境のものとして使える。
仮想環境から出るには以下のようにする。
deactivate
venvはVSCodeと連携してVSCode上のインタプリタやTerminalにvenvのpythonを選択できる。
まず以下のようにして仮想環境があるパスを設定する。
File -> Preferences -> SettingsへPython: Venv Pathの項目で[仮想環境フォルダがある一階層上のパス]を入力そして以下のようにしてVSCodeと連携するpythonを選択する。
ctrl + shift + p -> Python: Select Interpreter -> ワーススペースレベルで選択へPythonバージョン('[仮想環境フォルダ名]':venv)と表示されるので選択この後はインタプリタに仮想環境のpythonが使われ、Terminalも仮想環境に入った状態で立ち上がる。
venvは既にインストールされたpythonに依存しているので別のPCに移植する際は一から作成する必要がある。 ただ、pipは以下のようにしてrequirements.txtに書き出せるのでこれを別PCに移す形で移植する。
移植元PC
pip freeze > requirements.txt移植先PC
pip install -r requirements.txt以下のようにvenvで作成した時と別の名前でシェル名を変更する。
$ source venv/bin/activate (hogehoge) $
これはvenv/bin/activateのPYTHONHOMEにかかわる箇所を変更する（48-62行目くらい）。
スマホを落として画面がバキバキになってしまった...
画面以外はちゃんと動くのでなんとか活用したい。
そこで遠隔操作アプリを使って別のスマホから操作して運用方法を試してみた。
Win+/Win+Tabでマルチタスク画面へTabを押すと画面の各項目を選択できるようになるのでその後矢印キーで検索を選択してEnterWin+Spaceで言語を英語に変換してからPLAY STOREと打ち込んでEnter（もう一度Win+Spaceすれば日本語に戻れる）EnterTabで移動し、検索窓を選択してEnterEnterTabで移動して、AnyDeskを選択してEnterTabとEnterを使ってインストールを続行していくTabで許可を選んでいってEnterしていくと接続できるこれで操作スマホからタッチで操作できるようになるのでキーボード＆モニタ地獄から開放される
このままだと接続毎に破損スマホの方で繋いでいいかの確認ポップアップが出てキーボード＆モニタ操作から逃れられないので回避するよう設定する。
まずは破損スマホ側のAnyDeskの設定を変えて無人のアクセスを許可する。
これで行けると思ったが、まだ以下の許可画面が出てくる。
これはAndroid10以上のデフォの仕様で毎回聞く用になってるかららしい（参考）。
これを変更するにはADBを使わないといけないので適当なPCにインストールして以下コマンドを実行してみた。
adb shell appops set com.anydesk.anydeskandroid PROJECT_MEDIA allow adb shell appops set com.anydesk.adcontrol.ad1 PROJECT_MEDIA allow
※2行目はいらない説あるが一応設定
これによってさっきの許可画面なしに接続することができた。
AnyDeskのデフォルトの設定で破損スマホ側でAnyDeskが起動されているときだけ接続できるようになっている。
（設定→セキュリティ→双方向接続→AnyDeskのウィンドウがみえる場合のみ許可する）
PCのAnyDeskだと「接続を常に許可する」を選択するとAnyDeskのウィンドウが表示されていなくてもバックグラウンドで動いていて接続ができるようになってる。
なので破損スマホでもその設定にしてみたが、そうすると「セッション作成」画面から進まなくなってしまった（AnyDeskの画面を表示しているときは接続できる）。
「バッテリーの最適化」の対象に入っているからかと対象を外しても変わらなかった。
今できそうな対策としては以下。
主要な手法をこれらの観点で分類するとこんな感じ
| Value/Policyベース | モデルベース/フリー | モンテカルロ/TD法 | On/Off-Policy | |
|---|---|---|---|---|
| Value Iteration | Value | モデルベース | なし | なし |
| Policy Iteration | Policy | モデルベース | なし | なし |
| モンテカルロ法 | Value | モデルフリー | モンテカルロ法 | Off-Policy |
| Q-learning | Value | モデルフリー | TD法 | Off-Policy |
| SARSA | Value | モデルフリー | TD法 | On-Policy |
| Actor-Critic法 | 両方 | モデルフリー | TD法 | On-Policy |
強化学習では環境が以下の変数で表される。
図にするとこんな感じ
強化学習の目的は指定の期間中(無限でもOK)での報酬の総和を最大化するような制御を得ること。
強化学習では価値と戦略によってエージェントの制御がなされる
これらを学習することによってより良い制御を得るが、このどちらを学習するかで分類がされる
Bellman方程式を用いれば強化学習の目的である状態や行動の価値が導出できる。
ValueベースのBellman方程式
PolicyベースのBellman方程式
Bellman方程式を使えば一つ先の状態の価値から今の状態の価値が計算できる。 これを利用して一番最後の状態から逆向きに価値を導出していくことで価値関数が求められる(動的計画法を使って効率的に解ける)。
ただし、この方法では以下のように計算コストが膨大になる。
これに対し、予め全ての状態に対する価値関数$V(s)$に適当な値が入っていればこの計算をしなくて済み、適当な値が入った$V(s)$はBellman方程式により逐次正確な値に更新していけば計算コストを抑えて$V(s)$が学習できる。 この手法をValue Iterationという。
2.の更新時に真の価値関数の元となる報酬$R(s)$や遷移関数$T(s'|s,a)$が関与するので、段々真の値に近づいていくイメージ(かな？)。
証明は「UCL Course on RL」のLecture3にあるそうな。
先述のValue Iterationのようにして学習した価値関数に基づいて、価値を最大化するような戦略になるようにすれば戦略も学習できる。このようにして価値関数と戦略を同時に学習する手法をPolicy Iterationという。
後述のモンテカルロ法, Q-learning, SARSA, Actor-Critic法など
モデルフリーで得た経験のうち、何の情報を使って学習するかで分類される
※価値関数は解く問題に応じて状態価値関数$V(s_t)$でも状態行動価値関数$Q(s_t, a_t)$でも良い
※簡単のため価値関数$Q(s, a)$を行列$Q[s][a]$として考える
エピソード$e$中の状態$s_{t}^{e}$と行動$a_{t}^{e}$について報酬を使って価値行列$Q[s_{t}][a_{t}]$をそれぞれ更新(下式) $$ Q[s_{t}^{e}][a_{t}^{e}] = Q[s_{t}^{e}][a_{t}^{e}] + \alpha Error(s_{t}^{e}, a_{t}^{e}) $$ $\alpha \in (0, 1)$は学習係数
1., 2.を繰り返す
現在の価値関数が上記の報酬と状態価値の和に近づくよう両者の誤差を算出して学習する $$ Error(s_t, s_{t+1}) = r_{t+1} + \gamma V(s_{t+1}) - V(s_t) $$
上記は1時刻先の場合であるがこれを$n$時刻先で拡張して考えることができる→Multi-step Learning
1時刻〜エピソード終了時刻$T$までのTD誤差を組み合わせる方法
としてこれらを$\lambda \in [0, 1]$で重み付けする
TD法を用いて状態価値関数(or行列)$Q$を学習するValueベースの方法
学習などで価値を見積もる際に戦略を考慮するかどうかで分類される
Q-learningの学習に使う1時刻先の価値をとる行動を戦略によって選ぶようにした方法
戦略と価値関数を別々に学習する手法
特に3.でValueベースのように$V_C$が更新できている点、4.でPolicyベース戦略に従って選択した$a_t$(1.で選択)に関して$Q_A$が更新できている点がポイント
機械学習パイプライン構築ツールのkedroを触ったときにkedroのデータ構成の意味が気になったので調べてみた。
kedroのデフォルトの設定でプロジェクトを作成するとdata配下がこんな構成になっている。
data ├── 01_raw ├── 02_intermediate ├── 03_primary ├── 04_feature ├── 05_model_input ├── 06_models ├── 07_model_output └── 08_reporting
なんとなくわかるけど、それぞれどんな時に使うのを想定しているのかが気になった。
まずは公式のドキュメントを見てみる。
ここに書いてあった。
また、ここのサイトにユースケースも含めて詳しく書いてあったので参考にした。
以上まとめてみると各データの役目とパイプライン処理との関係は以下のようになると理解した。
GPUドライバがバグったのでGPUドライバを再インストールした。
そしたらGPU対応させていたDockerコンテナが起動できなくなったので、その対処を記録する。
docker run -it --gpus all ... で作ったコンテナ既存のドライバ削除
sudo apt purge nvidia-* sudo apt purge cuda-* # あれば sudo apt autoremove
sudo add-apt-repository ppa:graphics-drivers/ppa sudo apt update
GPUのドライバ候補表示
ubuntu-drivers devices
下みたいな候補一覧が出てくるのでnvidia-driver-***のどれか好きなの選ぶ
vendor : NVIDIA Corporation driver : nvidia-driver-418-server - distro non-free driver : nvidia-driver-460-server - distro non-free driver : nvidia-driver-460 - third-party free driver : nvidia-driver-450-server - distro non-free driver : nvidia-driver-465 - third-party free recommended driver : xserver-xorg-video-nouveau - distro free builtin
ドライバインストール
sudo apt install nvidia-driver-460
インストール後、nvidia-smiでエラーなく結果が教示されたらOK
GPU再インストール後にコンテナをstartで起動しようとすると以下のようなエラーが出て起動できなかった
Error response from daemon: could not select device driver "" with capabilities: [[gpu]]
nvidia-container-runtimeというパッケージを入れて再起動すると治るっぽい(参考)
まず、vimかなんかで以下のスクリプト(nvidia-container-runtime-script.shと名付ける)を作成
curl -s -L https://nvidia.github.io/nvidia-container-runtime/gpgkey | \ sudo apt-key add - distribution=$(. /etc/os-release;echo $ID$VERSION_ID) curl -s -L https://nvidia.github.io/nvidia-container-runtime/$distribution/nvidia-container-runtime.list | \ sudo tee /etc/apt/sources.list.d/nvidia-container-runtime.list sudo apt-get update
nvidia-container-runtime-script.shを実行＆nvidia-container-runtimeインストール
sh nvidia-container-runtime-script.sh sudo apt-get install nvidia-container-runtime
dockerデーモンを再起動(もしくはPC再起動)
sudo systemctl restart docker
これでエラーなくコンテナを起動できるようになるはず
