docker上でnvidia-smiするとFailed to initialize NVMLが出る

ホストPCでnvidia-smiが正常動作する場合 以下を実行する。 sudo sed -i 's/^#no-cgroups = false/no-cgroups = false/;' /etc/nvidia-container-runtime/config.toml sudo systemctl restart docker 参考: Nvida Container Toolkit: Failed to initialize N…

nvidia GPU関係のインストール

動作環境 Ubuntu 22.04.1 LTS GeForce RTX 2080 GPUドライバ インストール sudo add-apt-repository ppa:graphics-drivers/ppa sudo apt update ubuntu-drivers devices # ドライバ候補表示 sudo apt install nvidia-driver-*** # 好きなドライバを選択 確認…

pythonのvenvを活用する

venvを使ってpythonの仮想環境を活用する方法をまとめる。 venvについて venvはpythonの仮想環境を構築するモジュールの一つ。 pythonが公式で出している。 既にインストールされたpythonに依存した仮想環境を構築し、仮想環境ごとに独立のpythonモジュール…

画面の割れたスマホをAnyDeskで運用する

スマホを落として画面がバキバキになってしまった... 画面以外はちゃんと動くのでなんとか活用したい。 そこで遠隔操作アプリを使って別のスマホから操作して運用方法を試してみた。 必要なもの 破損スマホ:画面がバキバキになってしまったスマホ 操作スマ…

深層学習以前の強化学習をまとめる

強化学習の観点 何を学習するか 状態や行動の価値を学習: Valueベース 戦略を学習: Policyベース 学習に使う環境をモデル化できるか できる: モデルベース できない: モデルフリー 学習に用いる実績情報はなにか 報酬のみから学習: モンテカルロ法 報酬と見…

kedroのデータ構成を知る

機械学習パイプライン構築ツールのkedroを触ったときにkedroのデータ構成の意味が気になったので調べてみた。 kedro.readthedocs.io kedroのデフォルトの設定でプロジェクトを作成するとdata配下がこんな構成になっている。 data ├── 01_raw ├── 02_intermed…

DockerコンテナがあるPCでGPUドライバ再インストール

GPUドライバがバグったのでGPUドライバを再インストールした。 そしたらGPU対応させていたDockerコンテナが起動できなくなったので、その対処を記録する。 環境 PC: Ubuntu18.04 GPU: RTX2080 Docker: version 19.03.5 コンテナ: docker run -it --gpus all …

Dockerでtensorflow-gpuとかを使えるようにする

既に走らせてるコンテナであ〜やっぱりgpu使いたいな〜ってとき 必要なもの:予めPCにはnvidia driverをインストールしてnvidia-smiができるようにしておく コンテナをイメージに保存 コンテナからイメージを作成して一旦保存する まずコンテナが起動してい…

LinuxでRAID構築

前にラズパイで構築したサーバーを使って来たけどHDD故障でデータが飛ぶのが怖くなってきた。。。 なのでもう一枚HDDを用意してRAID1を構築した。 今回はその手順について。 目次 はじめに RAID用パーティション作成 RAID設定 RAIDデバイスの使用 設定の保存…

XGboostとりあえず動かす

「とりあえずこれやっとけ」で有名なXGboost。とりあえず動かす。 使用するモジュールはこちら xgboost.readthedocs.io 目次 回帰編 分類編 回帰編 import 回帰では以下のモジュールを使用。 import xgboost as xgb from sklearn import datasets import pan…

matplotlibの日本語化(フォント変更)

matplotlibで日本語を表示しようとすると以下のように文字化けしてしまう。 import matplotlib.pyplot as plt plt.plot(list(range(10)), list(range(10))) plt.title('日本語タイトル') これはmatplotlibで使っているフォントが日本語に対応していないから…

PythonでMCMCを実装してみた

MCMCの理論 - ricrowlのブログの続き。 マルコフ連鎖モンテカルロ法(MCMC)のアルゴリズムであるMetropolis-Hastings(MH)法を実装してみた。 MH法アルゴリズム 確率変数$\boldsymbol{w}$のデータ$\boldsymbol{X}$観測後の事後分布$P(\boldsymbol{w}|\boldsymb…

自作サーバーの性能比較(歴代RaspberryPi+PC)

家にいくつかのバージョンのRaspberryPi(とPC)があったのでサーバー化して性能比較してみた。 比較条件 比較ハード Raspberry Pi Model B, Revision 2.0 Raspberry Pi3 Model B Raspberry Pi4 Model B, 4GB RAM ノートPC ※Pi2はないです... ハード CPU メモ…

RaspberryPiのサーバー化

Sambaのインストール 以下のコマンドでインストールする。 sudo apt update sudo apt install -y --fix-missing samba samba-common-bin 以下のような画面が出てくるので<はい>を選択して続行。 以下のコマンドでSambaのステータスについての情報が表示さ…

RaspberryPiセットアップ(OS書き込み・SSH・ユーザー変更)

OS書き込み ラズパイのSDやmicroSDカードにOSを書き込む。今回書き込むOSはRaspbian。 まずRaspbianの公式ページよりOSをダウンロードする。 推奨ソフトウェア入り(with desktop and recommended software),普通(with desktop),最小構成(Lite)があるので好…

MCMCの理論

マルコフ連鎖モンテカルロ法(MCMC)の理論を簡単にまとめた。 MCMCするモチベーション モデルの重みとかの事後分布を求めたい けど積分計算が解析的に解けない。。。 対象をサンプリングしてサンプルのヒストグラムから分布を作ってしまおう! というのがモチ…

ubuntuをスリープしてもマウス触っただけで復帰してしまう

ubuntu18.04をスリープしたのにマウスをちょっと触っただけで復帰してしまってうざい。。。 調べると以下のサイトで解決法を見つけた。 Wake up from suspend using wireless USB keyboard or mouse (for any Linux Distro) - Ask Ubuntu 解決法 まず以下の…

ubuntuでconda installしようとするとNotWritableErrorが出る

UbuntuにAnacondaをインストール後、conda install updateとかをしても以下のようなエラーが出た。 Collecting package metadata (current_repodata.json): failed NotWritableError: The current user does not have write permissions to a required path.…

docker上でjupyter-notebookを使用する方法

dockerコンテナ上でjupyter-notebookを起動させてローカルPCのブラウザで動かすための方法。 1. ポートの接続 コンテナ上のポートとローカルのポートを接続する。 docker run -p [ローカルのポート]:[コンテナのポート] とすれば接続できる。 2. notebook起…

grub画面にwindows10が認識されない問題

windows10のマシンにubuntu 18.04 LTSをインストールしたが、grubにwindows10がなかった。 ※そもそもgrub画面が出なかったので、この問題はこちらで解決。 まずこちらで解決を試みたけれどもうまく行かなかった。 grub画面で作成したwindowsを選択しても以下…

windows10がインストールされたHDDをMBR形式からGPT形式にする方法

GPTかどうか調べる cmdでdiskpartと入力。 diskpart.exeというcmdに似た画面が開くのでここにlist diskとコマンド。 GPTの列に*マークがあればGPT、なければMBR。 GPTに変換できるかチェック 変換したいディスクをdisk:0とする(ディスクは上記で調べる)。…

Ubuntu18.04起動時にgrub画面が表示されない問題

Ubuntu 18.04 LTSのインストール後起動したらgrub画面が出ずにUbuntuが起動したので復旧方法をメモ。 まず、下記コマンドでgrub画面を作成。 sudo grub-mkconfig 次に、「/etc/default/grub」の設定ファイルを以下のように編集。 GRUB_TIMEOUT_STYLE=menu #…