はじめに
公式で提供されているIsaac Simを使用した強化学習の手法について解説します
開発環境
以下、メーカー側で推奨されている環境となります。
- Ubuntu 20.0.4
- Nvidia driver 525
- GPU:メモリ >8GB、RTX シリーズ グラフィックカード
環境設定
この環境は仮想環境で構成することをお勧めします。
- 仮想環境を作成する
conda create -n rl-g1 python=3.8
- 仮想環境をアクティブ化する
conda activate rl-g1
- Cuda ,pytorchのインストール
pip3 install torch==1.10.0+cu113 torchvision==0.11.1+cu113 torchaudio==0.10.0+cu113 -f https://download.pytorch.org/whl/cu113/torch_stable.html
NumPyライブラリのバージョンは高くしすぎないように注意してください。バージョン1.23.5をインストールすることをお勧めします。
- Isaac Gym Preview 4シミュレーション プラットフォームをダウンロードし、解凍して
pythonディレクトリに入り、pipインストールに使用します。
# current directory: isaacgym/python
pip install -e .
- ディレクトリ内のルーチンを実行して、
python/examplesインストールが成功したかどうかを確認します。
# current directory: isaacgym/python/examples
python 1080_balls_of_solitude.py
インストールが成功すると、次のウィンドウが表示されます。
6.rsl_rlライブラリをインストールする（v1.0.2を使用）
git clone https://github.com/leggedrobotics/rsl_rl
cd rsl_rl
git checkout v1.0.2
pip install -e .
モデルトレーニングの使用
- Unitree公式サンプルコードをダウンロード
git clone https://github.com/unitreerobotics/unitree_rl_gym.git
legged_gym/scripts/train.pyとsys.path.append("/home/unitree/h1/legged_gym") legged_gym/scripts/play.pyを変更します- 強化学習仮想環境をアクティブ化する
conda activate rl-g1
- ディレクトリに切り替えて
legged_gym/scripts、トレーニング手順を実行し、トレーニングを開始します。
python3 train.py --task=g1
train.py ファイル内のパラメータを変更してargs.headless、ビジュアル インターフェースをオンまたはオフにします。
isaac_gym 以下のインターフェースが表示されたらトレーニングが始まります。
ターミナル出力ウィンドウは次のとおりです。
1500 回トレーニングした後、テスト手順を実行します。
python play.py --task=g1