Unityで機械学習(その３)

using UnityEngine;
using Unity.MLAgents;
using Unity.MLAgents.Sensors;
using Unity.MLAgents.Actuators;
public class RollerAgent : Agent {
    Rigidbody rBody;
    void Start() {
        rBody = GetComponent<Rigidbody>();
    }

    public Transform Target;

    //エピソード開始時に呼ばれる
    public override void OnEpisodeBegin() {

        // 球が床から落下したら
        if (this.transform.localPosition.y < 0) {
            this.rBody.angularVelocity = Vector3.zero;
            this.rBody.velocity = Vector3.zero;
            this.transform.localPosition = new Vector3(0, 0.5f, 0);
        }

        // ターゲットをランダムな場所に移動
        Target.localPosition = new Vector3(Random.value * 8 - 4,
                                           0.5f,
                                           Random.value * 8 - 4);
    }
    //観測値の設定を行う(引数のsensorに観測したい値を登録する)
    public override void CollectObservations(VectorSensor sensor) {
        // ターゲット(Cube)の位置
        sensor.AddObservation(Target.localPosition);
        //球の位置
        sensor.AddObservation(this.transform.localPosition);

        //球の速度のx成分
        sensor.AddObservation(rBody.velocity.x);
        //球の速度のz成分
        sensor.AddObservation(rBody.velocity.z);
    }
    public float forceMultiplier = 10;

    //行動ポリシーに基づき決定したアクションに対して報酬とエピソードの終了を行う
    //決定されたアクションが引数に入る
    public override void OnActionReceived(ActionBuffers actionBuffers) {
        
        Vector3 controlSignal = Vector3.zero;
        //actionBuffersに2つの値がfloat値で渡される
        controlSignal.x = actionBuffers.ContinuousActions[0];
        controlSignal.z = actionBuffers.ContinuousActions[1];
        //渡された値をもとにAddForce(球を動かす)
        rBody.AddForce(controlSignal * forceMultiplier);

        /***Rewards(報酬)と終了****/
        //球とターゲットの距離を計測して
        float distanceToTarget = Vector3.Distance(this.transform.localPosition, Target.localPosition);

        // もし接触していたら
        if (distanceToTarget < 1.42f) {
            //1.0の報酬を獲得
            SetReward(1.0f);
            //エピソード終了
            EndEpisode();
        }

        // もし球が床から落ちてしまったら
        else if (this.transform.localPosition.y < 0) {
            //エピソード終了
            EndEpisode();
        }
    }
    //このモードを設定しておくと手動での検証が可能となる
    public override void Heuristic(in ActionBuffers actionsOut) {
        var continuousActionsOut = actionsOut.ContinuousActions;
        continuousActionsOut[0] = Input.GetAxis("Horizontal");
        continuousActionsOut[1] = Input.GetAxis("Vertical");
    }
}

behaviors:
  RollerBall:
    trainer_type: ppo
    hyperparameters:
      batch_size: 10
      buffer_size: 100
      learning_rate: 3.0e-4
      beta: 5.0e-4
      epsilon: 0.2
      lambd: 0.99
      num_epoch: 3
      learning_rate_schedule: linear
    network_settings:
      normalize: false
      hidden_units: 128
      num_layers: 2
    reward_signals:
      extrinsic:
        gamma: 0.99
        strength: 1.0
    max_steps: 500000
    time_horizon: 64
    summary_freq: 10000