ProjectDictionary

用語集

No.	カテゴリ	用語	説明	備考
1	AI	DQN	Deep Q Network。 典型例として Atari Games をブレイクアウトする課題がある。基本的には①画像を学習し、②アクションを選択し、③報酬を最大化する。①でCNNを採用し、②、③で強化学習を採用する。	サンプルコードでは、学習済みのCNN モデルを使用する。
2		CNN	Convolutional Neural Network。画像分類におけるDeep Learning の典型。
3		強化学習	対象について不完全な知識しかなく、かつ、対象への働きかけによって観測できることが変わってくる場合、最適な働きかけの系列を発見する問題のこと。	DQN、 および、このサンプルプログラムでは報酬を最大化するアクションを発見する。
4		エージェント	様々なエージェントが存在するが、ここでは知的エージェントを指す。エージェントは学習し「適応」する能力を有する。強化学習では行動する主体のことを指す。	参考: エージェントとは
5		環境	強化学習では働きかけられる対象のことを指す。DQN の典型例では Atari Games のゲーム自体になる。このレポジトリでは Unity 環境をさす。
6		アクション、行動	エージェントが選択した行動をさす。前進、左30度回転、右30度回転など。
7		リワード、報酬	エージェントが環境から受け取る報酬をさす。正の報酬と負の報酬が存在する。
8		ステート、状態	エージェントが行動することで、変化する環境の要素のこと。
9		Q学習	強化学習の一種。Q学習では実行するルールに対しそのルールの有効性を示す Q値という値を持たせ、エージェントが行動するたびにその値を更新する。行動の決定方法はなるべく Q値の大きな行動が高確率で選ばれるように行う。	DQN、 および、このサンプルプログラムでは、報酬を最大化するアクションを発見する。
10		ε-グリーディ法	確率ϵで探索、確率1−ϵでQ値が最大のものを選ぶ
11		Q-Table	Qどの状態で、どう行動する、という２軸に対して、どれくらいの報酬が見込めるか、をマトリクスにしたもの。	参考: Q学習の Q-Table を参照
12		Q-Net	Q 値の計算のために使用される Neural Net のこと
13		Experience Replay	DQN でエージェントが得る画面入力は互いに強い相関を持つ。この強い相関をもつ入力シーケンスで学習すると、収束性が悪い。このサンプルの偏りを抑制することが Experience Replay の目的である。 大まかに言うと、状態/行動/報酬/遷移先のシーケンスをメモリ上に保存し、そのシーケンスからランダムサンプリングして学習を行う。
14	脳科学	脳の構造	脳は大きく大脳、小脳、脳幹に分けられる。	サンプルでは大脳の機能の一部を取り扱う
15		大脳皮質	大脳の表面で、灰白色になっている領域。さらに新皮質、原皮質、古皮質に分けられる。	サンプルでは、大脳皮質のうち新皮質、とくに視覚を取り扱う
16		新皮質	大脳の表面をおおう組織。場所により様々な機能を持つ。多くの場所で６層構造をもつ。	サンプルでは、学習済み CNN をもって新皮質の視覚機能とする
17		大脳辺縁系	大脳の内部に存在する、部位のひとつ。海馬、扁桃体、などが含まれる。海馬は記憶を扱い、扁桃体は情動をあつかう。	サンプルでは、大脳辺縁系のうち海馬を取り扱う
18		海馬	側頭葉の内部に位置する、タツノオトシゴのような形をした細長いもの。時間と場所にかかわるエピソード記憶を管理し、空間認知の機能をもつ。
19		場所細胞	ラット実験で発見された海馬の細胞。特定の場所をとおるときだけ活動する。	海馬に存在する。図1の(a)参照
20		グリッド細胞	ラット実験で発見された嗅内皮質の細胞。場所細胞とは異なり、ラットがいる位置に対応する、細胞が活性化する。６角形格子(グリッド)状になっている。	海馬周辺の嗅内皮質に存在する。図1の(b)参照
21		ヘッドディレクション細胞	ラット実験で発見された海馬の細胞。細胞。頭が特定の方向を向いているときだけ活動する。	海馬周辺の嗅内皮質に存在する。
22		エゴセントリック	１人称視点。DQN はエゴセントリックな処理になる。
23		アロセントリック	客観的視点。場所細胞、グリッド細胞はアロセントリックな処理になる。
24		大脳基底核	大脳皮質の奥深くに位置し、報酬・行動選択・運動制御を管理する。