こんにちは！
現役パラレルワーカー フクコです。
前回の記事↓に続き
www.fukuko-parallel-work.com
来年の2月の試験に向けてE資格試験勉強中のため
E資格とは？の記事はコチラ↓
ゼロつくシリーズでおなじみ
オーライリーから出版されている
ディープラーニングの本格的な入門書でよくおススメされる
「ゼロからつくる Deep Learning」本
この本↑を毎日5ページずつコツコツこなすと
約2か月間で今年中に終了するので
来年のE資格試験までにこれで基礎力をつけることにしました。(＾＾)
ついつい私は何もないとだらけてしまうので(笑)
毎日5ページ終わった後の記録とまとめを書いていこうと思います。
と、まとめに入る前に…
やる気を出すためのコトバをシェアします！！(主に私のやる気を出すために 笑）
「胸を張って生きろ。
おのれの弱さやふがいなさにどれだけ打ちのめされようと
心を燃やせ。
歯を食いしばって前を向け。
ｂｙ煉獄杏寿郎(れんごくきょうじゅろう)
私の大好きな「鬼滅の刃」から
煉獄さんの名言です。
やっぱり、最後の名言のトリをかざるのは煉獄さんですよね！！
煉獄さんは、「炎」の呼吸法を使用する炎柱（えんばしら）。
炭治郎たち相手にも飾らず、ホントにまっすぐになんでも正直に話すキャラ。
煉獄さんの信念が感じられる名セリフの数々は
正直主人公の炭治郎が若干かすむぐらいに人気になってますよね。
私も煉獄さんのように
心を燃やして生きていきたい！！
煉獄さん、どうもありがとう！ （＾０＾）
今日もやる気が出てきました！
よし！！ 今日も頑張るぞ～！ お～！！
というコトで、
私は今日も心を燃やして、ノルマはゼッタイこなしますよ！笑
ではでは、いい加減まとめに入ります。笑
その前に本の目次の紹介です。
ゼロつくディープラーニングは、下記↓の合計8章で構成されています。
本の目次
- 1章 Python入門
- 2章 パーセプトロン
- 3章 ニューラルネットワーク
- 4章 ニューラルネットワークの学習
- 5章 誤差伝播法
- 6章 学習に関するテクニック
- 7章 畳み込みニューラルネットワーク
- 8章 ディープラーニング
ちなみに…
ゼロつくディープラーニングの第1章はPython入門のセクション(20ページ分)なので、
とりあえず今回私は飛ばし、第2章からまとめています。
現在は残るは付録のみ！ ホントに最後の最後！
付録AのSoftmax-with-Lossレイヤの計算グラフのところです。
付録A Softmax-with-Lossレイヤの計算グラフのつづき
ここでは
ソフトマックス関数と交差エントロピー誤差の計算グラフを示し、
それらの逆伝播を求める。
ソフトマックス関数＝Softmaxレイヤ
交差エントロピー誤差＝Cross Entropy Errorレイヤ
この2つを組み合わせたレイヤをSoftmax-with-Lossレイヤとよぶ。
Softmax-with-Lossレイヤの計算グラフは↓のとおり。
A.2 逆伝播 のつづき
つづいて
Softmaxレイヤの逆伝播について。
前レイヤのCross Entropy Errorレイヤからの逆伝播の値が流れてくる。
まずはステップ1は↓の図のとおり。
ステップ1
ステップ2は↓の図のとおり。
ステップ2
ステップ3は↓の図のとおり。
ステップ3
ここ↑で、（t₁+t₂+t₃）は教師ラベルで、「one-hotベクトル」
「one-hotベクトル」とは、
（t₁+t₂+t₃）のうちどれか一つが1で残りはすべて0。そのため（t₁+t₂+t₃）の和は、1となる。
ステップ4
ステップ4は↓の図のとおり。
「+」ノードはそのまま流すだけ。
ステップ5
ステップ5は↓の図のとおり。
ステップ6
ステップ6は↓の図のとおり。
「exp」のノードは次の関係式が成り立つ↓。
A.3 付録A Softmax-with-Loss レイヤの計算グラフのまとめ
Softmax-with-Loss レイヤの計算グラフをまとめると↓の図ようになる。
↑の計算グラフは一見難しそうに見える。
だが、
計算グラフを使って1つずつ確認しながら進めれば
微分を求めることはそこまで大変な作業ではない。
