おひとりさま現役パラレルワーカーフクコろぐ

これからの会社員は、複数の収入源をもとう! 会社に翻弄されずアナタらしく仕事ができる。 そんなパラレルワーカーを広めるフクコのブログです。

【文系プログラミング初心者deE資格】ゼロつくディープラーニング #48

f:id:fukuko-parallel-work:20211217083249j:plain

こんにちは!

現役パラレルワーカー フクコです。

f:id:fukuko-parallel-work:20210212204833p:plain



前回の記事↓に続き
www.fukuko-parallel-work.com



来年の2月の試験に向けてE資格試験勉強中のため


E資格とは?の記事はコチラ↓

www.fukuko-parallel-work.com




ゼロつくシリーズでおなじみ

オーライリーから出版されている

ディープラーニングの本格的な入門書でよくおススメされる

「ゼロからつくる Deep Learning」本


f:id:fukuko-parallel-work:20211029220008j:plain





この本↑を毎日5ページずつコツコツこなす

約2か月間で今年中に終了するので

来年のE資格試験までにこれで基礎力をつけることにしました。(^^)


ついつい私は何もないとだらけてしまうので(笑)

毎日5ページ終わった後の記録とまとめを書いていこうと思います。


と、まとめに入る前に…

やる気を出すためのコトバをシェアします!!(主に私のやる気を出すために 笑)

「全ての決定権は私に有り、私の言うことは絶対である。

 お前に拒否する権利は無い。

 私が”正しい”と言った事が”正しい”のだ。

 お前は私に指図した。 死に値する最期に言い残すことは?


by鬼舞辻 無惨(きぶつじむざん)


私の大好きな鬼滅の刃から

鬼舞辻 無惨(きぶつじむざん)の名言です。


鬼舞辻 無惨(きぶつじむざん)は、

炭治郎たち鬼殺隊の敵であり、千年以上前に生まれた最初の鬼

自分の血を与えることで人間を鬼に変えられる唯一の存在です。


ずーっと思ってたんですが、

なんか無惨って

すべての発言が会社のパワハラ経営陣の象徴☆彡みたいなんですよね。笑



もともと「無惨」というコトバ自体、

仏教では「罪を犯しながら心に恥じないこと」という意味です。


「私が"正しい"と言ったことが正しい」という発言は

別に本当に正しいかどうかは、カンケイない

要は、

「私が良ければそれが“正義”」という究極の自己中心的な発言です。


会社員が、

給料をえるために、会社の言い分をすべて聞いて、

遅くまで理不尽に働かないといけないのと同じように

鬼は、

唯一さからえない無惨の言い分を

たとえ自分がどんなに不利になろうと

従わないといけない弱みを握られているというところが

なんだか妙に会社員と同じだと思ったんですよね。


そんなワンマン、パワハラからは自由になって、

自分のホントウにやりたいことをしたい!!


そうするには…


今がんばるっきゃない!!!(^0^)



無惨、どうもありがとう! (^0^)

今日もやる気が出てきました! 

よし!! 今日も頑張るぞ~! お~!! 

というコトで、

私は今日も逃げずに、あきらめずにコツコツ、ノルマはゼッタイこなしますよ!


ではでは、いい加減まとめに入ります。笑



その前に本の目次の紹介です。

ゼロつくディープラーニングは、下記↓の合計8章で構成されています。

本の目次

  • 5章 誤差伝播法
  • 6章 学習に関するテクニック



ちなみに…

ゼロつくディープラーニング第1章はPython入門のセクション(20ページ分)なので、

とりあえず今回私は飛ばし、第2章からまとめています。

現在は残るは付録のみ! ホントに最後の最後!

付録AのSoftmax-with-Lossレイヤの計算グラフのところです。


付録A Softmax-with-Lossレイヤの計算グラフ


ここでは

ソフトマックス関数と交差エントロピー誤差の計算グラフを示し

それらの逆伝播を求める

ソフトマックス関数Softmaxレイヤ

交差エントロピー誤差Cross Entropy Errorレイヤ

この2つを組み合わせたレイヤSoftmax-with-Lossレイヤとよぶ。


Softmax-with-Lossレイヤの計算グラフは↓のとおり。


f:id:fukuko-parallel-work:20211217222314j:plain


A.1 順伝播


まずは

Softmaxレイヤについて。


ソフトマックス関数は次の式↓で表される。


y_{k}=\dfrac{\exp \left( a_{k}\right) }{\sum ^{n}_{i=1}\exp \left( a_{i}\right) }


次は、

Cross EntropyErrorレイヤについて。

クロスエントロピー誤差関数は次の式↓で表される。


 L=-\sum t_{k}\log y_{k}


Softmaxレイヤの計算グラフ(順伝播)の図は↓のとおり。


f:id:fukuko-parallel-work:20211217222424j:plain


Cross Entropy Errorレイヤの計算グラフ(順伝播)の図は↓のとおり。

f:id:fukuko-parallel-work:20211217222447j:plain


A.2 逆伝播


まずは

Cross Entropy Errorレイヤからの逆伝播


Cross Entropy Errorレイヤの計算グラフ(逆伝播)の図は↓のとおり

f:id:fukuko-parallel-work:20211217222529j:plain



逆伝播の計算グラフを求める時は

以下↓の点に気をつけるコト!!



  • 逆伝播の一番右の値は常に1である
  • 「X」のノードの逆伝播は、順伝播時の入力値をひっくり返した値を、上流からの微分に乗算して下流に流す
  • 「+」のノードでは、上流から伝わる微分をそのまま流す
  • 「log」ノードの逆伝播は次の式に従う

   y = log x
 \begin{aligned}\\ \dfrac{\partial y}{\partial x}=\dfrac{1}{x}\end{aligned}


今日のまとめ


ハイ、今日はここまで!!

現在、おまけの付録のページ、10ページ中

残るはあと5ぺ~ジとなりました!!

明日でホントに終わりですよ!!!(>ー<)



最後まで読んでくださり、ありがとうございます!

フクコ


ディープラーニング入門書おススメ本


E資格とは?

www.fukuko-parallel-work.com