TOP ゼロから作るDeepLearning2 1章 まとめ

ゼロから作るDeepLearning2 1章 まとめ

ひとつ以上の方法を知るまでは、ものごとを理解したことにはならない。
---マービン・ミンスキー

ニューラルネットワーク

ニューラルネットワークの学習の目的は、損失(後述)をできるだけ小さくするパラメータを見つけること。

テンソル

ベクトルは1次元の配列、行列は2次元の配列で表せる。
テンソルは3次元以上の配列で表せる。

ミニバッチ

サンプル(入力データ)を1つずつ計算するのは計算効率が悪いので、
ミニバッチという複数サンプルのまとまりごとに計算する。

アクティベーション

活性化関数の出力のこと。

スコア

分類を行うNNで、最後にSoftmax関数に入れる前のNNの出力。

損失(loss)

学習がどれだけ進んでいるかを表す指標。損失(loss)の場合は大きいほど、学習できていない。
スカラである。

勾配

ベクトルの各要素に関する微分をまとめたもの

python


#変数.__class__で変数のクラス名を表示できる
x.__class__

numpy


#numpy配列のndimで次元数を調べられる
#3次元以上がテンソル
x.ndim

W * X   #要素ごとの積になる! 要素ごとは英語でelement-wise

ブロードキャスト

サイズの異なるnumpy配列同士の演算をよしなにやってくれる

数学

内積

ベクトルの内積は直感的には「2つのベクトルがどれだけ同じ方向を向いているか」を表す。
長さが1同士のベクトルの内積は、全く同じ方向を向いていれば1、逆向きであれば-1となる。

ベクトルの大きさ

(a_x, a_y)というベクトルの大きさは
sqrt(a_x^2 + a_y^2)
3次元以上も同様

その他

NNの行列の演算では形状に注意する←これがとても重要
ニューラルネットワークも単なる関数!

コメント

もしよろしければコメント下さい。

ハンドルネーム:
内容:

コメント一覧

最新記事

プログラマーになりたい高校生へ
高校生からわかるベクトル解析 勉強記録 その1
ゼロから作るDeepLearning2 1章 まとめ