ディープラーニング なぜ数値微分の中心差分は誤差を減らせるのか？
DeepLearningの勉強をしている際に数値微分では中心差分を取ることで誤差を減らすことが出来るとの記述がありました。しかし、何故減らせるかの記述がなかったため調べてみました。数値微分について初めに数値微分について軽く説明します。微分は...
大学情報
ディープラーニング 
大学情報 【計算理論】有限オートマトン
オートマトンとはオートマトンは、特定の文字列を認識する、状態や遷移をモデル化したものです。この記事では、オートマトンの中の有限オートマトンについて解説していきます。有限オートマトン有限オートマトンとは、名前の通り有限個の状態と遷移からなるオ...
大学情報 【情報理論】結合エントロピーと条件付きエントロピー
この記事では結合エントロピーと条件付きエントロピーについてまとめていきます。結合エントロピー自己情報量では一つの事象系について扱ってきましたが、実際には2つ以上の事象を扱いたいことがあると思います。そこで、ある二つの事象系AとBがあった時に...
大学情報 【情報理論】相互情報量
この記事では相互情報量についてまとめています。情報量とエントロピーに関しては以下の記事をご覧下さい。相互情報量突然ですが、あなたはある事件を解決しようとしています。その事件の犯人は赤色の帽子を被っていたとの情報があり、被疑者はAさん、Bさん...
大学情報 【情報理論】情報量とエントロピー
情報理論、機械学習などで使用される情報量とエントロピーの基本についてまとめてみました。情報量とは例えば、毎年サマージャンボを購入している友達が今年もサマージャンボ外れちゃったよーこの話を聞いた時、あなたは「へー、そうなんだ」と特に驚きはしな...
ディープラーニング 確率的勾配降下法について
"ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装"という本で気になったところや理解にくかったところをまとめてます。今回は確率的勾配降下法(stochastic gradient descent)に...