大学情報 【情報理論】結合エントロピーと条件付きエントロピー
この記事では結合エントロピーと条件付きエントロピーについてまとめていきます。結合エントロピー自己情報量では一つの事象系について扱ってきましたが、実際には2つ以上の事象を扱いたいことがあると思います。そこで、ある二つの事象系AとBがあった時に...
大学情報 
大学情報 【情報理論】相互情報量
この記事では相互情報量についてまとめています。情報量とエントロピーに関しては以下の記事をご覧下さい。相互情報量突然ですが、あなたはある事件を解決しようとしています。その事件の犯人は赤色の帽子を被っていたとの情報があり、被疑者はAさん、Bさん...
大学情報 【情報理論】情報量とエントロピー
情報理論、機械学習などで使用される情報量とエントロピーの基本についてまとめてみました。情報量とは例えば、毎年サマージャンボを購入している友達が今年もサマージャンボ外れちゃったよーこの話を聞いた時、あなたは「へー、そうなんだ」と特に驚きはしな...
ディープラーニング 確率的勾配降下法について
"ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装"という本で気になったところや理解にくかったところをまとめてます。今回は確率的勾配降下法(stochastic gradient descent)に...