2017-01-03

情報幾何学の基礎 (数理情報科学シリーズ)

posted with amazlet at 17.01.03

藤原彰夫
牧野書店
売り上げランキング: 155,312

Amazon.co.jpで詳細を見る

「情報理論の基礎」を読み終わったあとで、もうすこし理論的なことも知りたいと、
別冊数理科学情報幾何学の新展開 2014年 08月号 [雑誌]
を借りたのだが、雑誌なだけに玄人向けすぎて断念。また、今では入手も困難なので、比較的新しいこちらを選択。初学者でもわかるように書いてあるが、非常に歯応えある内容。数学科の微分幾何は、座標を抽象化してしまっているそうなので、数学を専門としない人には手が届かない。本書は、数学科では使われなくなった、座標をつかった表現と抽象的な表現を両方つかいわけているし、「数学的には全く無駄な作業」(序文より)としながらも、平らな空間(Euclid空間)と曲った空間(Riemann空間)の橋渡しの部分を解説することで、抽象的な表現で何を記述したいのか理解する手掛りを与えてくれていると思う。

2017-01-03

情報理論の基礎―情報と学習の直観的理解のために (SGC Books)

posted with amazlet at 17.01.03

村田昇
サイエンス社
売り上げランキング: 247,330

Amazon.co.jpで詳細を見る

バギングの理論解析のために情報幾何学を使っているという、同僚の話を聞いて興味を持った。確率分布の空間も、情報幾何学が対象する双対平坦なリーマン多様体の上で考えると、見通しよく体系化される。がっつり情報幾何学にとりかかる前に、5章「モデル選択」(AICなど)、6章「混合モデルとアルゴリズムの幾何学的理解」(EMアルゴリズム、ブースティング、バギング)あたりを少し違った観点から眺め、その有り難さを感じあたい人向け。

2017-01-03

深層学習 Deep Learning (監修:人工知能学会)

posted with amazlet at 17.01.03

麻生英樹安田宗樹前田新一岡野原大輔岡谷貴之久保陽太郎ボレガラダヌシカ
近代科学社
売り上げランキング: 12,522

Amazon.co.jpで詳細を見る

章によって(要は担当著者によって)、解説の深さにバラつきがあるが、CNN(5章)やRNN(6章)の学習則あたりは式を導出しながら繰り返し読んだ。AdaGrad、Adamを含むハイパーパラメタ最適化、過学習制御のためのDropOutの理論的な解析(いずれも4章)は再読しておきたい。自己符号化器(1章)、深層ボルツマンマシン(2章)、事前学習(3章)も同様。7章は例外だが、重要なところを絞り込んで詳解している感じ。

2017-01-03

深層学習 (機械学習プロフェッショナルシリーズ)

posted with amazlet at 17.01.03

岡谷貴之
講談社
売り上げランキング: 5,983

Amazon.co.jpで詳細を見る

2017-01-03

オンライン機械学習 (機械学習プロフェッショナルシリーズ)

posted with amazlet at 17.01.03

海野裕也岡野原大輔得居誠也徳永拓之
講談社
売り上げランキング: 233,358

Amazon.co.jpで詳細を見る

2016-09-22

ヒトでなし金剛界の章

posted with amazlet at 16.09.22

京極夏彦
新潮社
売り上げランキング: 94,579

Amazon.co.jpで詳細を見る

2016-02-13

不完全データの統計解析 (統計学大系シリーズ)

posted with amazlet at 16.02.13

岩崎学
エコノミスト社
売り上げランキング: 428,200

Amazon.co.jpで詳細を見る

2章は専門家を目指す統計学の入門書としても良い。チェビシェフの不等式大数の法則、中心極限定理、フィッシャー情報量、漸近理論、統計的推論(2.5〜2.8節)。EMアルゴリズムの実例が随所に出てきて、使いこなしかたがわかるので参考になる。十分推定量の期待値の計算と、この期待値を最尤化するパラメタの計算を繰り返す。EMアルゴリズムの収束性の保証(イェンセンの不等式と情報量不等式)を述べており、高速化の研究に関しても紹介あり。MCMC、ギブスサンプリング、Metropolis-Hasting法も、この順番での説明のほうが、PRML下巻よりも、もしかすると判りやすいかも。
本題の不完全データに関しては、1変量、寿命データ、2変量、線形モデル(分散分析と重回帰分析)、多変量データ、経時測定データについて、それぞれ具体的。寿命データ(生存分析)は、学部1年のときに父から質問されたが、難しくて答えられなかった。今だとわかる。多重代入法はナナメ読み。分散分析は今後学びたい。