An Introduction to Support Vector Machines and Other Kernel-based Learning Methods
Nello Cristianini, John Shawe-TaylorSVMのアルゴリズムの説明とその分析手法としての統計学習理論が解説される。アルゴリズムが重要で学習理論はどうでもよいという人もいるが、この本は学習理論こそがアルゴリズムを明快にするための手段だと語る。その分析をすると高次元空間でもbenignな分布であればSVMで学習できると主張する。この薄い1冊分を使ってSVMのアルゴリズムを解明する道筋を語る。学問はシンプルでストレートが一番!”傑作”
|
Learning with Kernels: Support Vector Machines, Regularization, Optimization, and Beyond (Adaptive Computation and Machine Learning)
Bernhard Schölkopf, Alexander J. Smola内容は著者らの博士論文を発展させたのがこれのようです。すごい。カーネルの分野をどんどん発展させている著者達のパワーが感じられます。また、無尽蔵に非常に多くの概念が位置づけられるところが魅力です。1のアプローチとは対照的に実にさまざまな話題が丁寧にカバーされている。
|
Learning to Classify Text Using Support Vector Machines: Methods, Theory and Algorithms (The Springer International Series in Engineering and Computer Science)
Thorsten Joachimsこれも博士論文です。自然言語への応用(自然言語は広いので、この本はSVM的な接点に限られるが理論的にも深い)を知るには非常に奥深い本です。Transductive SVMにも重点を置いて説明されている(250ページ程度なので価格が2万円というのは間違いかもしれない)。[SVMlightはいまやシリーズ化してさまざまに発展したのでその辺を書いた2冊目が出ないかと思うのは私だけだろうか?]
|
Learning Kernel Classifiers: Theory and Algorithms (Adaptive Computation and Machine Learning)
Ralf Herbrichこれもそうです。付録が半分なので一見厚いが、本文は一語一語丁寧に含蓄深く書かれています。著者のcollegueの博士論文とあわせて読むと面白いです。ベイジアン的な視点(ベイジアンは著者のやり方をベイジアンではないといっている)から学習理論を説明しようとする試みです。Bayes Point Machineの原理的な背景がうまく書かれています。学習理論ぽい本です。
|
Statistical Learning Theory (Adaptive and Learning Systems for Signal Processing, Communications and Control Series)
Vladimir N. Vapnikこれは元祖です。2倍標本の説明がためになります。また、巻頭の説明と巻末にあるMDL,ベイジアンとの接点の話は新鮮で非常にお勧めです。しかし、真ん中の他の話題はどちらかというと目的意識があまりなければまとまりに欠け、証明が延々と続き、もう少し説明があればと思う。この分量を読む時間に他の本が2−3冊読めそうです。
|
The Elements of Statistical Learning: Data Mining, Inference, and Prediction (Springer Series in Statistics)
Trevor Hastie, Robert Tibshirani, Jerome Friedmanブースティングの説明がうまいです。additive modelを中心に実にきれいに説明されています。著者らの3冊目くらいの本だと思います。
|
Kernel Methods for Pattern Analysis
John Shawe-Taylor, Nello Cristianiniカーネルの本です。カーネルを適用できるいくつかのアルゴリズムが解明されます。関数クラスを設定してRademacher Complexityを用いて理論的に限界を求める説明が魅力です。カーネルの部分では動的計画法や木構造やトライ木などのデータ構造と関連づける部分がうまいです。
|
Prediction, Learning, and Games
Nicolo Cesa-Bianchi, Gabor Lugosiオンライン設定での学習理論と、ゲーム論的設定での学習理論を追求した本。
|
Algorithmic Learning in a Random World
Vladimir Vovk, Alex Gammerman, Glenn Shafer惹かれます。
|
The Minimum Description Length Principle (Adaptive Computation and Machine Learning)
Jorma Rissanen, Peter D. GrünwaldMDLでの学習がうまく追求されている本。情報理論的な話題に惹かれます。
|
Gaussian Processes for Machine Learning (Adaptive Computation and Machine Learning)
Carl Edward Rasmussen, Christopher K. I. Williamsガウス過程での学習理論がきちんと説明されている本。ベイジアンが重要なのではなく、カーネルが重要なのだということを感じさせてくれる。”傑作”
|
Universal Artificial Intelligence: Sequential Decisions Based on Algorithmic Probability (Texts in Theoretical Computer Science. An EATCS Series)
|
Information Theory, Inference and Learning Algorithms
David J. C. MacKayベイジアンで私の推す最も良い本です。著者のウェブサイトから丸ごとダウンロードできます(無料です)。特に説明が地についているところが非常に感動します。前半の情報理論の部は問題意識がなければ退屈かもしれないが、ここでの説明もまれに見る良い説明です。”百押し”
|
Introduction to Machine Learning (Adaptive Computation and Machine Learning)
Ethem Alpaydin機械学習の教科書として人気の上がっている本。7や24の重量級のものと比較すると、非常に気軽に学べる。
|
Learning Theory: An Approximation Theory Viewpoint (Cambridge Monographs on Applied and Computational Mathematics)
Felipe Cucker, Ding Xuan ZhouSmaleとの共著を読むための数学的な入門書としてよい。
|
Least Squares Support Vector Machines
Johan A. K. Suykens, Tony Van Gestel, Jos De Brabanter, Bart De Moor, Joos Vandewalleまだ読んでいない。
|
Predicting Structured Data (Neural Information Processing)
Gökhan H. Bakir, Thomas Hofmann, Bernhard Schölkopf, Alexander J. Smola, Ben Taskar, S. V. N. Vishwanathanまだ読んでいない。
|
Nearest-Neighbor Methods in Learning and Vision: Theory and Practice (Neural Information Processing)
Gregory Shakhnarovich, Trevor Darrell, Piotr Indyk
|
Neural Network Learning: Theoretical Foundations
Martin Anthony, Peter L. Bartlett
|
Introduction to Statistical Relational Learning (Adaptive Computation and Machine Learning)
Lise Getoor, Ben Taskar
|
学習システムの理論と実現
渡辺 澄夫, 萩原 克幸, 赤穂 昭太郎, 本村 陽一, 福水 健次, 岡田 真人, 青柳 美輝
|
パターン認識と学習の統計学―新しい概念と手法 統計科学のフロンティア 6
甘利 俊一, 麻生 英樹, 津田 宏治, 村田 昇
|
サポートベクターマシン入門
ネロ クリスティアニーニ, ジョン ショー‐テイラー, Nello Cristianini, John Shawe‐Taylor, 大北 剛1の翻訳です。
|
パターン認識と機械学習 上 - ベイズ理論による統計的予測
C. M. ビショップ, 元田 浩, 栗田 多喜夫, 樋口 知之, 松本 裕治, 村田 昇本としての焦点は8ー13章(条件付独立やd-separationそして理論的なvariational methodの説明でしょう)なのでこの上巻はカバーしません。この本はベイジアンの見方で統計学習とは別の流派です。この本で機械学習を学習するなら統計学習のこのリストは無意味で、統計学習の方向で学ぶならこの本は無意味です。自分がどちらの流派かでこの本か上のリストの本(1−4、特に7)かを決めましょう
|
わかりやすいパターン認識
石井 健一郎, 前田 英作, 上田 修功, 村瀬 洋
|