バッドデータハンドブック ―データにまつわる問題への19の処方箋

posted with amazlet at 14.02.08

Q. Ethan McCallum
オライリージャパン
売り上げランキング: 138,082

Amazon.co.jpで詳細を見る

前半(2〜6,12,13章)は分析のノウハウやテクニック、後半(7〜11,14〜19章)はさまざまな分野の実務という構成。後半は玉石混合。

+ 2章:
- Text::CVS
- ヒストグラムを集計する
- 回数-記事数の分布を集計する(推薦システムのログだとロングテールになる)
- はずれ値は僅かなら無視する
- 時系列データ分析で、週単位の値の変化を調べる際、はずれ値の影響を受けにくい中央値を使う
+ 3章:
- RのXLConnectライブラリの使いかた
+ 4章:
- 使えるPythonライブラリ
+ NLTK: パーサ、トークナイザ、ステマ、クラシファイア
+ BeautifulSoap: 不正な入力に寛容なHTML/XMLパーサ
+ gensim: トピックモデリング
+ jellyfish: 近似および音素文字列マッチング
+ 5章:
- オンラインのデータベース
+ LexisNexis
+ Yahoo! Finance
- 無償もしくは有償で使えるデータセット
+ Infochimps Data Marketplace
+ ScraperWiki
- 検索可能なインターフェースを供え、使いやすいフォーマットでデータを公開している政府系Webサイト
+ www.data.gov.uk
+ nycopendata.socrata.com
- robots.txtを遵守する
- BeautifulSoapの使いかた
- Firefox プラグイン Chickenfoot https://github.com/bolinfest/chickenfoot/
+ 6章:
- レビューの入手
+ CityGrid http://citygrid.com/
- NLTKの使いかた
+ movie_reviewsコーパス http://www.cs.cornell.edu/people/pabo/movie-review-data/
+ http://www.cs.cornell.edu/home/llee/papers/sentiment.pdf
+ 7,8,9,10,11章:
- データサイエンティスト(7,8)
- 株価データ分析の事例(9)
- 人口統計データ分析の事例(10)
- アカデミックな統計家からは否定されがちなプラクティカルなビッグデータ分析へのシフト
- データ発生プロセスへの留意
- 7章は特におもしろい、具体的
+ 12章:
- ファイルをデータベースとみなす。
+ シンプル、
+ 何にでも使える、
+ 何でも入れられる、
+ データ破壊が局所的、
+ すばらしいツールがある、
+ 導入コストがかからない
+ 13章:
- グラフデータ
+ Blueprints http://blueprints.tinkerpop.com
+ Gremlin http://gremlin.tinkerpop.com
+ http://gremlin.tinkerpop.com/Path-pattern
+ 16章:
- Kaggleの内情。機械学習コンペ用データの作りかた
- 二乗誤差よりもcapped binomial devarianceで評価
- http://scikit-learn.org/
+ 19章:
- データ品質の4C
+ 1. 完全である(Complete)
+ 2. 一貫している(Coherent)
+ 3. 正しい(Correct)
+ 4. 説明できる(aCountable)