上のgithubを知っていれば，本を買う必要なし．けど，書き散らしたブログじゃなくて，ちゃんとまとめてくれているので助かる．

指数関数と対数関数を極力セットで使うPytorchのポリシーとか役立つ．

頭でっかちに理論だけ学んだ人間からすると，10,11章は，実際やってみるとこんな風になるのか，という気づきあり．BarchNormの論文て，ちょっとわかりづらいし，理解の手がかりになるかも．

誤差逆伝搬の式ぐらい出てきてもいいんじゃないかとは思った．

2022-01-05

2021年に読んだ本

ここまでが2021年中に読んだ本です。

計10冊。AI倫理学がらみがほとんどで、小説が3冊、エンジニアリング系が2冊。半数が帰任後の3か月で読んだもの。仕事がらみの読書がほとんどなので、英語圏にいて、日本語の本を経費で買うのは何となくもったいなくて…。Amazonで注文する場合でも、輸送費がかかるので、発注には勢いが必要だったのかなあ。

いくつか読みかけのものもあります。「ファスト＆スロー」とか。

2020年に読んだ本、というポストがないのに気づきましたが、実際は1冊しか読んでないのでほぼ意味なし。割愛とします。

今昔百鬼拾遺河童 (角川文庫)

2022年は倫理・哲学系、現実逃避のエンジニアリング系が中心になろうかと。図書館も活用できるので。

2022-01-05

ワークショップデザイン論第2版

www.amazon.co.jp

仕事の都合で、ワークショップってなにか、知ったかぶりができる必要がでてきたので、年末年始休みを使って読んだ。本当は、まったく興味がない。結局、同じことをやって、同じ結果を再現できないようなものは信用できない。というか、同じことを繰り返すことすらできないような代物なのだけど。

いいとこついていると思う箇所はいくつもあるし、主張が全部間違っていると言っているわけではない。だけど、そんなことは、独学する場合だって、ひらめきや理解に至るために、一人でシミュレーションしながら似たようなことをやっているわけだし。ワークショップ信奉者（意味なくワイガヤをよしとするような人種を揶揄してそう呼んでます。この著者はそれとは違う。今どこまでやれていて、ちゃんと限界を踏まえている）には、もっと自分で突き詰めろよ、と言いたい。「学び」とは、体系的な知識を獲得することであって、ワークショップの文脈では「学び」とは言わないで、ほかの言葉を使ってほしい。

この本自体は、使える本です。冒頭で言ったように「知ったかぶりができる」ための知識は獲得できたと思います。ありがとう。

2022-01-05

マルクス・ガブリエル危機の時代を語る (NHK出版新書) | 丸山俊一

マルクス・ガブリエル危機の時代を語る (NHK出版新書) | 俊一, 丸山, NHK「欲望の時代の哲学」制作班 |本 | 通販 | Amazon

社会倫理学講義を読了以降、哲学ってカントやマルクスのような理屈っぽい議論が何の意味があるのか少し見えたし、近年になっての応用倫理学の広がりや徳倫理学への揺り戻しで、身近なところでよい社会やよい生き方とは何かを議論するようになっているようで、興味がわいている。マルクス・ガブリエルの「なぜ世界は存在しないのか」は、ベストセラーになったと聞いたのだが、よい睡眠導入剤になってしまったので、ちょっとやさしめなところで、NHK出版新書の出番。図書館で借りてみた。

「哲学エライ！」みたいな言い分には反感しか覚えない。哲学がよい社会やよい生き方を導くとも思えない。だって、過去を振り返れば、却って害悪をなした歴史の積み重ねでは？なのになんでエライと言い張れるのか？「新しい実在論」とか言われても、それって、「新しい民主主義」が抽象的だと揶揄されるのと同じレベル（原著を読んでから批判しないといけないのだけど）。インタビューものだから、という点は差し引かないといけないが、狂人と天才は紙一重だなあというのが正直な感想。

個人的にはやっぱり、物理学と数学のコンビが学問の王だと思うのだけど。自然科学の独走が様々な問題を引き起こしたと非難するが、それだったら哲学だって同じなのは上述のとおりでしょ？良くも悪くも、社会を変える力があるのは自然科学であって、それ以外はその取り巻き。哲学が勝手に、ほかの学問は哲学の一部だと言いっているだけで、それはもう大昔の話。

以上、率直な感想でした。かといって、哲学への興味が失せたわけではない。毒にも薬にもならないものよりは、ずっと面白そうだから。

2021-12-13

Pythonで動かして学ぶ! Kaggleデータ分析入門 (AI & TECHNOLOGY) | 篠田裕之

www.amazon.co.jp

Pythonで動かして学ぶ！Kaggleデータ分析入門ダウンロード｜翔泳社の本 https://www.shoeisha.co.jp/book/download/9784798165233

Kaggeで勝つためのテクニックはあまり載っていない。

第2章

探索的データ分析(pandas profiling)
ハイパーパラメータ調整(GridSearch, Bayesian Optimization, Hyperopt, Optuna)

第3章

その他

Stanford University CS231n: Convolutional Neural Networks for Visual Recognition

Distinctive Image Features from Scale-Invariant Keypoints | SpringerLink

2021-12-05

BERTによる自然言語処理入門: Transformersを使った実践プログラミング

www.amazon.co.jp

1〜4章はBertに至るWord2Vec, ELMOの開設、Google ColaboratoryでHuggingface Transformersを使う準備、

5および10章は、事前学習モデルを使った例、

6〜9章は事前学習モデルをファインチューニングする。

2章

[3] CommonCrawl データセット http://commoncrawl.org/

[4] Tomas Mikolov, et. al, "Efficient Estimation of Word Representations in Vector Space", ICLR, 2013.

[7] Matthew E. Peters, et. al, "Deep contextualized word representations", NAACL, 2018.

3章

[1] Jacob Devlin, Ming-Wei Chang, Keton Lee, & Krstina Toutanava, "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding", NACACL-HLT, 2019.

[2] Ashish Vawani, et al. "Attention is All ou Need", NeurIPS 2017.

4章

https://colab.research.google.com

🤗 Transformers https://huggingface.co/docs/transformers/index

transformers · PyPI https://pypi.org/project/transformers/

GitHub - stockmarkteam/bert-book: 「BERTによる自然言語処理入門: Transformersを使った実践プログラミング」サポートページ https://github.com/stockmarkteam/bert-book/

6章　文章分類

livedoorニュースコーパス

出版物 - 株式会社ロンウイット https://www.rondhuit.com/publicity.html

7章　マルチラベル文章分類

GitHub - chakki-works/chABSA-dataset: chakki's Aspect-Based Sentiment Analysis dataset https://github.com/chakki-works/chABSA-dataset

8章　固有表現抽出