Researchat.fm

ゲストにkotoneさんを招き、ディープラーニング、機械学習とそのアルゴリズムや計算用マシンについて話しました。Show notes 機械学習 (Wikipedia) ディープラーニング(深層学習) (Wikipedia) ニューラルネットワーク (Wikipedia) パーセプトロン (Wikipedia) GPU (Wikipedia) ディープラーニング入門 Chainer チュートリアル 株式会社 Preferred Networks Chainer NVIDIA CUDA-X GPU-Accelerated Libraries for AI and HPC Preferred Networks、1024個のGPUでディープラーニングの世界最高速を実現と発表 NARUTO -ナルト- 疾風伝 ナルト全巻セット ImageNet…学習用の画像データセット 畳み込みニューラルネット(Wikipedia) THE MNIST DATABASE of handwritten digits…手書き文字認識用のデータセット 誤差逆伝播法 (Wikipedia)…バックプロパゲーション Data Parallelism VS Model Parallelism in Distributed Deep Learning Training…データ並列とモデル並列の違い Extremely Large Minibatch SGD: Training ResNet-50 on ImageNet in 15 Minutes (arXiv)…PFNが達成した超高効率データ並列学習 One weird trick for parallelizing convolutional neural networks (arXiv)…畳み込みニューラルネットワークのモデル並列化 Performance Analysis of a Pipelined Backpropagation Parallel Algorithm (IEEE)…パイプライン化による層並列化の検証 GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism (arXiv)…マイクロバッチパイプラ