17年上期に流れてきたDeep LearningとHardwareな記事

URLまとめブログ
アナログはあんまりまとめていません．
OGAWA, Tadashi (@ogawa_tter) | Twitter さんをフォローしましょう．

総論

• The current state of machine intelligence 3.0 - O'Reilly Media
• Hardware options for Machine/Deep Learning | MS&E 238 Blog
• Efficient Methods and Hardware for Deep Learning
• Deep Compression and EIE @2016
• Deep Compression and EIE @2015
• Ph.D. theme; Efficient Methods and Hardware for Deep Learning
• 激化する「AIチップ開発競争」と、その先にあるニューラルネットワークの未来図｜WIRED.jp
• ディープラーニングの車載応用に向けて
• Tutorial on Hardware Architectures for Deep Neural Networks
• https://qiita.com/HirofumiYashima/items/e6b5accae36f7ba478bc
• モデルアーキテクチャ観点からのDeep Neural Network高速化

TPU

• First In-Depth Look at Google’s TPU Architecture
• GoogleのAI開発を支えるディープラーニング専用プロセッサ「TPU」 - ISCA論文レビュー版から、その仕組みを読み解く (1) ニューラルネット需要を支えるために開発された専用チップ | マイナビニュース
• Google Cloud Platform Japan 公式ブログ: Google の Tensor Processing Unit (TPU) で機械学習が 30 倍速くなるメカニズム
• TPU論文の翻訳 (1)
• TPU論文の翻訳 (2)
• Hot Chips 29 - GoogleのAIを率いるJeff Dean氏が見据える未来とは (1) なぜニューラルネット/ディープラーニングが注目されるのか? | マイナビニュース

TPUv2

=>
Jeff Dean, Google, Keynote, Hot Chips, Aug 22 2017 https://t.co/E5VGlqiKFC
TPU2
Reducing Inference cost
Bigger, but..
"Learning to learn" pic.twitter.com/9d3QORYBGV

— OGAWA, Tadashi (@ogawa_tter) 2017年9月1日

Brainwave

• Microsoftがディープラーニングを超高速化するFPGAシステムBrainwaveをベンチマーク結果と共に発表 | TechCrunch Japan
• Brain wave hotchips2017
• Hot Chips 29 - FPGAを活用するMicrosoftの「Project BrainWave」 (1) 急速に進歩するマシンラーニングに適応しやすいFPGA | マイナビニュース

nVIDIA

• NVIDIA Deep Learning Accelerator
• NVIDIA TensorRT | NVIDIA Developer
• TensorRTをもっと高性能に使う

DeePhi

• Bandwidth-Centric Deep Learning Processing through Software-Hardware Co-Design
• Xilinx Invests in Machine Learning Pioneer DeePhi Tech

XPU

• Hot Chips 29 - Baidu(百度)のFPGAベースのアクセラレータ「XPU」 (1) BaiduがアクセラレータにFPGAを使う理由 | マイナビニュース

Amazon F1インスタンス

• Hot Chips 29 - FPGAが使えるAmazonのF1インスタンス | マイナビニュース
• FPGAX9 AWS F1 instance // Speaker Deck
• EC2 F1 Virtual JTAG
• GitHub - aws/aws-fpga: Official repository of the AWS EC2 FPGA Hardware and Software Development Kit
• シェルスクリプト を解析するチーム_20170708 - Google スライド

Movidius

• https://newsroom.intel.com/news/intel-democratizes-deep-learning-application-development-launch-movidius-neural-compute-stick/

モデル圧縮

• モデル圧縮
• 最近のスパースなニューラルネットワークについて - SmartNews Engineering Blog
• Compressing and regularizing deep neural networks - O'Reilly Media
• DSD: Dense-Sparse-Dense Trainingfor Deep Neural Networks

畳み込み

• Convolution処理の手法 Im2Col方式の図解 - Qiita
• Nested RNSを用いたディープニューラルネットワークのFPGA実装
• Convolutionのアルゴリズム // Speaker Deck
• Convolutionの数理とアルゴリズム // Speaker Deck
• CNNの高速化: Winograd's Minimal Filtering - Fixstars Tech Blog /proc/cpuinfo
• 畳み込みニューラルネットを高速化するためのいろいろ - SmartNews Engineering Blog
• 分解して高速化

量子化

• なにわTech20170218(tpu) tfug
• ニューラルネットワークの量子化についての最近の研究の進展と、その重要性 - SmartNews Engineering Blog
• Mixed-Precision Training of Deep Neural Networks | NVIDIA Developer Blog

バイナリネット

• バイナリニューラルネットとハードウェアの関係
• 2値ディープニューラルネットワークと組込み機器への応用: 開発中のツール紹介
• ２値化CNN on FPGAでGPUとガチンコバトル（公開版）
• Tensor flow usergroup 2016 (公開版)
• Binary Neural Networkのweight分析 | LeapMind BLOG
• 社内勉強会シリーズ第1回 2016年9月15日 | LeapMind BLOG

• Binary & Almost Binary Networks (1/n)
  Binarized NNs, Mar 17 2016 https://t.co/KIMcABfDE5
  *) v1: BinaryNet
  XNOR-Net https://t.co/2mVic4MR1G

  — OGAWA, Tadashi (@ogawa_tter) 2016年12月3日

FPGA実装

• (公開版)Reconf研2017GUINNESS
• (公開版)FPGAエクストリームコンピューティング2017
• FPGAでDeep Learningしてみる - Qiita
• Abstracts of FPGA2017 papers (Temporary Version)
• BNN-PYNQを理解する(1) FAQ - tkato’s blog
• Real-time Computer Vision in Software using Custom Vector Overlays
• CaffePresson - An Optimized Library for Deep Learning on Embedded Accelerator-Based Platforms
• Neural Networks on Embedded FPGA-based Socs
• Building Large Systems with Neural Networks
• Programming with Neurons
• Neuons and FPGAs

ラズパイ実装

• Using Raspberry Pi GPU for DNN
• Pine64を10台でクラスタ組んで、Celeryで分散基盤を使って効率的に機械学習する - にほんごのれんしゅう
• エッジで安価にディープラーニング活用、Ideinが1.8億円を調達 | TechCrunch Japan

• SqueezeNet程度の大きさだとRaspberry Pi 3のGPGPUではこんな感じ．RasPiにカメラモジュールとディスプレイ付けて撮像&1000クラス識別結果Top5を描画．もちろん計算資源はRasPi上で完結させておりネットワーク通信等による外部リソースの利用は無し． pic.twitter.com/MZMdEk9TDV

  — Noriyuki OHKAWA (@notogawa) 2017年8月8日

アナログ

• プレスリリース | AIの重要課題である強化学習をレーザーカオスを用いて超高速に実現 | NICT-情報通信研究機構
• MIT、従来の「電子チップ」ではなく「光チップ」を使用することで機械学習の速度と効率を大幅に向上させたアプローチを発表 | Seamless

その他

• 深層学習の認識タスクにおいて、データ量を増やすと精度がどの程度向上するか - 緑茶思考ブログ
• Global optimality in neural network training
• TensorFlow XLA とハードウェア
• CNN最適化の制御式を生成するRNNの論文を読む - mabonki0725の日記
• ウェブブラウザ向け深層学習モデル高速実行フレームワーク「WebDNN」 // Speaker Deck
• 機械学習を用いた異常検知システム、NIがデモ - EE Times Japan
• 特異スペクトル変換法による時系列データの異常検知（Python） - Fire Engine
• Implementing Hilbert transform for Digital Signal Processing on epiphany many-core coprocessor - IEEE Conference Publication

arXiv

• [1705.06963] A Survey of Neuromorphic Computing and Neural Networks in Hardware
• [1703.03073] Deep Convolutional Neural Network Inference with Floating-point Weights and Fixed-point Activations
• [1703.04135] Hardware-Driven Nonlinear Activation for Stochastic Computing Based Deep Convolutional Neural Networks
• [1602.01528] EIE: Efficient Inference Engine on Compressed Deep Neural Network
• [1706.06197] meProp: Sparsified Back Propagation for Accelerated Deep Learning with Reduced Overfitting
• [1706.07853] Loom: Exploiting Weight and Activation Precisions to Accelerate Convolutional Neural Networks
• [1704.04861] MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications