溜息日和

プログラミングとか機械学習とか統計力学とかいろいろ

Neuromorphic Silicon Photonics [arXiv:1611.02272v1]

本研究は光ニューラルネットワーク光集積回路にて構築する.ここで,ニューロン同士の接続はmicroring weight banks (MRR)によって構成する.本研究は,連続値神経モデルにおける分岐現象を再現し,1960倍の高速化を実証した.

INTRODUCTION

光情報処理という分野は昔からあったのだが,経済的側面から陽の目を見ることはなかった.シリコンフォトニクスの技術はこれまでのmicroelectronicsのプラットフォームを再利用した光デバイスであり,データセンタにおけるトランシーバーとして大変注目されている.シリコンフォトニクスを用いた情報処理システムは未だ多くないが,大規模集積回路と光回路の融合という新たなコンセプトが大変注目されている.

融合の一例として,複雑なダイナミクスを識別するリザーバーコンピューティングがあり,近年話題である.先行研究において,“broadcast-and-weight”と呼ばれる光ニューラルネットワークの構造が提案された.この構造では各ノードの出力には波長分割多重による固有波長が割り当てられ,他のノードへと伝播する.入力された波長分割信号は,MRRと呼ばれる再構成可能な連続値のフィルタによって,電力に応じた重み付けがなされ,一致する波長分割多重信号が調整される.

本研究では2-node 連続時間再帰ニューラルネット(CTRNN)を,”broadcast-and-weight”にて再現する.この結果は,シリコンフォトニックCTRNNがリアルタイム処理能力を持つことを示し,また,スペクトルマイニング,スペクトラムチャネル推定,アレイアンテナ制御,音声信号のノイズ低減,に適用することが可能であり,低消費電力化・広帯域化も夢ではないことを示す.加えて,CTRNNの派生であるHopfieldネットワークは,多くの情報処理に適用可能であり,最適化問題を解くことも可能であるなど,今後の拡張性についても議論する.

METHODS

作成したMRR重み付けネットの写真をFig. 2に示す.SiEPIC Ebeam rapid prototyping group を通じ,Washington Nanofabrication Facilityにて、シリコンオンインシュレータ(SOI)ウェーハ上にサンプルを製作した。Ti/Wフィラメントのオーム熱が,MRR重みにおける,thermo-optic共振波長シフトを生じさせる.回路は、温度が安定化されたアラインメントステージ上に取り付けられ、focusing subwavelength grating couplersを使用して9ファイバアレイに結合する.

broadcast STAR構造のネットワークは,4つの直径10umのMRR weight bank,2セットからなる.それぞれのMRR weight bankは先行研究に準じて校正されている.ユーザーは所望の重み行列を指定することができ,重みに対応する電流を計算し,NNに印加する.重み付けされたネットワークからの出力y_1(t)y_2(t)を用い,MZMにて電気的に波長λ_1λ_2へ重み付けを行う.ここで,MZMは活性化関数として機能する.第3の波長λ_3は,外部入力信号を搬送する.全ての光信号はAWGで合波され,broadcast STARに再帰する.ニューロンの状態s(t)は,ネットワークの出力電流の低周波成分をトランスインピーダンスアンプし,電圧で表現する.

CUSP BIFURCATION

分岐とは固定点の数と安定性が変化するような動的なシステムのことを指す.ここでは,pitch-fork分岐と言われる標準的な分岐現象を再現する.ここで,双安定状態やサドルポイントについての説明は割愛し,代表的な分岐現象の説明のみとする.

CTRNNモデルのダイナミクスは一般的に差分方程式にて記述される.
 \frac{d\vec{s}(t)}{dt}=\mathbf{W}\vec{y}(t)-\frac{\vec{s}(t)}{\tau}+\vec{w}_{in}x(t)
 \vec{y}(t)=\sigma ' [\vec{s}(t) ]
ここで, \vec{s}(t)は時間定数 \tauの状態変数, y(t)ニューロンの出力, \vec{w}_{in}は入力重み, x(t)は外部入力, \sigma 'は各ニューロンの活性化関数,である.今回の場合では,入出力のニューロン伝達関数は,E/OのMZMの伝達関数と同義であり,電気的な重み和を受け,新たな光信号を生成する.




Results

CUSP現象の解析的挙動とシリコンフォトニックニューロンを用いた実験での挙動は,双安定状態,ピッチフォーク,cusp分岐,の全てが良く一致した.外部信号,3kHzのデューティ比50%の三角波w_{11}=W_Fとなるようにノード1の帰還重みを調整した.回帰重みは0.05-0.85の間で500点観測し,観測はオシロスコープを用いて,入力信号,xs_1を観測した.ヒステリシスが起こる系なので赤(上),青(下)で示した.種々のパラメータは,解析的挙動に近くなるように調整した.

本実験から1ノードのニューラルモデルとシリコンフォトニックニューロンの同等性を示した.さらに重要なのは,単安定・双安定の遷移を再構成可能なMRR重みバンクで行えることである.しかしながら,入力信号・帰還重みが大きくなった時に,TIAのゆらぎと考えられる理想的でない,理論とのズレが存在する.

ここまでの,1ノードのニューラルモデルとの同等性の主張は,あくまでコントロール実験に過ぎない.
次章以降はマルチノードニューラルモデルのみで見られるような分岐現象を再現したい.

HOPF BIFURCATION

Results

SYSTEM DESIGN EXAMPLE

Photonic CTRNN Emulator

CPU Simulator

Benchmarking

CONCLUSION

ACNOWLEDGMENTS

広告を非表示にする