Amazonがディープラーニングのライブラリ「DSSTNE」をオープンソースで公開。TensorFlowよりも約2倍高速と主張

2016年5月12日

Amazon.comはディープラーニングを実現するライブラリ「Amazon DSSTNE」(Deep Scalable Sparse Tensor Network Engineの頭文字、読みはデスティニー)をオープンソースで公開しました。

GitHub - amznlabs/amazon-dsstne: Deep Scalable Sparse Tensor Network Engine (DSSTNE) is an Amazon developed library for building Deep Learning (DL) machine learning (ML) models

DSSTNEは本番環境のワークロードに対応したライブラリで、以下の特長があります。

マルチGPUスケール
学習と予測のどちらも、複数のGPUにスケールアウトし、レイヤごとにモデル並列化の方法で(model-paralles fashion)コンピューテーションとストレージを展開する

大規模レイヤ
モデル並列化のスケーリングは単一GPUを上回る大規模ネットワークが可能に

スパースデータ(Sparse Data)
DSSTNEはスパースデータセット(値がまばらにしか存在しないようなデータ群)を高速に処理するよう最適化されている。カスタムGPUカーネルが、GPUでの計算をゼロ値で埋め尽くすことなく処理する。

なぜAmazonがディープラーニングのライブラリを構築したのか、その理由については、何百万人もの買い物をする顧客に対して、大量の商品から適切にレコメンデーションを行うにはニューラルネットワークが求められると説明しています。

また、ほかのライブラリとは異なり、DSSTNEは最初から学習データとしてスパースデータを扱うことを想定して開発されました。そのため、スパースデータでは他のライブラリより高速だとのことです。

DSSTNE is much faster than any other DL package (2.1x compared to TensorFlow in 1 g2.8xlarge) for problems involving sparse data, which includes recommendations problems and many natural language understanding (NLU) tasks. DSSTNE is also significantly better than other packages at using multiple GPUs in a single server.

DSSTNEはほかのディープラーニングパッケージよりもスパースデータに関する処理が高速(g2.8xlargeの1インスタンスにおいてTensorFlowよりも2.1倍)で、これはレコメンデーションおよび多くの自然言語を理解する処理に関して。また、単一サーバで複数GPUを用いた場合も、DSSTNEはほかのパッケージより格段に優れている
Amazon DSSTNE: Q&Aから)

DSSTNEのライセンスはApache 2.0。

あわせて読みたい

AWS 機械学習・AI




タグクラウド

クラウド
AWS / Azure / Google Cloud
クラウドネイティブ / サーバレス
クラウドのシェア / クラウドの障害

コンテナ型仮想化

プログラミング言語
JavaScript / Java / .NET
WebAssembly / Web標準
開発ツール / テスト・品質

アジャイル開発 / スクラム / DevOps

データベース / 機械学習・AI
RDB / NoSQL

ネットワーク / セキュリティ
HTTP / QUIC

OS / Windows / Linux / 仮想化
サーバ / ストレージ / ハードウェア

ITエンジニアの給与・年収 / 働き方

殿堂入り / おもしろ / 編集後記

全てのタグを見る

Blogger in Chief

photo of jniino

Junichi Niino(jniino)
IT系の雑誌編集者、オンラインメディア発行人を経て独立。2009年にPublickeyを開始しました。
詳しいプロフィール

Publickeyの新着情報をチェックしませんか?
Twitterで : @Publickey
Facebookで : Publickeyのページ
RSSリーダーで : Feed

最新記事10本