Google Developers Japan: TensorFlow

TFX パイプラインと ML Metadata でリサーチから本番環境に

2019年7月5日金曜日

この記事は Jarek Wilkiewicz による TensorFlow - Medium の記事 "From Research to Production with TFX Pipelines and ML Metadata" を元に翻訳・加筆したものです。詳しくは元記事をご覧ください。code { background-color: transparent }投稿者: Jarek Wilkiewicz （TFX チームを代表して）

長年にわたって発展を遂げシステム全体のコードのわずか 5% でしかありませんTFXライブラリTensorFlow Data ValidationTensorFlow TransformTensorFlow Model AnalysisTensorFlow Serving完全な TFX ML パイプラインを作成するために複数の既成 コンポーネントを使えるようになりそれらを調整Apache AirflowKubeflow

ML MetadataMLMDスタンドアロンライブラリ「TensorFlow Extended（TFX）: 機械学習パイプラインとモデルの理解」<a href="https://web.archive.org/web/20190727181448/https://medium.com/media/99f568796433c3481c76a0ebde7b81e2/href">https://medium.com/media/99f568796433c3481c76a0ebde7b81e2/href</a>TFX デベロッパーチュートリアルをお試しくださいStack OverflowGitHubtfx@tensorflow.org[1] Sculley, D., Gary Holt, Daniel Golovin, Eugene Davydov, Todd Phillips, Dietmar Ebner, Vinay Chaudhary, Michael Young, Jean-François Crespo and Dan Dennison. “Hidden Technical Debt in Machine Learning Systems.” NIPS (2015).[2] Tushar Chandra, “Sibyl: A System for Large Scale Machine Learning at Google”, IEEE DSN (Dependable Systems and Networks) conference keynote, Atlanta, GA, June 25th 2014. [3] Denis Baylor, Eric Breck, Heng-Tze Cheng, Noah Fiedel, Chuan Yu Foo, Zakaria Haque, Salem Haykal, Mustafa Ispir, Vihan Jain, Levent Koc, Chiu Yuen Koo, Lukasz Lew, Clemens Mewald, Akshay Naresh Modi, Neoklis Polyzotis, Sukriti Ramesh, Sudip Roy, Steven Euijong Whang, Martin Wicke, Jarek Wilkiewicz, Xin Zhang, and Martin Zinkevich. 2017. TFX: A TensorFlow-Based Production-Scale Machine Learning Platform. In Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD ‘17). ACM, New York, NY, USA, 1387–1395. DOI: https://doi.org/10.1145/3097983.3098021.Khanh LeViet - Developer Relations Team

TensorFlow モデル最適化ツールキット — Pruning API

2019年7月3日水曜日

この記事は TensorFlow - Medium の記事 "TensorFlow Model Optimization Toolkit — Pruning API" を元に翻訳・加筆したものです。詳しくは元記事をご覧ください。code { background-color: transparent } TensorFlow モデル最適化ツールキット — Pruning APIモデル最適化ツールキットロードマップ重みのプルーニング

GitHub リポジトリ<a href="https://web.archive.org/web/20190727181448/https://medium.com/media/d2b05459b56d9a4c385bb1fbf4736fac/href">https://medium.com/media/d2b05459b56d9a4c385bb1fbf4736fac/href</a> 重みのプルーニングとは重みのプルーニングが役立つ理由チュートリアルトレーニング後に量子化を行う今後TensorFlow Lite 各種モデルにおける結果

異なるモデルやタスクでの値をゼロにする割合（sparsity）とその結果。

動作の仕組みアルゴリズム

プルーニングを行わないテンソル（左）、1x1 のブロックでプルーニングを行ったテンソル（中央）、1x2 のブロックでプルーニングを行ったテンソル（右）の例。

プルーニングに使うランプアップ関数の例。ステップ 0 からステップ 100 までプルーニングを行うようにスケジューリングし、最終的に値をゼロにする割合を 90% とした場合。

チュートリアルドキュメント

テンソルにプルーニングを適用する様子を表したアニメーション。黒いセルは、ゼロでない重みが存在する場所を示す。トレーニングプロセスが進むにしたがって、値がゼロになる割合が増加する。

新しいドキュメントと GitHub リポジトリGitHub プロジェクトおよびリポジトリtensorflow.org/model_optimization謝辞: Raziel Alvarez、Pulkit Bhuwalka、Lawrence Chan、Alan Chiao、Tim Davis、Suyog Gupta、Jian Li、Yunlu Li、Sarah Sirajuddin、Daniel Situnayake、Suharsh Sivakumar
Khanh LeViet - Developer Relations Team

Google Developers ML Summit を 7 月 11 日に開催します。

2019年6月18日火曜日

Google Developers ML Summit

イベント概要TensorFlow User GroupGCPUGアジェンダ

10:30 AM 受付開始

11:00 AM - 12:00 PM キーノート

12:00 PM - 12:45 PM ランチ休憩ランチは会場でご用意いたします。

12:45 PM - 6:00 PM ブレイクアウトセッション

GCP ML / ML Kit を中心とした Cloud トラックと、TensorFlow トラックに分かれてセッションを行います。(各部屋の行き来は自由に行えます)

申込方法

本イベントへの申し込み、詳細につきましてはこちらのサイトをご覧ください。

※ 参加可能な方には後日参加証を送付いたします。

みなさまの参加をお待ちしております。

Takuo Suzuki - Developer Relations Team

TensorFlow Probability による構造時系列（STS）モデリング

2019年4月22日月曜日

この記事は Dave Moore、Jacob Burnim と TFP チームによる TensorFlow - Medium の記事 "Structural Time Series modeling in TensorFlow Probability" を元に翻訳・加筆したものです。詳しくは元記事をご覧ください。code { background-color: transparent }投稿者: Dave Moore、Jacob Burnim と TFP チーム

TensorFlow Probabilitytfp.sts 概要「予想とは難しいものだ。特に未来に関しては」 — Karl Kristian Steincke 構造時系列モデル

自己回帰プロセス

移動平均

ローカル線形トレンド

周期性

外部共変量（関心対象の時系列に関係する可能性がある他の時系列）に対する回帰と変数選択

例: CO2 濃度の予測

<a href="https://web.archive.org/web/20190727181448/https://medium.com/media/b72c9fa1a15fcffe2c2ac48761b75325/href">https://medium.com/media/b72c9fa1a15fcffe2c2ac48761b75325/href</a>

この例のコード例: 電気の需要予測https://github.com/robjhyndman/fpp2-package

<a href="https://web.archive.org/web/20190727181448/https://medium.com/media/a5b96322ddf96550cdada23445f62c21/href">https://medium.com/media/a5b96322ddf96550cdada23445f62c21/href</a>

この例のコード TensorFlow Probability STS ライブラリ

Autoregressive、LocalLinearTrend、SemiLocalLinearTread、LocalLevel: ランダムウォークやその他のプロセスにしたがって変化する大きさや傾きを持つ時系列のモデリング

Seasonal: 時間、曜日、月などの周期的要因に基づく時系列のモデリング

LinearRegression: 時間によって変化するその他の共変量に基づく時系列のモデリング。休日など個々の日付に固有の影響も表せる

変分推論ハミルトニアン・モンテカルロ法TFP ホームページtfprobability@tensorflow.org 参考文献The Annals of Applied Statistics9Forecasting, structural time series models and the Kalman filterKaz Sato - Staff Developer Advocate, Google Cloud

TensorFlow の自動混合精度で NVIDIA GPU の AI トレーニングを高速化

2019年4月16日火曜日

この記事は NVIDIA による TensorFlow - Medium の記事 "Automatic Mixed Precision in TensorFlow for Faster AI Training on NVIDIA GPUs" を元に翻訳・加筆したものです。詳しくは元記事をご覧ください。code { background-color: transparent }（NVIDIA によるゲスト投稿）

混合精度学習自動混合精度機能Tensor CoresNVIDIA NGC コンテナレジストリexport TF_ENABLE_AUTO_MIXED_PRECISION=1os.environ[‘TF_ENABLE_AUTO_MIXED_PRECISION’] = ‘1’

TensorFlow XLA コンパイラを有効にします（ただし XLA は現在のところ experimental 版としての提供になります）

ミニバッチのサイズを大きくします。これにより多くのケースで GPU の利用率が改善されます。混合精度を使うことで、ミニバッチのサイズを最大 2 倍に増やせます

このグラフの Speedup 軸は、単精度と自動混合精度（AMP）で一定数のエポックの学習するために必要な時間の比率を表します。各モデルのエポック数は、参考文献や一般的な慣習に合わせてあります（いずれの学習でも同じ精度を達成できました）。バッチサイズは次のように設定されています： rn50 (v1.5): FP32 で 128、AMP+XLA で 256。ssd-rn50-fpn-640: FP32 で 8、AMP+XLA で 16。ncf: FP32 および AMP+XLA でともに 1M。bert-squadqa: FP32 で 4、AMP+XLA で 10。gnmt: FP32 で 128、AMP で 192。すべてのモデルは、 https://github.com/NVIDIA/DeepLearningExamples/tree/master/TensorFlowで公開されています（ssd-rn50-fpn-640 は https://github.com/tensorflow/models/tree/master/research/object_detection ）。また性能値は 1xV100–16GB で計測しました（bert-squadqa のみ 1xV100–32GB を利用）。

使用可能な環境TensorFlow 19.03 NVIDIA NGC ContainerNVIDIA NGC モデルスクリプトレジストリGitHubTensorFlow フォーラムその他のリソース

NVIDIA GPU による自動混合精度

デベロッパーブログ: NVIDIA Tensor Core アーキテクチャのための TensorFlow 自動混合精度

NVIDIA GPU での Tensor Cores

Kaz Sato - Staff Developer Advocate, Google Cloud

Coral 開発ボード、Edge TPU、TensorFlow Lite を使って、オフラインで動作する AI を構築する

2019年4月12日金曜日

この記事は Daniel Situnayakeによる TensorFlow - Medium の記事 "Build AI that works offline with Coral Dev Board, Edge TPU, and TensorFlow Lite" を元に翻訳・加筆したものです。詳しくは元記事をご覧ください。code { background-color: transparent }投稿者: Daniel Situnayake（@dansitu、TensorFlow Lite デベロッパーアドボケート）

CoralEdge TPUTensorFlow Lite開発ボードUSB アクセラレータエッジで推論する

オフライン推論

スマートカメラで野生生物をモニタリングする

遅延を最小化する

ライブで音を合成する

プライバシーとセキュリティ

クラウドにデータを送らずにヘルス指標を分析する

パフォーマンス

* デスクトップ CPU: 64-bit Intel(R) Xeon(R) E5–1650 v4 @ 3.60GHz** 組み込み CPU: Quad-core Cortex-A53 @ 1.5GHz† 開発ボード: Quad-core Cortex-A53 @ 1.5GHz + Edge TPU Coral と TensorFlow Lite を使ってみるTensorFlow Lite トレーニング済みモデルトレーニング済み TensorFlow Lite モデルAPI デモスクリプトモデルを再トレーニングする既存のモデルを再トレーニングする独自の TensorFlow モデルを構築するEdge TPU 用の新規モデルを構築するモデル要件TensorFlow Lite ConverterEdge TPU Model Compiler 量子化と最適化トレーニング後の量子化<a href="https://web.archive.org/web/20190727181448/https://medium.com/media/820ebf2863702e51368b2118f791f623/href">https://medium.com/media/820ebf2863702e51368b2118f791f623/href</a> 次のステップ

Coral 端末は、coral.withgoogle.com で入手できます。

Edge TPU で TensorFlow モデルを実行する方法をご覧ください。

TensorFlow Lite について学習する

Khanh LeViet - Developer Relations Team

TensorFlow Probability で作る変分オートエンコーダ（VAE）

2019年4月10日水曜日

この記事は Ian Fischer、Alex Alemi、Joshua V. Dillon と TFP チームによる TensorFlow - Medium の記事 "Variational Autoencoders with Tensorflow Probability Layers" を元に翻訳・加筆したものです。詳しくは元記事をご覧ください。code { background-color: transparent }投稿者: Ian Fischer、Alex Alemi、Joshua V. Dillon と TFP チーム

発表されました TensorFlow ProbabilityKeras 変分オートエンコーダと ELBO変分オートエンコーダ協調フィルタリングイメージ圧縮強化学習音楽スケッチMNIST

サンプルとして、潜在表現 z を選びます。これは、事前確率分布 z ~ p(z) の中から選ばれます。これが、頭の中にある漠然とした図です。ここでは、「3」としましょう。

サンプルに基づき、実際の図としての表現 x を書きます。これは、自身を確率過程 x ~ p(x|z) としてモデリングしたものです。これにより、「3」を書くたびに少しずつ違ったものができる仕組みを表せます。

シグナルノイズ

p(z) - 潜在表現 z の事前確率

q(z|x) - 変分エンコーダ

p(x|z) - デコーダ — 潜在的表現 z が与えられた場合の画像 x の確率

px復元xzx KL ダイバージェンス 項ですz コード事前確率 p(z)変分エンコーダ q(z|x)デコーダ p(x|z)こちらの colab 事前確率

<a href="https://web.archive.org/web/20190727181448/https://medium.com/media/c2a4ec221f5d71a7babf5cfb2807f8a4/href">https://medium.com/media/c2a4ec221f5d71a7babf5cfb2807f8a4/href</a>z エンコーダ

<a href="https://web.archive.org/web/20190727181448/https://medium.com/media/6e497f1c3194c1a5fd01c6597758104a/href">https://medium.com/media/6e497f1c3194c1a5fd01c6597758104a/href</a>KL 項β-VAE デコーダ

<a href="https://web.archive.org/web/20190727181448/https://medium.com/media/48871b7fcb7e9be3f3db1f05719e37b5/href">https://medium.com/media/48871b7fcb7e9be3f3db1f05719e37b5/href</a> 損失関数

<a href="https://web.archive.org/web/20190727181448/https://medium.com/media/acb805a6628458423d1e93d0e969d248/href">https://medium.com/media/acb805a6628458423d1e93d0e969d248/href</a>

<a href="https://web.archive.org/web/20190727181448/https://medium.com/media/38497256890e4c3d5dcfc5bff817b008/href">https://medium.com/media/38497256890e4c3d5dcfc5bff817b008/href</a>xrv_xDistribution TFP の内側

<a href="https://web.archive.org/web/20190727181448/https://medium.com/media/3209b216d549e7d50f1b2f951cf07160/href">https://medium.com/media/3209b216d549e7d50f1b2f951cf07160/href</a> モデルの学習

<a href="https://web.archive.org/web/20190727181448/https://medium.com/media/e6cb66721c75f6cb903f0329f9724238/href">https://medium.com/media/e6cb66721c75f6cb903f0329f9724238/href</a>nat

MNIST テストセットのイメージをエンコードして生成したデコーダ最頻値

事前確率をサンプリングして生成したデコーダ最頻値

まとめKaz Sato - Staff Developer Advocate, Google Cloud

BodyPix の概要: ブラウザと TensorFlow.js によるリアルタイム人セグメンテーション

2019年4月3日水曜日

この記事は Dan Oved による TensorFlow - Medium の記事 "Introducing BodyPix: Real-time Person Segmentation in the Browser with TensorFlow.js" を元に翻訳・加筆したものです。詳しくは元記事をご覧ください。code { background-color: transparent }投稿者: Dan Oved（ニューヨーク大学 ITP 大学院生および研究員）、 Tyler Zhu（Google Research エンジニア）、編集: Irene Alvarado（Google Creative Lab クリエイティブテクノロジスト）

TensorFlow.jsBodyPix

こちら拡張現実（AR）写真の編集アート効果PoseNetさまざま種類ユースケースわずか数行のコードだけどんな基本的なウェブカメラやモバイルカメラでも動作します。計算はすべて端末上で行われるため、データのプライバシーは守られます。アーティストやクリエイティブなプログラマープログラミング初心者利用できるツール12Tyler ZhuTensorFlow.jsNikhil ThoratDaniel SmilkovDaniel ShiffmanGoogle Faculty Research Award BodyPix を使ってみる人の一部であるピクセルとそうでないピクセル24 の部位1 人パート 1: TensorFlow.js および BodyPix ライブラリのインポート

<a href="https://web.archive.org/web/20190727181448/https://medium.com/media/055598fd74c20633541c6c426299cceb/href">https://medium.com/media/055598fd74c20633541c6c426299cceb/href</a>

<a href="https://web.archive.org/web/20190727181448/https://medium.com/media/9c7342e4d42699dcafabb191b195e7a3/href">https://medium.com/media/9c7342e4d42699dcafabb191b195e7a3/href</a> パート 2a: 人のセグメンテーション

画像に人のセグメンテーションアルゴリズムを適用した例。イメージのクレジット: “Microsoft Coco:Common Objects in Context Dataset”、 http://cocodataset.org

estimatePersonSegmentation

<a href="https://web.archive.org/web/20190727181448/https://medium.com/media/9dd15d4bc1b4ca210e191f118153667b/href">https://medium.com/media/9dd15d4bc1b4ca210e191f118153667b/href</a>

<a href="https://web.archive.org/web/20190727181448/https://medium.com/media/d281cb2d9ea3ff2cabe27a78d676dada/href">https://medium.com/media/d281cb2d9ea3ff2cabe27a78d676dada/href</a>github の readme 人のセグメンテーションからの出力結果を描画するCanvas Compositing などのウェブ API を利用できることです。toMaskImageDatamaskBackground drawMask

<a href="https://web.archive.org/web/20190727181448/https://medium.com/media/c469225c35fb4dcadc219718906f1c58/href">https://medium.com/media/c469225c35fb4dcadc219718906f1c58/href</a>drawMask

上の最初の画像に対して estimatePersonSegmentation を実行し、その出力を toMaskImageData に渡すと、 ImageData が生成される。その際に、maskBackground を true にした場合（デフォルト）は上の 2 番目の画像のように、または maskBackground を false に設定した場合は 3 番目の画像のようになる。

このマスクは、 drawMask を使って画像上に描画できる。

パート 2b: 部位のセグメンテーション

画像に部位のセグメンテーションアルゴリズムを適用した例。画像のクレジット: “Microsoft Coco:Common Objects in Context Dataset”、 https://cocodataset.org.hb

24 の部位estimatePartSegmentation

<a href="https://web.archive.org/web/20190727181448/https://medium.com/media/5b6859a609a3e960bfb34943bd637f64/href">https://medium.com/media/5b6859a609a3e960bfb34943bd637f64/href</a>

<a href="https://web.archive.org/web/20190727181448/https://medium.com/media/0039e12da3d08ee894a60b98e6aff884/href">https://medium.com/media/0039e12da3d08ee894a60b98e6aff884/href</a>github の readme 部位のセグメンテーションからの出力結果を描画するtoColoredPartImageDatadrawMask

<a href="https://web.archive.org/web/20190727181448/https://medium.com/media/1bc07341e34923dfbc9dfe0508f5257e/href">https://medium.com/media/1bc07341e34923dfbc9dfe0508f5257e/href</a>

上の最初の画像に対して estimatePersonSegmentation を実行し、その出力とカラースケールを toColoredPartImageData に渡すと、上の 2 番目のような ImageData が生成される。キャンバスに、元の画像の上から不透明度 0.7 で色つきの部位の画像を描画することもできる。これを行うには、 drawMask を使用する。結果は、上の 3 番目の画像のようになる。

readme BodyPix の高速化と精度向上

モデルのサイズは、モデルを読み込む際に mobileNetMultiplier 引数で設定します。設定できる値は、0.25、0.50、0.75、1.00 のいずれかです。この値は、MobileNet のアーキテクチャとチェックポイントに対応します。値が大きいほど、各層のサイズが大きくなり、速度と引き替えにモデルの精度が向上します。小さな値を設定すると、精度と引き替えに速度が向上します。

出力ストライドは、セグメンテーションを実行する際に設定する引数で、設定できる値は 8、16、32 のいずれかです。大まかに言えば、これは姿勢の推定の精度と速度に影響します。出力ストライドの値を小さくすると、精度が上がりますが、速度は遅くなります。値を 大きく すると、予測時間は短くなりますが、精度は低くなります。

元のサイズ BodyPix ができるまで

入力画像から出力層まで、MobileNet の層ごとの活性化を示した例（説明の都合上、特徴マップのダウンサイジングは省略）

人のセグメンテーション

人の領域を分割するタスクを示した画像。これは、ピクセルごとの二分決定タスクと考えることができる。1 はピクセルが人の領域に属することを、0 はピクセルが人の領域に属さないことを示す（説明の都合上、セグメンテーションの解像度を落としている）。

画像に人のセグメンテーションアルゴリズムを適用した場合のデータ表現の例。左から右に: 入力画像、シグモイド後のネットワークのセグメンテーション予測、しきい値を適用した後のバイナリセグメンテーション。図: Ashley Jane Lewis。 画像のクレジット: “Microsoft Coco:Common Objects in Context Dataset”、 https://cocodataset.org

部位のセグメンテーション追加の 24 P24

部位の領域を分割するタスクを示す例。これは、ピクセルごとに 複数のチャンネル に対して行う二分決定タスクと考えることができる。各部位のチャンネルに対して、1 はピクセルがその部位の領域に属することを、0 は属さないことを示す（左から右に: 入力イメージ、顔の右側チャンネル、顔の左側チャンネル）。

入力画像から、24 の追加チャンネルの部位に関するセグメンテーション出力まで、MobileNet の層ごとの活性化を示した例（説明の都合上、特徴マップのダウンサイジングは省略）。

PPuPbody_part_id

24 チャンネルの部位のセグメンテーションと、人のセグメンテーションを組み合わせて、1 チャンネルの部位 ID 出力を生成する方法を示した例。図: Ashley Jane Lewis。 画像のクレジット: “Microsoft Coco:Common Objects in Context Dataset”、 https://cocodataset.org