26 captures
27 Jul 2019 - 02 Mar 2026
Jun
JUL
Aug
27
2018
2019
2020
success
fail
About this capture
COLLECTED BY
Collection:
Wikipedia Eventstream
TIMESTAMPS
The Wayback Machine - https://web.archive.org/web/20190727181500/https://developers-jp.googleblog.com/search/label/OpenAI
Local blog for Japanese speaking developers
ニューラルネットワークが「何を見ているか」を可視化する Activation Atlas
2019年3月28日木曜日
この記事は Shan Carter による Google AI Blog の記事 "
Exploring Neural Networks with Activation Atlases
" を元に翻訳・加筆したものです。詳しくは元記事をご覧ください。
投稿者: Google AI ソフトウェア エンジニア、Shan Carter
ニューラル ネットワークは、コンピュータによる画像処理における新しい
デファクト
スタンダードになりつつあります。写真ライブラリでの自動タグ付けから自律運転システムに至るまで、さまざまな用途に利用されるようになりました。しかし、こうして作られた機械学習システムのふるまいは自動化されたトレーニング プロセスの中で獲得されるため、個々の認識をニューラル ネットワークがどのように実行しているのか、少し謎に包まれた部分もあります。
先日、Google AI と
OpenAI
は 「
Activation Atlas でニューラル ネットワークを探索する
」という記事を公開しました。この記事では、画像認識用のニューラル ネットワークが入力された画像の何を「見て」いるのかという問いに答える新しい手法、Activation Atlas(活性化の地図)について説明しています。これは、畳み込みによる画像認識用ニューラルネットワーク(CNN)を可視化する新たな手法です。ネットワークの隠れ層で行われていることを人間が理解できるように表現でき、その全体を見たり、個々の階層を表示したりできます。この手法は、機械が学習した「画像の構成要素」を明らかにします。つまり、それらの組み合わせで複雑な画像表現を構成できる、それ以上分割できない基本要素が得られます。
また今回、Activation Atlas を誰でも試せる
Jupyter ノートブック
もリリースしました。
画像認識用ニューラルネットワーク Inception V1 の層の 1 つを Activation Atlas で表示した詳細イメージ。ネットワークが画像を分類するために、さまざまに異なる種類の画像検出を適用していことがわかる。たとえば、果物のような構造、ハチの巣状のパターン、織物のような質感など。
次に示す例は、
ImageNet
データセットでトレーニングした CNN である
Inception V1
に対して Activation Atlas を適用したものです。CNN では一般に、画像を受け取ってそれにラベルを付けます。具体的には、事前に決められている「
カルボナーラ
」「
シュノーケル
」「
フライパン
」といった 1,000 種類ほどのラベルをそれぞれの画像に付けておきます。これを行うために、ネットワークは 10 個ほどの層を使って画像データを段階的に評価していきます。それぞれの層は数百個のニューロンから成り、その個々のニューロンは画像のさまざまな部分に反応して活性化します。ある層のあるニューロンは犬の耳に反応したり、入力側の層のあるニューロンはコントラストの強い縦線に反応したりします。
Activation Atlas は、100 万枚の画像からニューラル ネットワークの各層の内部的な活性化状態を集めることで構築されています。この活性化状態は複雑な高次元ベクトルの集まりで表現されています。それを、
UMAP
でわかりやすい 2 次元のレイアウトに投影します。UMAP は、高次元データからその本質的な構造を取り出すための次元削減の技術です。
これで活性化ベクトルを整理できますが、すべての活性化状態を収集すると一目ではわからないほど膨大な数になるので、それを集約して実際に扱える程度に減らす必要があります。そこで、作成した 2 次元レイアウトの上にグリッドを描画します。グリッド内のそれぞれのセルで、セルの境界内にあるすべての活性化状態の平均を計算し、特徴の視覚化によって個々のセルを表す画像を作成します。
左:
ランダムな 100 万個のイメージをネットワークに入力し、画像ごとに空間的な活性化状態を 1 つ、ランダムに収集する。
中央:
活性化状態を UMAP に渡し、2 次元まで次元を減らす。その結果をプロットする。似たような活性化状態は互いに近くに配置される。
右:
グリッドを描画し、セルに対応する活性化状態の平均を計算して、平均化した活性化状態の特徴を反転させる。
下の図は、ニューラル ネットワークのある 1 つの層だけを Activation Atlas で表したものです(先に触れたように画像認識モデルは通常たくさんの層を備えます)。これは、ネットワークがこの層で学習した視覚的概念をすべて網羅する図です。こうした Activation Atlas による可視化の結果はあまりに膨大すぎて、見慣れないうちは意味がわからないかもしれません。このたくさんのさまざまな模様が、画像認識モデルが作り出したさまざまな視覚的抽象化と概念を反映しています。
Inception V1 の多くの層の 1 つ(mixed4c)を Activation Atlas で表現した概要図。ネットワークの中ほどに存在する層を表している。
この付近では、さまざまな種類の葉や植物を検出していることがわかる。
ここでは、さまざまな水域、湖、砂州を検出している。
ここには、さまざまな建物や橋がある。
前述のように、このネットワークには、ほかにもたくさんの層があります。ネットワークの奥に向かうにつれて概念が細分化されていくことを確かめるため、この層の前の層を見てみましょう(それぞれの層は、前の層の活性化を受けて活性化します)。
前の層である mixed4a には、漠然とした「哺乳類」の領域がある。
ネットワークの次の層の mixed4b では、動物と人が分かれ、その間には果物や食べものが現れている。
mixed4c 層では、以上のような概念がさらに細分化され、小さな「半島」状になって区別されている。
層を重ねるごとに全体的な構造が進化していきますが、個々の概念も具体的で複雑なものになっていくことがわかります。3 つの層について、具体的な分類項目である「キャベツ」に関係する領域に注目してみると、それがよくわかります。
左:
最初に近い層。ほかの層に比べると、具体性が低い。
中央:
中ほどの層では、明らかに葉のようなイメージだが、種類まではわからない。
右:
最後の層では、葉が球状に丸まっているキャベツ特有のイメージになっている。
もう 1 つ、注目すべき現象があります。層を重ねるごとに概念が細かくなっていくだけでなく、古い概念を組み合わせて新しい概念が現れているように見えます。
中ほどの層である mixed4c(左および中央)では、砂と水は別々の概念になっている。「砂州」という分類項目は、その両方と強く結びついている。その後の層である mixed5b(右)と比較すると、2 つの概念が 1 つの活性化状態として融合していると考えられる。
特定の層全体を表す Activation Atlas の特定の領域にズームすることもできますが、ImageNet の 1,000 の分類項目の 1 つに注目し、その特定の層の Activation Atlas を作ることもできます。これを見ると、ネットワークが特定の分類項目に分類する際に、特に頻繁に使っている概念とそれをどう探しているかがわかります。たとえば、「アカギツネ」の例を見てみましょう。
ここから、ネットワークが「アカギツネ」に分類する際に、何に注目しているかがよくわかる。耳がとがっていること、赤い毛で鼻の周りが白くなっていること、背景が森や雪であることがあげられる。
ここでは、さまざまな拡大率や角度の「瓦屋根」を検出している。
「アイベックス」では、角と茶色い毛皮を検出していることがわかる。それだけでなく、アイベックスがいる岩場などの環境も検出している。
瓦屋根の場合と同じく、「チョウセンアザミ」でもさまざまな大きさのチョウセンアザミの画像を検出している。それに加えて、紫色の花を検出している部分もある。チョウセンアザミの花を検出しようとしているものと考えられる。
このような Activation Atlas から、モデル内で細やかな視覚的抽象化が行われていることがわかります。それだけでなく、概念的なレベルの間違いが起きていることがわかる場合もあります。たとえば、「ホホジロザメ」の Activation Atlas を見てみると、水と三角形のひれが出てきます。これは予想どおりですが、野球ボールのようなものがあることもわかります。ここから、このモデルが覚えてしまった「近道」がわかります。つまり、野球ボールの赤い縫い目と、口を開けたホホジロザメを似ているものとして認識しています。
これをテストするため、野球ボールのイメージの一部を貼り付けてみると、モデルは「コククジラ」の特定のイメージを「ホホジロザメ」に分類するようになります。
この Activation Atlas が、機械学習をより身近で解釈しやすくする技術のひとつとして活用されることを期待しています。簡単に試せる
Jupyter ノートブック
をリリースしましたので、ブラウザで
Colab
を開き、1 回クリックするだけですぐに実行できます。Activation Atlas は、以前にリリースされたツール
Lucid
をベースとしており、わかりやすい視覚化を行うさまざまな技術を備えています。
Activation Atlas を使って皆さまが見つけた新しい発見の報告をお待ちしています。
Reviewed by
Kaz Sato - Staff Developer Advocate, Google Cloud
ラベル
.app
1
.dev
1
#DevFest16
1
#DevFest17
1
#DevFest18
1
#hack4jp
3
A/B Testing
1
A4A
4
Actions on Google
15
Activation Atlas
1
Addy Osmani
1
ADK
2
AdMob
31
Ads
39
Ads API
32
AdWords API
10
Agency
1
AI
10
AIY
3
AIY Vision Kit
2
ALPN
1
AMP
76
AMP Cache
5
AMP for Email
2
AMP Story
2
amp-bind
1
AMPHTML Ads
1
Analytics
9
Andorid
12
Android
334
Android Auto
1
Android Design Support Library
1
Android Developer Story
4
Android Developers
4
Android Enterprise
5
Android Go
1
Android Jetpack
3
Android N
18
Android O
13
Android P
7
Android Pay
1
Android Q
8
Android Security Year in Review
1
Android Studio
37
Android Support Library
5
Android Things
15
Android TV
10
Android Vitals
3
Android Wear
29
androidmarket
3
AndroidX
2
Angular
2
Angular 2
2
AngularJS
2
API
25
APIExpert
45
apk
2
app
3
App Action
1
app engine
23
App Indexing
7
App Invites
6
App Maker
2
AppCompat
2
Apps Script
11
aprilfool
4
AR
2
Architecture Components
6
ARCore
1
ArtTech
1
Associate Android Developer Certificate
1
Audio
7
Auth Code
1
Authentication
8
AuthSub
2
AutoML
1
Autotrack
2
award
1
Awareness API
1
Beacons
6
Better Ads Standards
1
BigQuery
9
Billing
1
BLE
4
Blink
1
Blockly
1
blogger
1
BodyPix
1
Brillo
1
Brotli
2
Budou
1
Calendar
3
Cardboard
4
Career
1
Case Study
1
Certificate
2
chrome
115
Chrome Custom Tab
2
Chrome Dev Summit
2
chrome extension
9
Chrome for Android
2
Chrome for iOS
2
Chrome OS
5
Chrome Tech Talk Night
4
Chromebook
3
Chromecast
7
chromewebstore
7
Chromium
5
CLI
1
ClientLogin
3
Closure Compiler
1
Cloud
21
Cloud Firestore
4
Cloud Functions
9
Cloud IoT Device SDK
1
Cloud Next
8
Cloud OnBoard
3
Cloud PubSub
1
Cloud Storage
1
Cloud Study Jams
3
Cloud Test Lab
2
Cloudflare
1
CNN
1
Coalition for Better Ads
1
CocoaPods
1
codejam
5
codelab
4
Colaboratory
1
Community
1
compute engine
3
Context
1
Cookie
1
Coral
2
Crash Reporting
2
Crashlytics
2
Dart
2
DataCenter
1
Daydream
4
Deep Learning
4
Demo Party
1
Design Sprint
3
DesignBytes
1
DevArt
3
DevBytes
6
Developer
14
Developer Console
4
Developer Preview
6
Developer Relations
2
DevFest
7
DevFestX
3
DevOps
1
devtools
4
Dialogflow
1
DirectShare
1
Domain
1
Doodle
1
DoubleClick
4
Doze モード
1
drive
2
Dynamic Links
3
EarlGrey
1
Easter Egg
1
ECMAScript 2015
1
Eddystone
4
egypt
1
Encryption
1
English
2
ES2015
1
ES2016
1
ES6
2
ES7
1
Featured
2
Firebase
115
Firebase Admin SDK
6
Firebase Analytics
10
Firebase Auth
4
Firebase Cloud Messaging
10
Firebase Crashlytics
2
Firebase Database
5
Firebase Libraries
1
Firebase Notifications
1
Firebase Performance
3
Firebase Remote Config
5
Flash
1
Flutter
6
font
3
fraud
1
G Suite
18
game
38
Game Developers Conference 2018
1
Game Developers Conference 2019
1
Gboard
1
GCP
9
GCPUG
1
GDD11JP
56
GDD2010JP
23
GDE
2
GDG
15
GDG Cloud
1
Geo
51
Gingerbread
1
GLIDE
5
Gmail
4
Gmail API
2
Go
1
golang
5
goo.gl
1
Google
5
Google Analytics
3
Google API
1
Google Apps
14
Google Apps Script
4
Google Assistant
8
Google Assistant SDK
1
Google Cast
8
Google Cloud
24
Google Cloud INSIDE Games & Apps
6
Google Cloud Messaging
11
Google Cloud Platform
11
Google Code-in
1
Google Developer Experts
2
Google Developers Academy
1
Google Developers live
5
Google Developers Summit
2
Google Drive
6
Google Earth
1
Google Fit
2
Google for Mobile
2
Google for Work
1
Google I/O
17
Google Impact Challenge
1
Google Maps
55
Google Maps Platform
4
Google Pay
1
Google Photo
1
Google Play
108
Google Play Console
8
Google Play Game Services
9
Google Play Instant
1
Google Play Services
22
Google Plus
14
Google Search
7
Google Sheets API
3
Google Sign-In
12
Google Slides API
5
Google Summer of Code
1
Google Tag Manager
1
Google Trust Services
1
Google マップ
4
Google+
2
Googleapps
10
GoogleGames
1
GoogleI/O
28
GoogleLabs
1
GooglePlay
1
GoogleTV
1
Gradle
1
gRPC
2
GTUG
5
GWT
2
hack4jp
2
hackathon
7
Hangouts Chat
2
Hosting
3
HTML5
17
HTML5Rocks
1
HTTP/2
5
HTTPS
11
I/O Extended
4
ID Token
1
Identity
14
Identity Toolkit
1
Ignite
4
IME
11
Indie Games Festival 2018
2
Indie Games Festival 2019
12
Inevitable ja Night
21
Instagram
1
Instant Apps
6
intern
2
Invites
1
IO19
3
iOS
20
IoT
6
IPv6
1
Issue Tracker
2
Japanese Input
1
JavaScript
7
Jetpack
1
K-12
1
Key Transparency
1
Knowledge Graph
1
Kotlin
8
l10n
8
LaunchPad
1
Lighthouse
1
LINE
1
Local AI
1
Lollipop
10
Machine Learning
20
Maker Faire Tokyo
1
Marshmallow
10
Material
1
Material Design
30
MDL
1
MDN
1
MIDI
2
ML Kit
10
Mobile
13
Mobile Bootcamp
4
Mobile Sites certification
1
Mobile Vision
4
mod_pagespeed
1
monetize
3
Mozc
15
Music
1
NativeDriver
2
NativeScript
1
NBU
1
ndk
3
Nearby
5
Next Extended
1
Next Tokyo
3
Nexus
2
Nexus S
1
NFC
1
Node.js
3
Noto CJK
1
NPAPI
2
NPN
1
oauth
11
OpenAI
1
OpenGL
4
OpenID
3
OpenID Connect
4
OpenSocial
1
opensource
17
Optimization
1
Payment
4
PEM
33
People API
2
Performance
12
Performance budget
1
PersonFinder
1
Physical Web
3
Pi
1
Place Picker
1
Play Billing Library
1
Player Analytics
4
Playtime 2017
1
Policy
4
Polymer
7
privacy
2
Progressive Web Apps
13
project hosting
1
Promise
1
Promo code
1
Protocol Buffers
1
PRPL
1
publicdata
1
Push API
1
Push Notification
3
PWA
2
Python
2
QUIC
1
QWIKLABS
3
RAIL
1
React
1
React Native
2
Realtime Database
9
Recap Live Japan 2019
3
reCaptcha
1
Redux
1
Remote Config
3
Remote Display API
1
Resonance Audio
1
Rewarded Video Ads
2
Runtime Permission
1
Safe Browsing
1
Sample Code
2
Santa Tracker
1
schema.org
1
secur
1
security
49
Service Worker
4
SHA-1
1
sketchup
1
SmartLock for Passwords
4
social
4
Social Good
1
Social Media
1
SPDY
3
speak2tweet
1
Spreadsheet
3
startup
5
Storage
2
story
1
streetview
3
Study Jams
5
Swift
2
SwiftShader
1
Symantec
1
Task
4
Team Drive
1
techtalk
12
TensorFlow
26
TensorFlow Federated
1
TensorFlow Lite
4
TensorFlow Object Detection API
1
TensorFlow Probability
2
TensorFlow.js
1
test
4
Test Lab
6
TFX
1
ToS
1
Transliteration
1
Twitter
1
Udacity
20
Unity
3
UX
4
V8
2
VP9
1
VR
11
Vulkan
2
Watch Face
2
wave
2
Wear OS
2
Weave
1
Web
21
Web Animations
1
Web Components
6
Web Manifest
1
Web Packaging
3
WebAssembly
4
WebGL
1
WebMusic
5
WebView
1
Women Techmakers Scholars Program
1
WTM
5
Xcode
1
YouTube
17
YouTube API
1
インタビュー
1
コードサンプル
1
プライバシー
1
言論の自由
1
節電
3
東日本大震災
9
日本語入力
41
ブログ アーカイブ
2019
7
6
5
4
3
2
1
2018
12
11
10
9
8
7
6
5
4
3
2
1
2017
12
11
10
9
8
7
6
5
4
3
2
1
2016
12
11
10
9
8
7
6
5
4
3
2
1
2015
12
11
10
9
8
7
6
5
4
3
2
2014
12
11
10
9
8
7
6
5
4
3
2
1
2013
12
11
10
9
8
7
6
5
4
3
2
1
2012
12
11
10
9
8
7
6
5
4
3
2
1
2011
12
11
10
9
8
7
6
5
4
3
2
1
2010
12
11
Feed
Follow @googledevjp
"プロダクトに関するご意見は
プロダクトフォーラム
にお願いします"