第 30 回人工知能学会全国大会「Web インテリジェンス」セッションにて発表した内容です。

1. 東京大学工学系研究科技術経営戦略学専攻松尾研究室
ウェブサイト最適化のためのバリエーション自動生成
システム
Variation Generation System for Automated Website Optimization
東京大学工学系研究科技術経営戦略学専攻
飯塚 修平・松尾 豊

2. 東京大学工学系研究科技術経営戦略学専攻松尾研究室
研究の背景：ウェブサイト最適化のインパクト
● ウェブサイト最適化：異なるバリエーションをユーザに表示して比較することで、
コンバージョン率を向上する手法（e.g. 商品の購入、ユーザ登録 etc.）
● 写真やテキストなど小さな要素が、コンバージョン率に大きな影響を与えることが知られている。
JOIN UP NOWSIGN UP NOW
LEARN MORESIGN UP
How Obama Raised $60 Million by Running a Simple Experiment https://blog.optimizely.com/2010/11/29/how-
obama-raised-60-million-by-running-a-simple-experiment/ より引用
+19%
+1%-2%
2008 年アメリカ大統領選挙におけるオバマ氏公式サイトでのウェブサイト最適化の例
Call-To-Action (CTA) ボタンを変えることによるユーザ登録率の変化

3. 東京大学工学系研究科技術経営戦略学専攻松尾研究室
研究の目的
● 問題意識：ウェブサイト最適化のためのバリエーションを自動で生成することはできないか？
○ 膨大な数のバリエーションから探索が可能になる。
○ ウェブページ一つ一つに対するウェブサイト最適化が可能になる。
● 本研究では、特に Call-To-Action (CTA) ボタンの自動生成に着目する。

4. 東京大学工学系研究科技術経営戦略学専攻松尾研究室
ウェブサイト最適化の関連研究
● 事前データを用いて KPI の
sensitivity を推定、探索が高速
な KPI を特定する [Deng 13]
● KPI の観測が遅延する問題に
着目した、代替 KPI による最適
化手法の提案 [飯塚 15]
● バンディットアルゴリズムによる
探索 [White 12]
● 組み合わせ構造を活かした、小
規模ウェブサイト向けの最適化
手法 [Iitsuka 15]
● パラメータをグループ化すること
による探索の効率化 [Tang 10]
バリエーションの生
成については十分に
研究が進められてい
ない。
① 探索 argmax ② 目的関数 (KPI) y ③ 解空間 x ∈ X
バリエーション
フィードバック
ユーザウェブサイト

5. 東京大学工学系研究科技術経営戦略学専攻松尾研究室
自然言語生成の関連研究
テンプレートベースアプローチ
● 画像から構造 <object, action, scene> を抽
出、テンプレートに流し込む文章生成
[Farhasid 10]
● オブジェクトの関係を表すネットワーク構造
からの文章生成 [Kulkarni 13]
候補文アプローチ
● 対話システムの研究でよく用いられる。
● 対話システムの返答に意味を持たせる試み
[柴田 03]
Deep Learning アプローチ
● LSTM を用いた文章生成 [Wen 15]
● LSTM を用いた画像からの文章生成 [Vinyals 15]
★ CTA のような、短い文章生成に向
いていると判断。

6. 東京大学工学系研究科技術経営戦略学専攻松尾研究室
提案手法の概観
● 事例ウェブサイトから、 CTA 候補を
生成する。
● ウェブサイトを、CTA でラベル付けさ
れた単語集合として表す。
● 特徴空間におけるコサイン距離を用
いた 1-nearst neighbor によって
CTA 候補を推定する。

7. 東京大学工学系研究科技術経営戦略学専攻松尾研究室
分析手法
● データセット
○ WACUL 株式会社が提供するウェブサイト分析ツール「 AI アナリスト」に登録された約 1,000
ウェブサイト。
○ そのうち 132 ウェブサイトから 376 種類の CTA ボタンを抽出することができた。
● コンテキストベクトルの生成
○ Mecab をウェブページに含まれるテキストに適用し、 Bag-of-Words にする。
○ 自立語以外はストップワードとして省く。
● 次元圧縮
○ 特異値分解 (SVD) を利用 (特徴数 k = 30)

8. 東京大学工学系研究科技術経営戦略学専攻松尾研究室
AI アナリスト について
● 国内数千のウェブサイトをクライアント
を持つウェブサイト分析ツール
● Google Analytics によって取得される
データを分析。
● ウェブサイト改善提案や異常検知を
提供する。
https://wacul-ai.com/

9. 東京大学工学系研究科技術経営戦略学専攻松尾研究室
CTA の抽出
● 一般的に、あるウェブページから CTA を抽出することは容易ではない。
● AI アナリストに登録されたウェブサイトは、 Google Analytics 上でゴールを設定している
→リファラを辿ることで、 CTA を推定することが可能。
GOALform.php
confirm
.php
thanks
.php
要 Cookie
CTA
リファラを用いた推定

10. 東京大学工学系研究科技術経営戦略学専攻松尾研究室
分析結果
ウェブサイトＡ：ウェブ広告プラットフォーム
CTA 候補 コサイン距離
お問い合わせ 0.083
サインアップ 0.090
サービスに関するお
問い合わせ
0.096
無料会員登録はこち
ら
0.099
無料登録はこちら 0.100
https://www.google.co.jp/adsense/

11. 東京大学工学系研究科技術経営戦略学専攻松尾研究室
分析結果
ウェブサイトＢ：家事代行サービス
CTA 候補 コサイン距離
会員登録（無料） 0.103
ログイン 0.110
お問い合わせ 0.114
無料おためし体験 0.116
資料請求 0.125
http://www.maestroservice.co.jp/

12. 東京大学工学系研究科技術経営戦略学専攻松尾研究室
分析結果
ウェブサイトＣ：ペット用品ＥＣ
CTA 候補 コサイン距離
カート 0.092
お問い合わせ 0.118
新規登録・ログイン 0.118
ログイン 0.126
オーダーフォーム 0.127
http://www.aeonpet.com/ec/

13. 東京大学工学系研究科技術経営戦略学専攻松尾研究室
評価実験
目的：提案手法によって、ウェブサイトにとって有用
な CTA を生成できることを評価する。
対象サイト：東京大学グローバル消費インテリジェン
ス寄付講座ウェブサイト
評価方法：比較手法（事例からの無作為選択）と提
案手法によって対象サイトの CTA 候補を生成して
スクリーンショットを撮影する。その後、 300 人の被
験者に２択アンケートを実施する。
東京大学グローバル消費インテリジェンス寄付講座
http://gci.t.u-tokyo.ac.jp
CTA

14. 東京大学工学系研究科技術経営戦略学専攻松尾研究室
アンケート項目
クラウドソーシングサービス「ランサーズ」を用いた
アンケート調査を実施。
# ボタンとして自然か？
質問１：ボタンをクリックした後に、どのような情報が表示されるか予
想できますか？
# ウェブサイトにマッチしているか？
質問２：ボタンに書かれていることは、このウェブサイトに対して自然
だと思いますか？
# 押したくなるような魅力があるか？
質問３：もしあなたがこのウェブサイトの利用者だとしたら、ボタンを
クリックしてみたいと思いますか？
アンケートのスクリーンショット

15. 東京大学工学系研究科技術経営戦略学専攻松尾研究室
実験結果
● 提案手法を用いることで、比較手法に比べて肯定意見の割合を増やすことができた。
● 提案手法は、上位により高得点の CTA を提案することができた。
比較手法
提案手法

16. 東京大学工学系研究科技術経営戦略学専攻松尾研究室
考察
● 事例となるウェブページからバリエーションを生成できる可能性が示唆された。
● スケーラビリティ：今後コーパスとなるウェブページを増やすためには、 GA データ無しで CTA を推定
することが求められる。
● 実用化にむけて
○ A/B テストの中でワークすること（＝コンバージョン率を向上できること）の検証
○ 意味合いまで考慮した CTA の生成
● 適用可能性
○ 画像を中心に構成されるサイトでも利用できるか？明確な目的がないサイトではどうか？
● 応用可能性
○ レイアウトや画像などの、その他の見た目要素
○ 機能の生成（コメント機能、投票機能 etc.）
○ 深層生成モデル、特に Variational Autoencoder の応用に注目しています。

17. 東京大学工学系研究科技術経営戦略学専攻松尾研究室
まとめ
● ウェブサイト最適化における、バリエーションの生成の問題に着目した。
● ウェブページを CTA ボタンによってラベル付けされた単語集合として表し、特徴空間におけるコサイ
ン類似度によって CTA ボタン候補を生成するシンプルな手法である。
● 分析の結果、ウェブサイトのカテゴリに応じた候補生成ができる可能性が示唆された。
また、アンケートによる評価実験の結果、ウェブサイトに応じた候補生成ができることがわかった。
● 今後、同様の手法を用いることで CTA 以外のウェブページ要素の候補生成も可能になると考えられ
る。