Soumettre la recherche
Mettre en ligne
データ利活用を促進するメタデータ
•
Télécharger en tant que PPTX, PDF
•
11 j'aime
•
6,602 vues
Yahoo!デベロッパーネットワーク
Suivre
ヤフーのメタデータ可視化の取り組みについて紹介します。メタデータを3つのlayerに分類してそれぞれの課題と対応について説明します
Lire moins
Lire la suite
Technologie
Affichage du diaporama
Signaler
Partager
Affichage du diaporama
Signaler
Partager
1 sur 40
Télécharger maintenant
Recommandé
リクルートを支える横断データ基盤と機械学習の適用事例
リクルートを支える横断データ基盤と機械学習の適用事例
Tetsutaro Watanabe
データ分析基盤について
データ分析基盤について
Yuta Inamura
Yahoo! JAPANのデータ基盤とHadoop #dbts2016
Yahoo! JAPANのデータ基盤とHadoop #dbts2016
Yahoo!デベロッパーネットワーク
Data platformdesign
Data platformdesign
Ryoma Nagata
継続的なモデルモニタリングを実現するKubernetes Operator
継続的なモデルモニタリングを実現するKubernetes Operator
Yahoo!デベロッパーネットワーク
AWSで作る分析基盤
AWSで作る分析基盤
Yu Otsubo
MonotaRO のデータ活用と基盤の過去、現在、未来
MonotaRO のデータ活用と基盤の過去、現在、未来
株式会社MonotaRO Tech Team
分析指向データレイク実現の次の一手 ~Delta Lake、なにそれおいしいの?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
分析指向データレイク実現の次の一手 ~Delta Lake、なにそれおいしいの?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
NTT DATA Technology & Innovation
Recommandé
リクルートを支える横断データ基盤と機械学習の適用事例
リクルートを支える横断データ基盤と機械学習の適用事例
Tetsutaro Watanabe
データ分析基盤について
データ分析基盤について
Yuta Inamura
Yahoo! JAPANのデータ基盤とHadoop #dbts2016
Yahoo! JAPANのデータ基盤とHadoop #dbts2016
Yahoo!デベロッパーネットワーク
Data platformdesign
Data platformdesign
Ryoma Nagata
継続的なモデルモニタリングを実現するKubernetes Operator
継続的なモデルモニタリングを実現するKubernetes Operator
Yahoo!デベロッパーネットワーク
AWSで作る分析基盤
AWSで作る分析基盤
Yu Otsubo
MonotaRO のデータ活用と基盤の過去、現在、未来
MonotaRO のデータ活用と基盤の過去、現在、未来
株式会社MonotaRO Tech Team
分析指向データレイク実現の次の一手 ~Delta Lake、なにそれおいしいの?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
分析指向データレイク実現の次の一手 ~Delta Lake、なにそれおいしいの?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
NTT DATA Technology & Innovation
ビッグデータ処理データベースの全体像と使い分け 2018年version
ビッグデータ処理データベースの全体像と使い分け 2018年version
Tetsutaro Watanabe
Big Data Architecture 全体概要
Big Data Architecture 全体概要
Knowledge & Experience
MLOpsの概要と初学者が気をつけたほうが良いこと
MLOpsの概要と初学者が気をつけたほうが良いこと
Sho Tanaka
大量のデータ処理や分析に使えるOSS Apache Spark入門(Open Source Conference 2021 Online/Kyoto 発表資料)
大量のデータ処理や分析に使えるOSS Apache Spark入門(Open Source Conference 2021 Online/Kyoto 発表資料)
NTT DATA Technology & Innovation
クラウドDWHにおける観点とAzure Synapse Analyticsの対応
クラウドDWHにおける観点とAzure Synapse Analyticsの対応
Ryoma Nagata
データ分析を支える技術 データ分析基盤再入門
データ分析を支える技術 データ分析基盤再入門
Satoru Ishikawa
データ活用を俊敏に進めるためのDataOps実践方法とその高度化のためのナレッジグラフ活用の取り組み(NTTデータ テクノロジーカンファレンス 2020 ...
データ活用を俊敏に進めるためのDataOps実践方法とその高度化のためのナレッジグラフ活用の取り組み(NTTデータ テクノロジーカンファレンス 2020 ...
NTT DATA Technology & Innovation
DMBOKをベースにしたデータマネジメント
DMBOKをベースにしたデータマネジメント
Kent Ishizawa
データ基盤の従来~最新の考え方とSynapse Analyticsでの実現
データ基盤の従来~最新の考え方とSynapse Analyticsでの実現
Ryoma Nagata
先駆者に学ぶ MLOpsの実際
先駆者に学ぶ MLOpsの実際
Tetsutaro Watanabe
ちょっと理解に自信がないなという皆さまに贈るHadoop/Sparkのキホン (IBM Datapalooza Tokyo 2016講演資料)
ちょっと理解に自信がないなという皆さまに贈るHadoop/Sparkのキホン (IBM Datapalooza Tokyo 2016講演資料)
hamaken
ChatGPTは思ったほど賢くない
ChatGPTは思ったほど賢くない
Carnot Inc.
20210127 今日から始めるイベントドリブンアーキテクチャ AWS Expert Online #13
20210127 今日から始めるイベントドリブンアーキテクチャ AWS Expert Online #13
Amazon Web Services Japan
データ収集の基本と「JapanTaxi」アプリにおける実践例
データ収集の基本と「JapanTaxi」アプリにおける実践例
Tetsutaro Watanabe
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
NTT DATA OSS Professional Services
Dapr × Kubernetes ではじめるポータブルなマイクロサービス(CloudNative Days Tokyo 2020講演資料)
Dapr × Kubernetes ではじめるポータブルなマイクロサービス(CloudNative Days Tokyo 2020講演資料)
NTT DATA Technology & Innovation
[丸ノ内アナリティクスバンビーノ#23]データドリブン施策によるサービス品質向上の取り組み
[丸ノ内アナリティクスバンビーノ#23]データドリブン施策によるサービス品質向上の取り組み
Teruyuki Sakaue
ポスト・ラムダアーキテクチャの切り札? Apache Hudi(NTTデータ テクノロジーカンファレンス 2020 発表資料)
ポスト・ラムダアーキテクチャの切り札? Apache Hudi(NTTデータ テクノロジーカンファレンス 2020 発表資料)
NTT DATA Technology & Innovation
AWSのログ管理ベストプラクティス
AWSのログ管理ベストプラクティス
Akihiro Kuwano
データ分析を支える技術 DWH再入門
データ分析を支える技術 DWH再入門
Satoru Ishikawa
決済金融から始めるデータドリブンカンパニー #yjmu
決済金融から始めるデータドリブンカンパニー #yjmu
Yahoo!デベロッパーネットワーク
Linked Dataとオントロジーによるセマンティック技術の実際
Linked Dataとオントロジーによるセマンティック技術の実際
Kouji Kozaki
Contenu connexe
Tendances
ビッグデータ処理データベースの全体像と使い分け 2018年version
ビッグデータ処理データベースの全体像と使い分け 2018年version
Tetsutaro Watanabe
Big Data Architecture 全体概要
Big Data Architecture 全体概要
Knowledge & Experience
MLOpsの概要と初学者が気をつけたほうが良いこと
MLOpsの概要と初学者が気をつけたほうが良いこと
Sho Tanaka
大量のデータ処理や分析に使えるOSS Apache Spark入門(Open Source Conference 2021 Online/Kyoto 発表資料)
大量のデータ処理や分析に使えるOSS Apache Spark入門(Open Source Conference 2021 Online/Kyoto 発表資料)
NTT DATA Technology & Innovation
クラウドDWHにおける観点とAzure Synapse Analyticsの対応
クラウドDWHにおける観点とAzure Synapse Analyticsの対応
Ryoma Nagata
データ分析を支える技術 データ分析基盤再入門
データ分析を支える技術 データ分析基盤再入門
Satoru Ishikawa
データ活用を俊敏に進めるためのDataOps実践方法とその高度化のためのナレッジグラフ活用の取り組み(NTTデータ テクノロジーカンファレンス 2020 ...
データ活用を俊敏に進めるためのDataOps実践方法とその高度化のためのナレッジグラフ活用の取り組み(NTTデータ テクノロジーカンファレンス 2020 ...
NTT DATA Technology & Innovation
DMBOKをベースにしたデータマネジメント
DMBOKをベースにしたデータマネジメント
Kent Ishizawa
データ基盤の従来~最新の考え方とSynapse Analyticsでの実現
データ基盤の従来~最新の考え方とSynapse Analyticsでの実現
Ryoma Nagata
先駆者に学ぶ MLOpsの実際
先駆者に学ぶ MLOpsの実際
Tetsutaro Watanabe
ちょっと理解に自信がないなという皆さまに贈るHadoop/Sparkのキホン (IBM Datapalooza Tokyo 2016講演資料)
ちょっと理解に自信がないなという皆さまに贈るHadoop/Sparkのキホン (IBM Datapalooza Tokyo 2016講演資料)
hamaken
ChatGPTは思ったほど賢くない
ChatGPTは思ったほど賢くない
Carnot Inc.
20210127 今日から始めるイベントドリブンアーキテクチャ AWS Expert Online #13
20210127 今日から始めるイベントドリブンアーキテクチャ AWS Expert Online #13
Amazon Web Services Japan
データ収集の基本と「JapanTaxi」アプリにおける実践例
データ収集の基本と「JapanTaxi」アプリにおける実践例
Tetsutaro Watanabe
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
NTT DATA OSS Professional Services
Dapr × Kubernetes ではじめるポータブルなマイクロサービス(CloudNative Days Tokyo 2020講演資料)
Dapr × Kubernetes ではじめるポータブルなマイクロサービス(CloudNative Days Tokyo 2020講演資料)
NTT DATA Technology & Innovation
[丸ノ内アナリティクスバンビーノ#23]データドリブン施策によるサービス品質向上の取り組み
[丸ノ内アナリティクスバンビーノ#23]データドリブン施策によるサービス品質向上の取り組み
Teruyuki Sakaue
ポスト・ラムダアーキテクチャの切り札? Apache Hudi(NTTデータ テクノロジーカンファレンス 2020 発表資料)
ポスト・ラムダアーキテクチャの切り札? Apache Hudi(NTTデータ テクノロジーカンファレンス 2020 発表資料)
NTT DATA Technology & Innovation
AWSのログ管理ベストプラクティス
AWSのログ管理ベストプラクティス
Akihiro Kuwano
データ分析を支える技術 DWH再入門
データ分析を支える技術 DWH再入門
Satoru Ishikawa
Tendances
(20)
ビッグデータ処理データベースの全体像と使い分け 2018年version
ビッグデータ処理データベースの全体像と使い分け 2018年version
Big Data Architecture 全体概要
Big Data Architecture 全体概要
MLOpsの概要と初学者が気をつけたほうが良いこと
MLOpsの概要と初学者が気をつけたほうが良いこと
大量のデータ処理や分析に使えるOSS Apache Spark入門(Open Source Conference 2021 Online/Kyoto 発表資料)
大量のデータ処理や分析に使えるOSS Apache Spark入門(Open Source Conference 2021 Online/Kyoto 発表資料)
クラウドDWHにおける観点とAzure Synapse Analyticsの対応
クラウドDWHにおける観点とAzure Synapse Analyticsの対応
データ分析を支える技術 データ分析基盤再入門
データ分析を支える技術 データ分析基盤再入門
データ活用を俊敏に進めるためのDataOps実践方法とその高度化のためのナレッジグラフ活用の取り組み(NTTデータ テクノロジーカンファレンス 2020 ...
データ活用を俊敏に進めるためのDataOps実践方法とその高度化のためのナレッジグラフ活用の取り組み(NTTデータ テクノロジーカンファレンス 2020 ...
DMBOKをベースにしたデータマネジメント
DMBOKをベースにしたデータマネジメント
データ基盤の従来~最新の考え方とSynapse Analyticsでの実現
データ基盤の従来~最新の考え方とSynapse Analyticsでの実現
先駆者に学ぶ MLOpsの実際
先駆者に学ぶ MLOpsの実際
ちょっと理解に自信がないなという皆さまに贈るHadoop/Sparkのキホン (IBM Datapalooza Tokyo 2016講演資料)
ちょっと理解に自信がないなという皆さまに贈るHadoop/Sparkのキホン (IBM Datapalooza Tokyo 2016講演資料)
ChatGPTは思ったほど賢くない
ChatGPTは思ったほど賢くない
20210127 今日から始めるイベントドリブンアーキテクチャ AWS Expert Online #13
20210127 今日から始めるイベントドリブンアーキテクチャ AWS Expert Online #13
データ収集の基本と「JapanTaxi」アプリにおける実践例
データ収集の基本と「JapanTaxi」アプリにおける実践例
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
Dapr × Kubernetes ではじめるポータブルなマイクロサービス(CloudNative Days Tokyo 2020講演資料)
Dapr × Kubernetes ではじめるポータブルなマイクロサービス(CloudNative Days Tokyo 2020講演資料)
[丸ノ内アナリティクスバンビーノ#23]データドリブン施策によるサービス品質向上の取り組み
[丸ノ内アナリティクスバンビーノ#23]データドリブン施策によるサービス品質向上の取り組み
ポスト・ラムダアーキテクチャの切り札? Apache Hudi(NTTデータ テクノロジーカンファレンス 2020 発表資料)
ポスト・ラムダアーキテクチャの切り札? Apache Hudi(NTTデータ テクノロジーカンファレンス 2020 発表資料)
AWSのログ管理ベストプラクティス
AWSのログ管理ベストプラクティス
データ分析を支える技術 DWH再入門
データ分析を支える技術 DWH再入門
En vedette
決済金融から始めるデータドリブンカンパニー #yjmu
決済金融から始めるデータドリブンカンパニー #yjmu
Yahoo!デベロッパーネットワーク
Linked Dataとオントロジーによるセマンティック技術の実際
Linked Dataとオントロジーによるセマンティック技術の実際
Kouji Kozaki
第4回 NIPS+読み会・関西 発表資料 山本
第4回 NIPS+読み会・関西 発表資料 山本
Yahoo!デベロッパーネットワーク
JavaOne2017参加報告 Microservices topic & approach #jjug
JavaOne2017参加報告 Microservices topic & approach #jjug
Yahoo!デベロッパーネットワーク
Cassandra: Now and the Future @ Yahoo! JAPAN
Cassandra: Now and the Future @ Yahoo! JAPAN
Yahoo!デベロッパーネットワーク
ICML2017 参加報告会 山本康生
ICML2017 参加報告会 山本康生
Yahoo!デベロッパーネットワーク
データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み
データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み
Yahoo!デベロッパーネットワーク
#ibis2017 Description: IBIS2017の企画セッションでの発表資料
#ibis2017 Description: IBIS2017の企画セッションでの発表資料
Yahoo!デベロッパーネットワーク
En vedette
(8)
決済金融から始めるデータドリブンカンパニー #yjmu
決済金融から始めるデータドリブンカンパニー #yjmu
Linked Dataとオントロジーによるセマンティック技術の実際
Linked Dataとオントロジーによるセマンティック技術の実際
第4回 NIPS+読み会・関西 発表資料 山本
第4回 NIPS+読み会・関西 発表資料 山本
JavaOne2017参加報告 Microservices topic & approach #jjug
JavaOne2017参加報告 Microservices topic & approach #jjug
Cassandra: Now and the Future @ Yahoo! JAPAN
Cassandra: Now and the Future @ Yahoo! JAPAN
ICML2017 参加報告会 山本康生
ICML2017 参加報告会 山本康生
データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み
データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み
#ibis2017 Description: IBIS2017の企画セッションでの発表資料
#ibis2017 Description: IBIS2017の企画セッションでの発表資料
Similaire à データ利活用を促進するメタデータ
Investment in Yahoo! JAPAN's dataplatform and business growth by big data
Investment in Yahoo! JAPAN's dataplatform and business growth by big data
DataWorks Summit/Hadoop Summit
「Data Infrastructure at Scale 」#yjdsw4
「Data Infrastructure at Scale 」#yjdsw4
Yahoo!デベロッパーネットワーク
kukai: 省エネ世界2位のディープラーニング・スパコン
kukai: 省エネ世界2位のディープラーニング・スパコン
Yahoo!デベロッパーネットワーク
売上に効くデータ組織~データから売上や利益を作るために何をしているか~
売上に効くデータ組織~データから売上や利益を作るために何をしているか~
Recruit Lifestyle Co., Ltd.
データサイエンスセミナー 【found IT project #8】
データサイエンスセミナー 【found IT project #8】
Tetsuya Yoshida
アサヒのデータ活用基盤を支えるデータ仮想化技術
アサヒのデータ活用基盤を支えるデータ仮想化技術
Denodo
データの見える化で進めるデータドリブンカンパニー #devsumiC
データの見える化で進めるデータドリブンカンパニー #devsumiC
Yahoo!デベロッパーネットワーク
データサイエンスを支える基盤とそのテクノロジー@WebDBフォーラム2015 #webdbf2015
データサイエンスを支える基盤とそのテクノロジー@WebDBフォーラム2015 #webdbf2015
Yahoo!デベロッパーネットワーク
Markezine day 2012 gdo nakazawa
Markezine day 2012 gdo nakazawa
Shinya Nakazawa
※サンプル マーケティング目標を明確化するサイエンス【確率モデルで戦略仮説】
※サンプル マーケティング目標を明確化するサイエンス【確率モデルで戦略仮説】
貴史 小川
※サンプル マーケティング目標を明確化するサイエンス【統計モデルで効果検証】
※サンプル マーケティング目標を明確化するサイエンス【統計モデルで効果検証】
貴史 小川
楽天のデータサイエンス/AIによるビッグデータ活用
楽天のデータサイエンス/AIによるビッグデータ活用
Rakuten Group, Inc.
Yahoo! JAPANを支えるビッグデータプラットフォーム技術
Yahoo! JAPANを支えるビッグデータプラットフォーム技術
Yahoo!デベロッパーネットワーク
Yahoo! JAPANが持つデータ分析ソリューションの紹介 #yjdsnight
Yahoo! JAPANが持つデータ分析ソリューションの紹介 #yjdsnight
Yahoo!デベロッパーネットワーク
データ分析基盤を支えるエンジニアリング
データ分析基盤を支えるエンジニアリング
Recruit Lifestyle Co., Ltd.
Yahoo!プロモーション広告のビックデータ基盤を支える技術と今後の展望
Yahoo!プロモーション広告のビックデータ基盤を支える技術と今後の展望
Yahoo!デベロッパーネットワーク
YJTC18 D-7 Yahoo!ショッピングのサービスデータ活用事例
YJTC18 D-7 Yahoo!ショッピングのサービスデータ活用事例
Yahoo!デベロッパーネットワーク
ビッグデータ・AI 活用最前線:「Data Augmentation (データ拡張)」という新しい常識
ビッグデータ・AI 活用最前線:「Data Augmentation (データ拡張)」という新しい常識
Masaya Mori
【2017年4月時点】Oracle Essbase 概要
【2017年4月時点】Oracle Essbase 概要
オラクルエンジニア通信
2016年度コーポレートフェローシップ活動報告(伊東さん)
2016年度コーポレートフェローシップ活動報告(伊東さん)
Code for Japan
Similaire à データ利活用を促進するメタデータ
(20)
Investment in Yahoo! JAPAN's dataplatform and business growth by big data
Investment in Yahoo! JAPAN's dataplatform and business growth by big data
「Data Infrastructure at Scale 」#yjdsw4
「Data Infrastructure at Scale 」#yjdsw4
kukai: 省エネ世界2位のディープラーニング・スパコン
kukai: 省エネ世界2位のディープラーニング・スパコン
売上に効くデータ組織~データから売上や利益を作るために何をしているか~
売上に効くデータ組織~データから売上や利益を作るために何をしているか~
データサイエンスセミナー 【found IT project #8】
データサイエンスセミナー 【found IT project #8】
アサヒのデータ活用基盤を支えるデータ仮想化技術
アサヒのデータ活用基盤を支えるデータ仮想化技術
データの見える化で進めるデータドリブンカンパニー #devsumiC
データの見える化で進めるデータドリブンカンパニー #devsumiC
データサイエンスを支える基盤とそのテクノロジー@WebDBフォーラム2015 #webdbf2015
データサイエンスを支える基盤とそのテクノロジー@WebDBフォーラム2015 #webdbf2015
Markezine day 2012 gdo nakazawa
Markezine day 2012 gdo nakazawa
※サンプル マーケティング目標を明確化するサイエンス【確率モデルで戦略仮説】
※サンプル マーケティング目標を明確化するサイエンス【確率モデルで戦略仮説】
※サンプル マーケティング目標を明確化するサイエンス【統計モデルで効果検証】
※サンプル マーケティング目標を明確化するサイエンス【統計モデルで効果検証】
楽天のデータサイエンス/AIによるビッグデータ活用
楽天のデータサイエンス/AIによるビッグデータ活用
Yahoo! JAPANを支えるビッグデータプラットフォーム技術
Yahoo! JAPANを支えるビッグデータプラットフォーム技術
Yahoo! JAPANが持つデータ分析ソリューションの紹介 #yjdsnight
Yahoo! JAPANが持つデータ分析ソリューションの紹介 #yjdsnight
データ分析基盤を支えるエンジニアリング
データ分析基盤を支えるエンジニアリング
Yahoo!プロモーション広告のビックデータ基盤を支える技術と今後の展望
Yahoo!プロモーション広告のビックデータ基盤を支える技術と今後の展望
YJTC18 D-7 Yahoo!ショッピングのサービスデータ活用事例
YJTC18 D-7 Yahoo!ショッピングのサービスデータ活用事例
ビッグデータ・AI 活用最前線:「Data Augmentation (データ拡張)」という新しい常識
ビッグデータ・AI 活用最前線:「Data Augmentation (データ拡張)」という新しい常識
【2017年4月時点】Oracle Essbase 概要
【2017年4月時点】Oracle Essbase 概要
2016年度コーポレートフェローシップ活動報告(伊東さん)
2016年度コーポレートフェローシップ活動報告(伊東さん)
Plus de Yahoo!デベロッパーネットワーク
ゼロから始める転移学習
ゼロから始める転移学習
Yahoo!デベロッパーネットワーク
ヤフーでは開発迅速性と品質のバランスをどう取ってるか
ヤフーでは開発迅速性と品質のバランスをどう取ってるか
Yahoo!デベロッパーネットワーク
オンプレML基盤on Kubernetes パネルディスカッション
オンプレML基盤on Kubernetes パネルディスカッション
Yahoo!デベロッパーネットワーク
LakeTahoe
LakeTahoe
Yahoo!デベロッパーネットワーク
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
Yahoo!デベロッパーネットワーク
Persistent-memory-native Database High-availability Feature
Persistent-memory-native Database High-availability Feature
Yahoo!デベロッパーネットワーク
データの価値を最大化させるためのデザイン~データビジュアライゼーションの方法~ #devsumi 17-E-2
データの価値を最大化させるためのデザイン~データビジュアライゼーションの方法~ #devsumi 17-E-2
Yahoo!デベロッパーネットワーク
eコマースと実店舗の相互利益を目指したデザイン #yjtc
eコマースと実店舗の相互利益を目指したデザイン #yjtc
Yahoo!デベロッパーネットワーク
ヤフーを支えるセキュリティ ~サイバー攻撃を防ぐエンジニアの仕事とは~ #yjtc
ヤフーを支えるセキュリティ ~サイバー攻撃を防ぐエンジニアの仕事とは~ #yjtc
Yahoo!デベロッパーネットワーク
Yahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtc
Yahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtc
Yahoo!デベロッパーネットワーク
ビッグデータから人々のムードを捉える #yjtc
ビッグデータから人々のムードを捉える #yjtc
Yahoo!デベロッパーネットワーク
サイエンス領域におけるMLOpsの取り組み #yjtc
サイエンス領域におけるMLOpsの取り組み #yjtc
Yahoo!デベロッパーネットワーク
ヤフーのAIプラットフォーム紹介 ~AIテックカンパニーを支えるデータ基盤~ #yjtc
ヤフーのAIプラットフォーム紹介 ~AIテックカンパニーを支えるデータ基盤~ #yjtc
Yahoo!デベロッパーネットワーク
Yahoo! JAPAN Tech Conference 2022 Day2 Keynote #yjtc
Yahoo! JAPAN Tech Conference 2022 Day2 Keynote #yjtc
Yahoo!デベロッパーネットワーク
新技術を使った次世代の商品の見せ方 ~ヤフオク!のマルチビュー機能~ #yjtc
新技術を使った次世代の商品の見せ方 ~ヤフオク!のマルチビュー機能~ #yjtc
Yahoo!デベロッパーネットワーク
PC版Yahoo!メールリニューアル ~サービスのUI/UX統合と改善プロセス~ #yjtc
PC版Yahoo!メールリニューアル ~サービスのUI/UX統合と改善プロセス~ #yjtc
Yahoo!デベロッパーネットワーク
モブデザインによる多職種チームのコミュニケーション改善 #yjtc
モブデザインによる多職種チームのコミュニケーション改善 #yjtc
Yahoo!デベロッパーネットワーク
「新しいおうち探し」のためのAIアシスト検索 #yjtc
「新しいおうち探し」のためのAIアシスト検索 #yjtc
Yahoo!デベロッパーネットワーク
ユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtc
ユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtc
Yahoo!デベロッパーネットワーク
The potential of Kubernetes as more than just an infrastructure to deploy
The potential of Kubernetes as more than just an infrastructure to deploy
Yahoo!デベロッパーネットワーク
Plus de Yahoo!デベロッパーネットワーク
(20)
ゼロから始める転移学習
ゼロから始める転移学習
ヤフーでは開発迅速性と品質のバランスをどう取ってるか
ヤフーでは開発迅速性と品質のバランスをどう取ってるか
オンプレML基盤on Kubernetes パネルディスカッション
オンプレML基盤on Kubernetes パネルディスカッション
LakeTahoe
LakeTahoe
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
Persistent-memory-native Database High-availability Feature
Persistent-memory-native Database High-availability Feature
データの価値を最大化させるためのデザイン~データビジュアライゼーションの方法~ #devsumi 17-E-2
データの価値を最大化させるためのデザイン~データビジュアライゼーションの方法~ #devsumi 17-E-2
eコマースと実店舗の相互利益を目指したデザイン #yjtc
eコマースと実店舗の相互利益を目指したデザイン #yjtc
ヤフーを支えるセキュリティ ~サイバー攻撃を防ぐエンジニアの仕事とは~ #yjtc
ヤフーを支えるセキュリティ ~サイバー攻撃を防ぐエンジニアの仕事とは~ #yjtc
Yahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtc
Yahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtc
ビッグデータから人々のムードを捉える #yjtc
ビッグデータから人々のムードを捉える #yjtc
サイエンス領域におけるMLOpsの取り組み #yjtc
サイエンス領域におけるMLOpsの取り組み #yjtc
ヤフーのAIプラットフォーム紹介 ~AIテックカンパニーを支えるデータ基盤~ #yjtc
ヤフーのAIプラットフォーム紹介 ~AIテックカンパニーを支えるデータ基盤~ #yjtc
Yahoo! JAPAN Tech Conference 2022 Day2 Keynote #yjtc
Yahoo! JAPAN Tech Conference 2022 Day2 Keynote #yjtc
新技術を使った次世代の商品の見せ方 ~ヤフオク!のマルチビュー機能~ #yjtc
新技術を使った次世代の商品の見せ方 ~ヤフオク!のマルチビュー機能~ #yjtc
PC版Yahoo!メールリニューアル ~サービスのUI/UX統合と改善プロセス~ #yjtc
PC版Yahoo!メールリニューアル ~サービスのUI/UX統合と改善プロセス~ #yjtc
モブデザインによる多職種チームのコミュニケーション改善 #yjtc
モブデザインによる多職種チームのコミュニケーション改善 #yjtc
「新しいおうち探し」のためのAIアシスト検索 #yjtc
「新しいおうち探し」のためのAIアシスト検索 #yjtc
ユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtc
ユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtc
The potential of Kubernetes as more than just an infrastructure to deploy
The potential of Kubernetes as more than just an infrastructure to deploy
Dernier
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Hiroshi Tomioka
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
CRI Japan, Inc.
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
Toru Tamaki
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NTT DATA Technology & Innovation
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
atsushi061452
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
Toru Tamaki
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
Hiroshi Tomioka
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
CRI Japan, Inc.
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
Dernier
(11)
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
データ利活用を促進するメタデータ
1.
ヤフー株式会社 データ&サイエンスソリューション統括本部 エリア関西 尾崎
弘宗 データ利活用を促進するメ タデータ 2017年2月10日
2.
自己紹介 2 尾崎 弘宗 ヤフー株式会社 データ&サイエンスソリューション統括本部 D&Sエリア関西 経歴 〜2005年
某SIer会社(官公庁、金融系のデータベース設計、開発) 2005年〜 ヤフー株式会社入社(データベースプラットフォーム設計〜運用) 2014年〜 データ&サイエンスソリューション統括本部 (DMP、データマネージメント) 2016年〜 大阪オフィス勤務
3.
アジェンダ 3 ・ヤフーのビッグデータ ・メタデータ可視化の取り組み ・メタデータ分類 ・メタデータ収集 ・今後の課題 ・まとめ
4.
ヤフーのビッグデータ
5.
100種を超えるYahoo!サービス
6.
100以上のデータバラエティ
7.
670億ページビュー/月 8,900万/日ユニークブラウザ 670 億PV 膨大なデータボリューム
8.
約125TB at 1day
9.
約50,000アクセス in 1sec
10.
Variety Volume Velocity
11.
メタデータ可視化の 取り組み
12.
取り組み 12 メタデータを集約して 横断的にデータを探せる 「データカタログ」を作成中
13.
背景 13 どこにどんなデータがあるか 分からない データ利活用の妨げに ・他サービス、他部門がどんなデータを持っているか知らない ・データを探すのに時間がかかる
14.
目的 14 どこにどんなデータがあるか 分からない 分かる データ利活用を促進 ・他サービス、他部門がどんなデータを持っているか分かる ・データをすぐに探せる
15.
実現方法 15 バナナ バナナ 価格:98円 賞味期限:2017/3/10 生産者:矢風農場 販売店:スーパー矢風
16.
実現方法 16 データの意味や価値、所在地などの メタデータを可視化する バナナ バナナ 価格:98円 賞味期限:2017/3/10 生産者:矢風農場 販売店:スーパー矢風 安心
17.
データカタログ利用イメージ 17 ユーザーデータ データ提供者:数十人 (エンジニア) サービス Hadoop メディア系 コマース系 デ ー タ カ タ ロ グ RDB 共通API
可視化 ①メタデータ参照 ・データの種類・意味の検索 ・利活用のナレッジ共有 ・データ利用までナビゲーション データ利活用アイデア DWH 生データ 共通データ ファイナンス系 ②メタデータ登録 ・データ構造・意味管理 ・データ利用者、連絡先管理 データ利活用者:数千人 (企画・エンジニアetc.) KVS
18.
メタデータ分類
19.
データ基盤と規模 19 DWH 1.7PB RDB 1,000dbs KVS 2,000nodes Object Storage 1,500nodes Hadoop 6,000nodes
20.
データ構造 20 DWH 1.7PB RDB 1,000dbs KVS 2,000nodes Object Storage 1,500nodes 構造化データ 非構造化データ 構造化+非構造化+半構造化データHadoop 6,000nodes
21.
メタデータ数 21 DWH 1.7PB RDB 1,000dbs KVS 2,000nodes Object Storage 1,500nodes Hadoop 6,000nodes 推定 テーブル数:約23,000 カラム数:約320,000
22.
メタデータ分類 22 Layer1 テクニカルメタデータ データアクセスするために必要な情報 ・データ所在地 ・データ構造 Layer2 Layer3
23.
メタデータ分類 23 Layer1 テクニカルメタデータ データアクセスするために必要な情報 ・データ所在地 ・データ構造 Layer3 Layer2 ビジネスメタデータ データの意味を理解するために必要な情報 ・データ内容説明
24.
メタデータ分類 24 Layer1 テクニカルメタデータ データアクセスするために必要な情報 ・データ所在地 ・データ構造 Layer2 ビジネスメタデータ データの意味を理解するために必要な情報 ・データ内容説明 Layer3
マルチユースメタデータ データ取得目的とは別の用途、他部門で利用するために必要な情報 ※データの「価値」を可視化する必要がある ・活用knowledge ・品質情報 ・データ量 ・SLA ・活用条件 ・活用範囲 ・データの組み合わせによるセキュリティルール
25.
メタデータの課題 25 Layer1 テクニカルメタデータ データアクセスするために必要な情報 ・データ所在地 ・データ構造 Layer2 ビジネスメタデータ データの意味を理解するために必要な情報 ・データ内容説明 Layer3
マルチユースメタデータ データ取得目的とは別の用途、他部門で利用するために必要な情報 ※データの「価値」を可視化する必要がある ・活用knowledge ・品質情報 ・データ量 ・SLA ・活用条件 ・活用範囲 ・データの組み合わせによるセキュリティルール 課題 ・システム毎に点在している情報を どうやって収集すべきか(How) ・収集した情報をどうやって最新に保つのか(How) 課題 ・社内に点在しているドキュメントを どうやって収集すべきか(How) ・収集した情報をどうやって最新に保つのか(How) 課題 ・どんな情報を収集すべきか(What) ・どうやって情報を収集すべきか(How) ※出来るだけ機械的に収集したい。 ・どうやって見せるか(How)
26.
メタデータ収集
27.
テクニカルメタデータ収集方法 27 種類 説明 項目
保存先(現状) 収集方法 Layer3: マルチユースメタデータ データ取得目的とは別の 用途、他部門で利用する ために必要な情報 ・活用knowledge ・品質情報 ・データ量 ・SLA ・活用条件 ・活用範囲 基本存在しない。 (一部は社内Wiki) ・データ登録 UI ・登録API開発(自動) ※データ量など Layer2: ビジネスメタデータ データの意味を理解する ために必要な情報 ・データ内容説明 ・社内Wiki/Excel ・データモデリング ツール(様々) ・データ登録 UI ・Excel読み込み Layer1: テクニカルメタデータ データアクセスするため に必要な情報 ・データ所在地 ・データ構造 ・社内Wiki/Excel ・GitHub ・データモデリング ツール(様々) ・データベース/ データストア ・データ登録 UI ・Excel読み込み ・GitHub連携 (DDL読み込み) ・ETL/マネージメント ソフトウェア(自動)
28.
ビジネスメタデータ収集方法 28 種類 説明 項目
保存先(現状) 収集方法 Layer3: マルチユースメタデータ データ取得目的とは別の 用途、他部門で利用する ために必要な情報 ・活用knowledge ・品質情報 ・データ量 ・SLA ・活用条件 ・活用範囲 基本存在しない。 (一部は社内Wiki) ・データ登録 UI ・登録API開発(自動) ※データ量など Layer2: ビジネスメタデータ データの意味を理解する ために必要な情報 ・データ内容説明 ・社内Wiki/Excel ・データモデリング ツール(様々) ・データ登録 UI ・Excel読み込み Layer1: テクニカルメタデータ データアクセスするため に必要な情報 ・データ所在地 ・データ構造 ・社内Wiki/Excel ・GitHub ・データモデリング ツール(様々) ・データベース/ データストア ・データ登録 UI ・Excel読み込み ・GitHub連携 (DDL読み込み) ・ETL/マネージメント ソフトウェア(自動)
29.
マルチユースメタデータ収集方法 29 種類 説明 項目
保存先(現状) 収集方法 Layer3: マルチユースメタデータ データ取得目的とは別の 用途、他部門で利用する ために必要な情報 ・活用knowledge ・品質情報 ・データ量 ・SLA ・活用条件 ・活用範囲 基本存在しない。 (一部は社内Wiki) ・データ登録 UI ・登録API開発(自動) ※データ量など Layer2: ビジネスメタデータ データの意味を理解する ために必要な情報 ・データ内容説明 ・社内Wiki/Excel ・データモデリング ツール(様々) ・データ登録 UI ・Excel読み込み Layer1: テクニカルメタデータ データアクセスするため に必要な情報 ・データ所在地 ・データ構造 ・社内Wiki/Excel ・GitHub ・データモデリング ツール(様々) ・データベース/ データストア ・データ登録 UI ・Excel読み込み ・GitHub連携 (DDL読み込み) ・ETL/マネージメント ソフトウェア(自動)
30.
メタデータ登録コスト 30 種類 説明 項目
保存先(現状) 収集方法 Layer3: マルチユースメタデータ データ取得目的とは別の 用途、他部門で利用する ために必要な情報 ・活用knowledge ・品質情報 ・データ量 ・SLA ・活用条件 ・活用範囲 基本存在しない。 (一部は社内Wiki) ・データ登録 UI ・登録API開発(自動) ※データ量など Layer2: ビジネスメタデータ データの意味を理解する ために必要な情報 ・データ内容説明 ・社内Wiki/Excel ・データモデリング ツール(様々) ・データ登録 UI ・Excel読み込み Layer1: テクニカルメタデータ データアクセスするため に必要な情報 ・データ所在地 ・データ構造 ・社内Wiki/Excel ・GitHub ・データモデリング ツール(様々) ・データベース/ データストア ・データ登録 UI ・Excel読み込み ・GitHub連携 (DDL読み込み) ・ETL/マネージメント ソフトウェア(自動)小 大 コスト
31.
データ利活用までのコスト 31 種類 説明 項目
保存先(現状) 収集方法 Layer3: マルチユースメタデータ データ取得目的とは別の 用途、他部門で利用する ために必要な情報 ・活用knowledge ・品質情報 ・データ量 ・SLA ・活用条件 ・活用範囲 基本存在しない。 (一部は社内Wiki) ・データ登録 UI ・登録API開発 ※データ量など Layer2: ビジネスメタデータ データの意味を理解する ために必要な情報 ・データ内容説明 ・社内Wiki/Excel ・データモデリング ツール(様々) ・データ登録 UI ・Excel読み込み Layer1: テクニカルメタデータ データアクセスするため に必要な情報 ・データ所在地 ・データ構造 ・社内Wiki/Excel ・GitHub ・データモデリング ツール(様々) ・データベース/ データストア ・データ登録 UI ・Excel読み込み ・GitHub連携 (DDL読み込み) ・ETL/マネージメント ソフトウェア 小 大 コスト
32.
メタデータ登録コストパフォーマンス 32 マルチユース可能なデータ マルチユースが難しいデータ 全てのデータに対して 詳細なメタデータを登録するのは コストに見合わない
33.
メタデータ収集粒度 33 種類 項目 保存先(現 状) 収集方法 Layer3: マルチユース メタデータ ・活用knowledge ・品質情報 ・データ量 ・SLA ・活用条件 ・活用範囲 基本存在しない。 (一部は社内 Wiki) ・データ登録
UI ・登録API開発 ※データ量など Layer2: ビジネス メタデータ ・データ内容説明 ・社内Wiki/Excel ・データモデリン グツール(様々) ・データ登録 UI ・Excel読み込み Layer1: テクニカル メタデータ ・データ所在地 ・データ構造 ・社内Wiki/Excel ・GitHub ・データモデリン グツール(様々) ・データベース/ データストア ・データ登録 UI ・Excel読み込み ・GitHub連携 (DDL読み込み) ・ETL/マネージメントソフトウェア (Informatica,Alation) 対象データ マ ル チ ユ ー ス 可 能 な デ ー タ 分 析 用 共 通 デ ー タ サ ー ビ ス 固 有 デ ー タ 登 録 コ ス ト 活 用 ま で の コ ス ト プライオリティー 高 低 大 小 小 大
34.
メタデータ収集全体図 34 メタデータ リポジトリDB Hadoop DWH RDB KVS データ説明、構造情報 UI/ UI IF データカタログ 参照UI Hadoop DWH
RDB KVS データの状態情報 Hadoop <ファイルサイズ/レコード数etc> API DWH RDB KVS UI <品質情報> Hadoop DWH RDB KVS 機械学習 <データ構造> <データ名、データ内容説明、値説明etc> データ利活用情報 メタデータ検索、参照 <キーワード検索、タグ検索、各種情報参照etc> UI/ UI/ <利用サービス、Knowledge、タグetc> <インテリジェエンス機能> (クラスタリング、自動タグ付け) =検討中 ETLツールなど ETLツールなど ETLツールなど 社内 Wiki 社内 Wiki
35.
今後の課題
36.
課題1 36 魅力的なコンテンツ (活用できるデータ)を揃える
37.
課題2 37 メタデータ登録のモチベーション
38.
まとめ
39.
本日のまとめ 39 ・メタデータ可視化の目的を定める ・目的を達成するのに必要なメタデータを定める ・データ毎に適切な粒度でメタデータを登録する
40.
40 END
Télécharger maintenant