SlideShare une entreprise Scribd logo
1  sur  32
Télécharger pour lire hors ligne
知られざる、
Alibaba Cloudを支えるオープンソース
Alibaba Cloudを支えるオープンソーステクノロジー
1
@mosuke5
YAPC::Okinawa
2018/03/02
2
Who are you?
名前:もーすけ (@mosuke5)
仕事:
 Alibaba Cloud Solutin Architect
 MVPになんか選ばれた。
 以前はソフトウェアエンジニア。
ネタ:
 フリーランサーとして開業しました。
 YAPC前夜祭での発表は福岡から2連続。
3
2017年6月のYAPC::Fukuokaの前夜祭LTにて…
今日、福岡行のフライト
逃していろいろ大変でした。
(東京から来ました)
ところで、
「アリババ」って知ってます?
どんなイメージです?
4
そう
「アリババと40人の盗賊」
5
世界時価総額(2018年1月末時点)
6
No 国名 会社名 時価総額
1 アメリカ アップル 859.638
2 アメリカ アルファベット(Google) 817.117
3 アメリカ マイクロソフト 731.557
4 アメリカ アマゾン・ドット・コム 699.144
5 中国 テンセント・ホールディングス 558.084
6 アメリカ フェイスブック 543.067
7 アメリカ バークシャー・ハサウェイ 530.275
8 中国 アリババ・グループ・ホールディング 516.724
9 中国 中国工商銀行 425.118
出典:http://www.180.co.jp/world_etf_adr/adr/ranking.htm
気になりませんか??
今日、それを明かしていきます
7
20年前のインターネット世界
8
1998年 Google誕生 1994年 Amazon.com誕生
9
もう一方のインターネット世界(中国)
10
1999年 Alibaba誕生
1998年 Tencent誕生
11
11月11日はネットセールで
たった1日で2.8兆円近い売上をあげた。
なんだ向こうの世界線で
すごいテクノロジー企業が
うまれているらしいぞ
12
そのアリババが、
まさに今海外に出ようとしている
その真っ最中。
それが「今」
13
Alibaba Cloudなるものが誕生している
14
グローバルインフラストラクチャ(世界17リージョン)
15
2016年12月 東京リージョン開設
インド
インドネシア
マレーシア
そんなAlibaba Cloudを支えるオー
プンソース技術を発見したのでご紹
介していく
16
プロダクトラインナップ
17
Block Storage
OSS
Object Storage Service
Archive Storage
NAS
Network Attached Storage
Message Service
グローバル IDC リージョン アベイラビリティゾーン
Technical
Support
Professional
Services
Training &
Certification
Cloud
Architects
Pricing
Report
ECS
Elastic Compute Service
Auto Scaling
SLB
Server Load Balancer
Container Service
HPC
High Performance Compute
BatchCompute
FunctionCompute
RDS
Relational Database Servie
Oceanbase
Memcache
Table Store
Redis MongoDB
DMS
Database Management
Analytic DB
DTS
Data Transmission Service
PetaData
VPC
Virtual Private Cloud
ExpressConnect
Elastic IP
CDN
HA-IP
High Availability IP
Nat Gateway
EDAS
Enterprise Distributed
Application Service
ONS
Open Notification Service
HttpDNS
Log Service
ROS
Resource Orchestration Service
Performance Testing
Live streaming
Domain
IOT Suit
DirectMail
DataV
Rec Eng
DataHub
ImageMaxCompute
EMR
DataIDE
Face Rec
API
RAM
Resource Access Management
CLI
Cloud Monitor
Anti-DDoS
Cloud Shield
WAF
Web Application Firewall
HSM
Hardware Secure Module
KMS
Key Management Service
Server Guard
Action Trail
ビッグデータ アプリケーションサービスSupport
コンピューティング ネットワーク ストレージ データベース
基  盤
DevOps
管理・セキュリティ
勝手に考えてる、いいところ悪いところ
18
Alibaba自身が
苦労して乗り越えた
ノウハウや技術
特にビッグデータ・機械
学習プロダクトは
Alibabaの自信作
サーバレスなど新しい概
念のものは、まだフォロ
ワーの立場。
独自の考え方をもっとだ
せるといい。
日本サイトではまだ一
部のプロダクトしかな
い。
(がんばります)
フォロワーなのもあって
ユーザ要望は相当反
映される。開発スピード
の速さ。
Tengine
https://github.com/alibaba/tengine
● NginxベースのWebサーバ
● Nginx-1.8.1の機能はすべて継承
● ダイナミックモジュール対応や、spdy対応、豊富なロードバラ
ンス機能、Lua対応など
● Alibaba製プロダクトの殆どのWebサーバはTengine
19
そうだ、curlしてみよう
$ curl -I https://jp.alibabacloud.com
HTTP/2 200
date: Mon, 26 Feb 2018 04:35:47 GMT
content-type: text/html; charset=utf-8
vary: Accept-Encoding
server: Tengine
vary: Accept-Encoding
x-powered-by: Express
20
LoadBalancer(SLB)とCDNはTengineベースの実装
● Alibaba Cloudのロードバラ
ンサとCDNはTengineベー
スで実装
● 仮想サーバではなく専用の
物理クラスタがある。
Pre-Warmingは必要ない。
21
Server Load Balancer
L4 layer: LVS L7 layer:
アプリケーション
環境
OpenRestyは実は。。。
● OpenRestyの作者はもとAlibaba(Taobao)の人で、Tengine
のベースを作った人らしい。
22
OpenRestyOpenResty作者
AliSQL
https://github.com/alibaba/AliSQL
● AlibabaカスタマイズのMySQL
● 100%MySQL互換
● パフォーマンス改善と一部機能の追加
● このAliSQLをマネージドで利用できる、ApsaraDB for RDSを
AlibabaCloudで提供
23
RDSのアーキテクチャ
24
Load
Balancer
Proxy Proxy Proxy
DB Engine
Load
Balancer
Proxy Proxy Proxy
DB Engine
Replication
Bare Metal Database Server
ApsaraDB
for RDSMaster Slave
ベアメタルサーバを使ってデータベースサービスを提供。
仮想基盤のオーバーヘッドがないため、ハイパフォーマンスを実現。
ApsaraCache
https://github.com/alibaba/ApsaraCache
● Redis 4.0ベース
● パフォーマンスチューニング(30%の性能向上)
● Memcacheプロトコルのサポート(!???)
○ そんなことができるのか?
○ どこまで互換性あるのか?
○ まさかMemcacheのサービスはこれで実装??
25
ApsaraDB for RedisとMemcache
というわけで、担当者に聞い
てみました。
Alibaba CloudのRedisと
Memcacheのプロダクトで利
用しているのか、どうなの
か!?
26
RedisとMemcacheのプロダク
トはまさかこれ使って両方実装
してるの?
昔はそうしてたけど、
Memcacheのほうが流石に対
応できないプロトコルもあって
やめました
さすがにそうっすよねwww
でもRedisのパフォーマンス改
善の効果はよくでてるぜ。
Apache RocketMQ
https://rocketmq.apache.org/
● アリババがサービス展開するにあたって直面した課題から生
まれた。
● ActiveMQのIOが辛くなってきた。Kafkaが要件に合わなかっ
たので、自作しオープンソース化。
● Apache Foundationプロダクト
● AlibabaCloudのメッセージキュープロダクトのベースに利用
されている。
27
正直まだまだなんだけど、
掘り出すとなんかでてきそうで
楽しそう。
28
<Developer Community>
2018年2月 AliEatersが立ち上がっ
てました。
29
30
Meetup第2回はあのWeWorkで
3月20日開催予定。らしいです。
飲みながらお話しましょう!
31
Alibaba Cloudとオープンソースソフトウェア
1. Server Load Balancer:Tengine
2. ApsaraDB for RDS:AliSQL
3. Redis, Memcache:ApsaraCache
4. MessageService:RocketMQ
5. Aliyun Linux
6. dubbo: https://github.com/alibaba/dubbo
7. https://github.com/alibaba/tair
8. https://github.com/alibaba/pouch
32

Contenu connexe

Tendances

Spark in small or middle scale data processing with Elasticsearch
Spark in small or middle scale data processing with ElasticsearchSpark in small or middle scale data processing with Elasticsearch
Spark in small or middle scale data processing with Elasticsearch
chibochibo
 

Tendances (20)

ここがつらいよAws batch
ここがつらいよAws batchここがつらいよAws batch
ここがつらいよAws batch
 
データアナリティクスの新たな一歩とそれを支えるインフラ
データアナリティクスの新たな一歩とそれを支えるインフラデータアナリティクスの新たな一歩とそれを支えるインフラ
データアナリティクスの新たな一歩とそれを支えるインフラ
 
SmartNews の Webmining を支えるプラットフォーム
SmartNews の Webmining を支えるプラットフォームSmartNews の Webmining を支えるプラットフォーム
SmartNews の Webmining を支えるプラットフォーム
 
Step functionsとaws batchでオーケストレートするイベントドリブンな機械学習基盤
Step functionsとaws batchでオーケストレートするイベントドリブンな機械学習基盤Step functionsとaws batchでオーケストレートするイベントドリブンな機械学習基盤
Step functionsとaws batchでオーケストレートするイベントドリブンな機械学習基盤
 
BluetoothメッシュによるIoTシステムを支えるサーバーレス技術 #serverlesstokyo
BluetoothメッシュによるIoTシステムを支えるサーバーレス技術 #serverlesstokyoBluetoothメッシュによるIoTシステムを支えるサーバーレス技術 #serverlesstokyo
BluetoothメッシュによるIoTシステムを支えるサーバーレス技術 #serverlesstokyo
 
ApexからAWS IoT叩いてみた話
ApexからAWS IoT叩いてみた話ApexからAWS IoT叩いてみた話
ApexからAWS IoT叩いてみた話
 
re:Growth 2016 in TOKYO発表「AWS Glueの紹介」
re:Growth 2016 in TOKYO発表「AWS Glueの紹介」re:Growth 2016 in TOKYO発表「AWS Glueの紹介」
re:Growth 2016 in TOKYO発表「AWS Glueの紹介」
 
【解説】データ指向アプリケーションデザイン 12章 データシステムの未来
【解説】データ指向アプリケーションデザイン 12章 データシステムの未来【解説】データ指向アプリケーションデザイン 12章 データシステムの未来
【解説】データ指向アプリケーションデザイン 12章 データシステムの未来
 
Renewed using elasticsearchonaspnet-core5
Renewed using elasticsearchonaspnet-core5Renewed using elasticsearchonaspnet-core5
Renewed using elasticsearchonaspnet-core5
 
AWS IoTを使った双方向通信システムの実装と注意点
AWS IoTを使った双方向通信システムの実装と注意点AWS IoTを使った双方向通信システムの実装と注意点
AWS IoTを使った双方向通信システムの実装と注意点
 
IoT(Bluetooth mesh) × サーバーレス
IoT(Bluetooth mesh) × サーバーレスIoT(Bluetooth mesh) × サーバーレス
IoT(Bluetooth mesh) × サーバーレス
 
Spark Streaming on AWS -S3からKinesisへ-
Spark Streaming on AWS -S3からKinesisへ-Spark Streaming on AWS -S3からKinesisへ-
Spark Streaming on AWS -S3からKinesisへ-
 
20190517 Spark+AI Summit2019最新レポート
20190517 Spark+AI Summit2019最新レポート20190517 Spark+AI Summit2019最新レポート
20190517 Spark+AI Summit2019最新レポート
 
スマートファクトリーを支えるIoTインフラをつくった話
スマートファクトリーを支えるIoTインフラをつくった話スマートファクトリーを支えるIoTインフラをつくった話
スマートファクトリーを支えるIoTインフラをつくった話
 
20161214 re growth-sapporo
20161214 re growth-sapporo20161214 re growth-sapporo
20161214 re growth-sapporo
 
Spark in small or middle scale data processing with Elasticsearch
Spark in small or middle scale data processing with ElasticsearchSpark in small or middle scale data processing with Elasticsearch
Spark in small or middle scale data processing with Elasticsearch
 
今更聞けないストリーム処理のあれとかこれ
今更聞けないストリーム処理のあれとかこれ今更聞けないストリーム処理のあれとかこれ
今更聞けないストリーム処理のあれとかこれ
 
Azure DevOps CICD Azure SQL / Data Factory
Azure DevOps CICD Azure SQL / Data FactoryAzure DevOps CICD Azure SQL / Data Factory
Azure DevOps CICD Azure SQL / Data Factory
 
Ibm data science experience
Ibm data science experienceIbm data science experience
Ibm data science experience
 
pixivのタグ情報+cytoscape+PHPで、「魔法少女まどか☆マギカ」をネットワーク分析
pixivのタグ情報+cytoscape+PHPで、「魔法少女まどか☆マギカ」をネットワーク分析pixivのタグ情報+cytoscape+PHPで、「魔法少女まどか☆マギカ」をネットワーク分析
pixivのタグ情報+cytoscape+PHPで、「魔法少女まどか☆マギカ」をネットワーク分析
 

Similaire à 知られざる、Alibaba Cloudを支えるオープンソース

クリックしないリンクリゾルバの作り方
クリックしないリンクリゾルバの作り方クリックしないリンクリゾルバの作り方
クリックしないリンクリゾルバの作り方
Yutaka HAYASHI
 

Similaire à 知られざる、Alibaba Cloudを支えるオープンソース (20)

Fun tech#14 AlibabaCloud - EDAS(Enterprise Distributed Application Service)
Fun tech#14 AlibabaCloud - EDAS(Enterprise Distributed Application Service)Fun tech#14 AlibabaCloud - EDAS(Enterprise Distributed Application Service)
Fun tech#14 AlibabaCloud - EDAS(Enterprise Distributed Application Service)
 
Rancherカタログ紹介 Hadoop + Yarn
Rancherカタログ紹介 Hadoop + YarnRancherカタログ紹介 Hadoop + Yarn
Rancherカタログ紹介 Hadoop + Yarn
 
【SAP Inside Track Tokyo 2021 DAT】SAP Analytics Cloud導入事例とポイント
【SAP Inside Track Tokyo 2021 DAT】SAP Analytics Cloud導入事例とポイント【SAP Inside Track Tokyo 2021 DAT】SAP Analytics Cloud導入事例とポイント
【SAP Inside Track Tokyo 2021 DAT】SAP Analytics Cloud導入事例とポイント
 
Skype for Business + Bot + Graph API
Skype for Business + Bot + Graph APISkype for Business + Bot + Graph API
Skype for Business + Bot + Graph API
 
LPWA 勉強会 #1 | これだけ知っていればLoRaWAN & SORACOM Air for LoRaWAN
LPWA 勉強会 #1 | これだけ知っていればLoRaWAN & SORACOM Air for LoRaWANLPWA 勉強会 #1 | これだけ知っていればLoRaWAN & SORACOM Air for LoRaWAN
LPWA 勉強会 #1 | これだけ知っていればLoRaWAN & SORACOM Air for LoRaWAN
 
APIドキュメントの話 #sphinxjp
APIドキュメントの話 #sphinxjpAPIドキュメントの話 #sphinxjp
APIドキュメントの話 #sphinxjp
 
AI Seminar on Alibaba Cloud
AI Seminar on Alibaba CloudAI Seminar on Alibaba Cloud
AI Seminar on Alibaba Cloud
 
LibreOfficeとモバイルデバイス
LibreOfficeとモバイルデバイスLibreOfficeとモバイルデバイス
LibreOfficeとモバイルデバイス
 
IkaLog_FPGAStartup1
IkaLog_FPGAStartup1IkaLog_FPGAStartup1
IkaLog_FPGAStartup1
 
印刷APIのサポート事情 - DevRel Meetup in Tokyo #17
印刷APIのサポート事情 - DevRel Meetup in Tokyo #17印刷APIのサポート事情 - DevRel Meetup in Tokyo #17
印刷APIのサポート事情 - DevRel Meetup in Tokyo #17
 
Docker meetup tokyo_public_r001
Docker meetup tokyo_public_r001Docker meetup tokyo_public_r001
Docker meetup tokyo_public_r001
 
座談会資料(趣旨説明資料) 20161117
座談会資料(趣旨説明資料) 20161117座談会資料(趣旨説明資料) 20161117
座談会資料(趣旨説明資料) 20161117
 
ノンコーディングで LINE Bot 開発! Azure Logic Apps × Azure Cognitive Services ×LINE メッセー...
ノンコーディングで LINE Bot 開発! Azure Logic Apps × Azure Cognitive Services ×LINE メッセー...ノンコーディングで LINE Bot 開発! Azure Logic Apps × Azure Cognitive Services ×LINE メッセー...
ノンコーディングで LINE Bot 開発! Azure Logic Apps × Azure Cognitive Services ×LINE メッセー...
 
15.05.21_ビッグデータ分析基盤Sparkの最新動向とその活用-Spark SUMMIT EAST 2015-
15.05.21_ビッグデータ分析基盤Sparkの最新動向とその活用-Spark SUMMIT EAST 2015-15.05.21_ビッグデータ分析基盤Sparkの最新動向とその活用-Spark SUMMIT EAST 2015-
15.05.21_ビッグデータ分析基盤Sparkの最新動向とその活用-Spark SUMMIT EAST 2015-
 
クリックしないリンクリゾルバの作り方
クリックしないリンクリゾルバの作り方クリックしないリンクリゾルバの作り方
クリックしないリンクリゾルバの作り方
 
20211217 Alibaba Cloudでだってテスト駆動インフラ構築したい
20211217 Alibaba Cloudでだってテスト駆動インフラ構築したい20211217 Alibaba Cloudでだってテスト駆動インフラ構築したい
20211217 Alibaba Cloudでだってテスト駆動インフラ構築したい
 
「JPOHC」のロゴ制作の話
「JPOHC」のロゴ制作の話「JPOHC」のロゴ制作の話
「JPOHC」のロゴ制作の話
 
[社内セッション]DevOps時代の僕の生き方、働き方
[社内セッション]DevOps時代の僕の生き方、働き方[社内セッション]DevOps時代の僕の生き方、働き方
[社内セッション]DevOps時代の僕の生き方、働き方
 
QnA Maker 逆入門
QnA Maker 逆入門QnA Maker 逆入門
QnA Maker 逆入門
 
20230206_SD輪読&座談会#41_kitazaki.pdf
20230206_SD輪読&座談会#41_kitazaki.pdf20230206_SD輪読&座談会#41_kitazaki.pdf
20230206_SD輪読&座談会#41_kitazaki.pdf
 

Plus de Shinya Mori (@mosuke5)

Plus de Shinya Mori (@mosuke5) (20)

Alibaba Cloudが1万個のKubernetesクラスタを管理する方法
Alibaba Cloudが1万個のKubernetesクラスタを管理する方法Alibaba Cloudが1万個のKubernetesクラスタを管理する方法
Alibaba Cloudが1万個のKubernetesクラスタを管理する方法
 
効果を出すためのクラウドネイティブDevOpsの道のり
効果を出すためのクラウドネイティブDevOpsの道のり効果を出すためのクラウドネイティブDevOpsの道のり
効果を出すためのクラウドネイティブDevOpsの道のり
 
アジャイルプラクティスは家庭内のコミュニケーションもカイゼンできちゃうのか?
アジャイルプラクティスは家庭内のコミュニケーションもカイゼンできちゃうのか?アジャイルプラクティスは家庭内のコミュニケーションもカイゼンできちゃうのか?
アジャイルプラクティスは家庭内のコミュニケーションもカイゼンできちゃうのか?
 
Apsara Conference 2019 コンテナ系サービスのアップデート情報
Apsara Conference 2019 コンテナ系サービスのアップデート情報Apsara Conference 2019 コンテナ系サービスのアップデート情報
Apsara Conference 2019 コンテナ系サービスのアップデート情報
 
Encouragin you to write technology blogs
Encouragin you to write technology blogsEncouragin you to write technology blogs
Encouragin you to write technology blogs
 
RHEL8 on Alibaba Cloud
RHEL8 on Alibaba CloudRHEL8 on Alibaba Cloud
RHEL8 on Alibaba Cloud
 
テックブログのすゝめ -アウトプットで知識習得サイクルを回そう-
テックブログのすゝめ -アウトプットで知識習得サイクルを回そう-テックブログのすゝめ -アウトプットで知識習得サイクルを回そう-
テックブログのすゝめ -アウトプットで知識習得サイクルを回そう-
 
Kubernetesを使う上で抑えておくべきAWSの基礎概念
Kubernetesを使う上で抑えておくべきAWSの基礎概念Kubernetesを使う上で抑えておくべきAWSの基礎概念
Kubernetesを使う上で抑えておくべきAWSの基礎概念
 
virtual-kubeletで OSSとマネージドサービスの いいとこ取りを考える 〜新人の独り言〜
virtual-kubeletで OSSとマネージドサービスの いいとこ取りを考える 〜新人の独り言〜virtual-kubeletで OSSとマネージドサービスの いいとこ取りを考える 〜新人の独り言〜
virtual-kubeletで OSSとマネージドサービスの いいとこ取りを考える 〜新人の独り言〜
 
Alibaba Cloud Serverless Kubernetes 徹底解説
Alibaba Cloud Serverless Kubernetes 徹底解説Alibaba Cloud Serverless Kubernetes 徹底解説
Alibaba Cloud Serverless Kubernetes 徹底解説
 
AlibabaCloudではじめるKubernetes
AlibabaCloudではじめるKubernetesAlibabaCloudではじめるKubernetes
AlibabaCloudではじめるKubernetes
 
virtual-kubeletってなんだ?Alibaba Cloudで動かしてみよう
virtual-kubeletってなんだ?Alibaba Cloudで動かしてみようvirtual-kubeletってなんだ?Alibaba Cloudで動かしてみよう
virtual-kubeletってなんだ?Alibaba Cloudで動かしてみよう
 
Double 11を支えるApsaraDB for Redis (AliEaters #8)
Double 11を支えるApsaraDB for Redis (AliEaters #8)Double 11を支えるApsaraDB for Redis (AliEaters #8)
Double 11を支えるApsaraDB for Redis (AliEaters #8)
 
DockerMeetup#26 LT: Alibaba Cloudのコンテナ関連についてちょっとだけ
DockerMeetup#26 LT: Alibaba Cloudのコンテナ関連についてちょっとだけDockerMeetup#26 LT: Alibaba Cloudのコンテナ関連についてちょっとだけ
DockerMeetup#26 LT: Alibaba Cloudのコンテナ関連についてちょっとだけ
 
クラウドエンジニアがどう英語と向き合うか考えた
クラウドエンジニアがどう英語と向き合うか考えたクラウドエンジニアがどう英語と向き合うか考えた
クラウドエンジニアがどう英語と向き合うか考えた
 
AlibabaCloudの紹介とパブリッククラウドでのセキュリティ
AlibabaCloudの紹介とパブリッククラウドでのセキュリティAlibabaCloudの紹介とパブリッククラウドでのセキュリティ
AlibabaCloudの紹介とパブリッククラウドでのセキュリティ
 
Terraform×Rancherでマルチクラウドを一歩すすめる
Terraform×Rancherでマルチクラウドを一歩すすめるTerraform×Rancherでマルチクラウドを一歩すすめる
Terraform×Rancherでマルチクラウドを一歩すすめる
 
【LT用前編】Rancherでマルチクラウド をやってみた
【LT用前編】Rancherでマルチクラウド をやってみた【LT用前編】Rancherでマルチクラウド をやってみた
【LT用前編】Rancherでマルチクラウド をやってみた
 
test
testtest
test
 
授業用Twitterクライアント・アーカイブシステムの開発とその評価
授業用Twitterクライアント・アーカイブシステムの開発とその評価授業用Twitterクライアント・アーカイブシステムの開発とその評価
授業用Twitterクライアント・アーカイブシステムの開発とその評価
 

知られざる、Alibaba Cloudを支えるオープンソース