hbaseconasia2019 The Practice in trillion-level Video Storage and billion-level User Analysis at Kuaishou's HBase
•
0 j'aime•208 vues
Xu Ming Track 3: Applications https://open.mi.com/conference/hbasecon-asia-2019 THE COMMUNITY EVENT FOR APACHE HBASE™ July 20th, 2019 - Sheraton Hotel, Beijing, China https://hbase.apache.org/hbaseconasia-2019/
Signaler
Partager
Signaler
Partager
Télécharger pour lire hors ligne
Recommandé
hbaseconasia2019 HBase Table Monitoring and Troubleshooting System on Cloud
Long Chen
Track 3: Applications
https://open.mi.com/conference/hbasecon-asia-2019
THE COMMUNITY EVENT FOR APACHE HBASE™
July 20th, 2019 - Sheraton Hotel, Beijing, China
https://hbase.apache.org/hbaseconasia-2019/
hbaseconasia2019 Recent work on HBase at Pinterest
Lianghong Xu
Track 3: Applications
https://open.mi.com/conference/hbasecon-asia-2019
THE COMMUNITY EVENT FOR APACHE HBASE™
July 20th, 2019 - Sheraton Hotel, Beijing, China
https://hbase.apache.org/hbaseconasia-2019/
hbaseconasia2019 Phoenix Practice in China Life Insurance Co., Ltd
Yechao Chen
Track 3: Applications
https://open.mi.com/conference/hbasecon-asia-2019
THE COMMUNITY EVENT FOR APACHE HBASE™
July 20th, 2019 - Sheraton Hotel, Beijing, China
https://hbase.apache.org/hbaseconasia-2019/
hbaseconasia2019 HBase at Didi
TianHang Tang
Track 3: Applications
https://open.mi.com/conference/hbasecon-asia-2019
THE COMMUNITY EVENT FOR APACHE HBASE™
July 20th, 2019 - Sheraton Hotel, Beijing, China
https://hbase.apache.org/hbaseconasia-2019/
hbaseconasia2019 HBase at Tencent
Andrew Cheng
Track 3: Applications
https://open.mi.com/conference/hbasecon-asia-2019
THE COMMUNITY EVENT FOR APACHE HBASE™
July 20th, 2019 - Sheraton Hotel, Beijing, China
https://hbase.apache.org/hbaseconasia-2019/
hbaseconasia2019 Spatio temporal Data Management based on Ali-HBase Ganos and...
Fei Xiao of Alibaba
Track 2: Ecology and Solutions
https://open.mi.com/conference/hbasecon-asia-2019
THE COMMUNITY EVENT FOR APACHE HBASE™
July 20th, 2019 - Sheraton Hotel, Beijing, China
https://hbase.apache.org/hbaseconasia-2019/
Recommandé
hbaseconasia2019 HBase Table Monitoring and Troubleshooting System on Cloud
Long Chen
Track 3: Applications
https://open.mi.com/conference/hbasecon-asia-2019
THE COMMUNITY EVENT FOR APACHE HBASE™
July 20th, 2019 - Sheraton Hotel, Beijing, China
https://hbase.apache.org/hbaseconasia-2019/
hbaseconasia2019 Recent work on HBase at Pinterest
Lianghong Xu
Track 3: Applications
https://open.mi.com/conference/hbasecon-asia-2019
THE COMMUNITY EVENT FOR APACHE HBASE™
July 20th, 2019 - Sheraton Hotel, Beijing, China
https://hbase.apache.org/hbaseconasia-2019/
hbaseconasia2019 Phoenix Practice in China Life Insurance Co., Ltd
Yechao Chen
Track 3: Applications
https://open.mi.com/conference/hbasecon-asia-2019
THE COMMUNITY EVENT FOR APACHE HBASE™
July 20th, 2019 - Sheraton Hotel, Beijing, China
https://hbase.apache.org/hbaseconasia-2019/
hbaseconasia2019 HBase at Didi
TianHang Tang
Track 3: Applications
https://open.mi.com/conference/hbasecon-asia-2019
THE COMMUNITY EVENT FOR APACHE HBASE™
July 20th, 2019 - Sheraton Hotel, Beijing, China
https://hbase.apache.org/hbaseconasia-2019/
hbaseconasia2019 HBase at Tencent
Andrew Cheng
Track 3: Applications
https://open.mi.com/conference/hbasecon-asia-2019
THE COMMUNITY EVENT FOR APACHE HBASE™
July 20th, 2019 - Sheraton Hotel, Beijing, China
https://hbase.apache.org/hbaseconasia-2019/
hbaseconasia2019 Spatio temporal Data Management based on Ali-HBase Ganos and...
Fei Xiao of Alibaba
Track 2: Ecology and Solutions
https://open.mi.com/conference/hbasecon-asia-2019
THE COMMUNITY EVENT FOR APACHE HBASE™
July 20th, 2019 - Sheraton Hotel, Beijing, China
https://hbase.apache.org/hbaseconasia-2019/
hbaseconasia2019 Bridging the Gap between Big Data System Software Stack and ...
Huan-Ping Su (蘇桓平), Yi-Sheng Lien (連奕盛) National Cheng Kung University
Track 2: Ecology and Solutions
https://open.mi.com/conference/hbasecon-asia-2019
THE COMMUNITY EVENT FOR APACHE HBASE™
July 20th, 2019 - Sheraton Hotel, Beijing, China
https://hbase.apache.org/hbaseconasia-2019/
hbaseconasia2019 Pharos as a Pluggable Secondary Index Component
Lei Wang China Everbright Bank
Track 2: Ecology and Solutions
https://open.mi.com/conference/hbasecon-asia-2019
THE COMMUNITY EVENT FOR APACHE HBASE™
July 20th, 2019 - Sheraton Hotel, Beijing, China
https://hbase.apache.org/hbaseconasia-2019/
hbaseconasia2019 Phoenix Improvements and Practices on Cloud HBase at Alibaba
Yun Zhang
Track 2: Ecology and Solutions
https://open.mi.com/conference/hbasecon-asia-2019
THE COMMUNITY EVENT FOR APACHE HBASE™
July 20th, 2019 - Sheraton Hotel, Beijing, China
https://hbase.apache.org/hbaseconasia-2019/
hbaseconasia2019 OpenTSDB at Xiaomi
Junhong Xu of Xiaomi
Track 2: Ecology and Solutions
https://open.mi.com/conference/hbasecon-asia-2019
THE COMMUNITY EVENT FOR APACHE HBASE™
July 20th, 2019 - Sheraton Hotel, Beijing, China
https://hbase.apache.org/hbaseconasia-2019/
hbaseconasia2019 BigData NoSQL System: ApsaraDB, HBase and Spark
Wei Li of Alibaba
Track 2: Ecology and Solutions
https://open.mi.com/conference/hbasecon-asia-2019
THE COMMUNITY EVENT FOR APACHE HBASE™
July 20th, 2019 - Sheraton Hotel, Beijing, China
https://hbase.apache.org/hbaseconasia-2019/
hbaseconasia2019 Test-suite for Automating Data-consistency checks on HBase
Pradeep S, Mallikarjun V of Flipkart
Track 1: Internals
https://open.mi.com/conference/hbasecon-asia-2019
THE COMMUNITY EVENT FOR APACHE HBASE™
July 20th, 2019 - Sheraton Hotel, Beijing, China
https://hbase.apache.org/hbaseconasia-2019/
hbaseconasia2019 Distributed Bitmap Index Solution
Xingjun Hao of Huawei
Track 1: Internals
https://open.mi.com/conference/hbasecon-asia-2019
THE COMMUNITY EVENT FOR APACHE HBASE™
July 20th, 2019 - Sheraton Hotel, Beijing, China
https://hbase.apache.org/hbaseconasia-2019/
hbaseconasia2019 HBase Bucket Cache on Persistent Memory
Anoop Sam John, Ramkrishna S Vasudevan, and Xu Kai of Intel
Track 1: Internals
https://open.mi.com/conference/hbasecon-asia-2019
THE COMMUNITY EVENT FOR APACHE HBASE™
July 20th, 2019 - Sheraton Hotel, Beijing, China
https://hbase.apache.org/hbaseconasia-2019/
hbaseconasia2019 The Procedure v2 Implementation of WAL Splitting and ACL
Mei Yi of Xiaomi
Track 1: Internals
https://open.mi.com/conference/hbasecon-asia-2019
THE COMMUNITY EVENT FOR APACHE HBASE™
July 20th, 2019 - Sheraton Hotel, Beijing, China
https://hbase.apache.org/hbaseconasia-2019/
hbaseconasia2019 BDS: A data synchronization platform for HBase
熊嘉男
Track 1: Internals
https://open.mi.com/conference/hbasecon-asia-2019
THE COMMUNITY EVENT FOR APACHE HBASE™
July 20th, 2019 - Sheraton Hotel, Beijing, China
https://hbase.apache.org/hbaseconasia-2019/
hbaseconasia2019 Further GC optimization for HBase 2.x: Reading HFileBlock in...
Anoop Sam John of Intel and Zheng Hu of Alibaba
Track 1: Internals
https://open.mi.com/conference/hbasecon-asia-2019
THE COMMUNITY EVENT FOR APACHE HBASE™
July 20th, 2019 - Sheraton Hotel, Beijing, China
https://hbase.apache.org/hbaseconasia-2019/
hbaseconasia2019 HBCK2: Concepts, trends, and recipes for fixing issues in HB...
The document discusses HBCK2, a tool for fixing issues in HBase 2. Some key points:
1. HBCK2 is simpler than HBCK1, with fewer fix commands and no diagnosis commands. It requires a deeper understanding of HBase internals.
2. HBCK2 commands are master-oriented and fix issues one at a time. Common issues include regions not online, stuck procedures, and tables in the wrong state.
3. Recipes are provided to fix specific issues like missing meta regions or regions in transition using HBCK2 commands like assigns and bypass.
4. HBCK2 is still a work in progress but contributions are welcome
HBaseConAsia2019 Keynote
Keynote given by Duo Zhang of Xiaomi and Chunhui Shen of Alibab
Track 1: Internals
https://open.mi.com/conference/hbasecon-asia-2019
THE COMMUNITY EVENT FOR APACHE HBASE™
July 20th, 2019 - Sheraton Hotel, Beijing, China
https://hbase.apache.org/hbaseconasia-2019/
HBaseConAsia2018 Track3-1: Serving billions of queries in millisecond latencies
This document discusses how Bloomberg uses HBase to serve billions of queries with millisecond latency. It covers HBase principles like being an ordered key-value store and providing ACID transactions. It also discusses modeling data for HBase, including dealing with data and query skew. Implementation details covered include caching, block size tuning, column families, and compaction. The overall goal is to optimize HBase for Bloomberg's low-latency data storage and retrieval needs.
HBaseConAsia2018 Track1-3: HBase at Xiaomi
This document summarizes Xiaomi's implementation and use of HBase for data storage. It discusses Xiaomi's HBase clusters across multiple public cloud providers and data centers. It also describes Xiaomi's approaches to multi-tenancy, quota and throttling, synchronous replication between clusters, and high availability in the case of node or cluster failures. Synchronous replication provides stronger consistency guarantees but with some performance overhead compared to asynchronous replication.
HBaseConAsia2018 Track1-1: Use CCSMap to improve HBase YGC time
CCSMap is a new data structure introduced by Alibaba to improve the performance of HBase. It aims to reduce the overhead of the default Java ConcurrentSkipListMap (CSLM) data structure and improve young garbage collection times. CCSMap chunks data into fixed size blocks for better memory management and uses direct pointers between nodes for faster access. It also provides various configuration options. Alibaba has achieved significant performance gains using CCSMap in HBase, including reduced young GC times, and it continues working to integrate CCSMap further and add new features.
HBaseConAsia2018 Track2-6: Scaling 30TB's of data lake with Apache HBase and ...
This document summarizes a presentation on scaling a 30 TB data lake using Apache HBase and Scala. It introduces Apache HBase and Spark as technologies for building fast data platforms. It then describes a case study where they were used to architect a retail analytics platform capable of processing 4.6 billion events weekly from 30 TB of historical data. Key aspects included using HBase for data deduplication and as a master data management system, and connecting Spark to HBase using a Scala DSL for efficient querying and updates at scale. Performance was improved 5x by reengineering the data pipeline to be highly concurrent and asynchronous.
HBaseConAsia2018 Track3-3: HBase at China Life Insurance
This document summarizes an HBase practice presentation at China Life Insurance Co., Ltd. It discusses scenarios for HBase integration, processing, querying, and exporting data. It also covers optimizations to the HBase cluster configuration and for writing and reading. Problems addressed include table copy failures and compactions that never end. Future work may involve using Phoenix for real-time querying and integrating real-time data sources like Kafka.
HBaseConAsia2018 Track3-2: HBase at China Telecom
HBase is used at China Telecom for various applications including persistence for streaming jobs, online reading and writing, and as a data store for their core system. They operate several HBase clusters storing over 500 TB of data ingesting 1 TB per day. They monitor HBase using Ganglia for basic metrics and Zabbix for critical alerts. When issues arise, such as a system hang, they investigate debug cases and perform optimizations like changing the garbage collector from CMS to G1 and implementing read/write splitting.
HBaseConAsia2018: Track2-5: JanusGraph-Distributed graph database with HBase
This document provides an introduction to JanusGraph, an open source distributed graph database that can be used with Apache HBase for storage. It begins with background on graph databases and their structures, such as vertices, edges, properties, and different storage models. It then discusses JanusGraph's architecture, support for the TinkerPop graph computing framework, and schema and data modeling capabilities. Details are given on partitioning graphs across servers and using different indexing approaches. The document concludes by explaining why HBase is a good storage backend for JanusGraph and providing examples of how the data model would be structured within HBase.
Stratégies pour accroître la visibilité et l'engagement de votre blog
Dans la présentation proposée, vous explorerez les fondamentaux et les stratégies essentielles pour augmenter la visibilité de votre blog. Voici une élaboration détaillée sur les différents aspects qui seront abordés:
Nous débuterons par des techniques de promotion essentielles. Cela inclut l'utilisation des réseaux sociaux, le networking avec d'autres blogueurs, et la participation à des forums et des groupes en ligne pertinents. L'objectif est de créer une présence initiale qui capte l'attention.
Ensuite, nous discuterons de méthodes pour augmenter le trafic vers votre site. Cela comprend le marketing de contenu, lequel implique la création d'articles intéressants, pertinents et utiles qui répondent aux questions de votre audience cible. Nous aborderons également l'importance de l'email marketing et des newsletters pour attirer régulièrement des visiteurs.
Fidéliser votre audience est important pour assurer le succès à long terme de votre blog. Nous explorerons des techniques telles que l'offre de contenu exclusif, la mise en place de programmes de fidélité, et la régularité des publications. Engager activement vos lecteurs via les commentaires et les réseaux sociaux sera également discuté.
Un des aspects les plus techniques mais essentiels est le référencement naturel, ou SEO (Search Engine Optimization). Vous apprendrez comment optimiser vos articles de blog et votre site pour améliorer votre classement dans les résultats des moteurs de recherche comme Google et Yahoo. Cela inclut l'optimisation des mots-clés, la création de liens retour (backlinks), l'amélioration de la vitesse de chargement du site, et plus encore.
Les logiciels libres : une opportunite pour votre entreprise?
L'utilisation des logiciels libres se généralise dans le milieu professionnel, notamment avec l'intégration croissante de logiciels de gestion, de comptabilité et administratifs. Vous découvrirez les principaux points abordés lors de la conférence.
La conférence intitulée « Les logiciels libres, une opportunité pour votre entreprise ? » visait à explorer le potentiel des logiciels libres dans le milieu des affaires.
Dans cette présentation, j'ai principalement mis en avant les avantages des logiciels libres pour les entreprises, tout en abordant certains éléments de manière plus spectaculaire.
L'objectif n'était pas de présenter exhaustivement tous les avantages et désavantages, mais plutôt :
- De simplifier le sujet pour un public découvrant les logiciels libres, potentiellement composé de futurs entrepreneurs.
- De favoriser une session de questions/réponses, durant laquelle nous avons discuté plus objectivement et en détail des avantages et désavantages. Cette session a duré environ une heure.
- De présenter les logiciels libres sous un jour favorable pour inciter les participants à les explorer davantage.
Pour approfondir vos connaissances sur les logiciels libres dans les entreprises, je vous recommande de consulter :
- Un dossier complet sur les logiciels libres dans les entreprises (un document PDF de plus de 80 pages).
Vous pouvez également lire ces articles pour en savoir plus :
- Quels usages des logiciels libres dans les entreprises ?
- L'entreprise doit-elle adopter les logiciels libres ?
- Logiciels libres et entreprise.
La discussion est maintenant ouverte. Quelle est votre perspective sur l'utilisation des logiciels libres dans les entreprises ? Quels sont, selon vous, leurs avantages et leurs inconvénients ? Y a-t-il des écueils à éviter ?
Le gros titres des slides:
Les Logiciels Libres : Une Opportunité Pour Les Entreprises ?
Les logiciels propriétaires ? ● (aussi appelées logiciels privateurs) ● Propriétaire = Un logiciel qui n’est pas ”libre”. ● En général (il y a des variantes) : – Il est interdit de le partager – Droit seulement de l’utiliser – Code source fermé – En général payant
Les Logiciels Libres : Une Opportunité Pour Les Entreprises ?
Les logiciels propriétaires ? ● (aussi appelées logiciels privateurs) ● Propriétaire = Un logiciel qui n’est pas ”libre”. ● En général (il y a des variantes) : – Il est interdit de le partager – Droit seulement de l’utiliser – Code source fermé – En général payant
Les Licences Open Source ● Plus de droits: BSD, X, MIT ● Libres, avec conditions : GPL, LGPL ● Autres licences : Art Libre, Creative Common…
Le logiciel libre, selon la FSF (4 libertés de la GPL) ● Exécuter sans restriction ● Étudier son fonctionnement ● Redistribuer des copies (même payantes) ● Améliorer le programme et publier les améliorations
Comment s’ont développés les logiciels libres ? ● Bénévoles – Organisés (GNU, Apache) – Isolés ● Entreprises – QT – OpenERP ● Divers profiles : – Traducteur – Développeur –
Contenu connexe
Plus de Michael Stack
hbaseconasia2019 Bridging the Gap between Big Data System Software Stack and ...
Huan-Ping Su (蘇桓平), Yi-Sheng Lien (連奕盛) National Cheng Kung University
Track 2: Ecology and Solutions
https://open.mi.com/conference/hbasecon-asia-2019
THE COMMUNITY EVENT FOR APACHE HBASE™
July 20th, 2019 - Sheraton Hotel, Beijing, China
https://hbase.apache.org/hbaseconasia-2019/
hbaseconasia2019 Pharos as a Pluggable Secondary Index Component
Lei Wang China Everbright Bank
Track 2: Ecology and Solutions
https://open.mi.com/conference/hbasecon-asia-2019
THE COMMUNITY EVENT FOR APACHE HBASE™
July 20th, 2019 - Sheraton Hotel, Beijing, China
https://hbase.apache.org/hbaseconasia-2019/
hbaseconasia2019 Phoenix Improvements and Practices on Cloud HBase at Alibaba
Yun Zhang
Track 2: Ecology and Solutions
https://open.mi.com/conference/hbasecon-asia-2019
THE COMMUNITY EVENT FOR APACHE HBASE™
July 20th, 2019 - Sheraton Hotel, Beijing, China
https://hbase.apache.org/hbaseconasia-2019/
hbaseconasia2019 OpenTSDB at Xiaomi
Junhong Xu of Xiaomi
Track 2: Ecology and Solutions
https://open.mi.com/conference/hbasecon-asia-2019
THE COMMUNITY EVENT FOR APACHE HBASE™
July 20th, 2019 - Sheraton Hotel, Beijing, China
https://hbase.apache.org/hbaseconasia-2019/
hbaseconasia2019 BigData NoSQL System: ApsaraDB, HBase and Spark
Wei Li of Alibaba
Track 2: Ecology and Solutions
https://open.mi.com/conference/hbasecon-asia-2019
THE COMMUNITY EVENT FOR APACHE HBASE™
July 20th, 2019 - Sheraton Hotel, Beijing, China
https://hbase.apache.org/hbaseconasia-2019/
hbaseconasia2019 Test-suite for Automating Data-consistency checks on HBase
Pradeep S, Mallikarjun V of Flipkart
Track 1: Internals
https://open.mi.com/conference/hbasecon-asia-2019
THE COMMUNITY EVENT FOR APACHE HBASE™
July 20th, 2019 - Sheraton Hotel, Beijing, China
https://hbase.apache.org/hbaseconasia-2019/
hbaseconasia2019 Distributed Bitmap Index Solution
Xingjun Hao of Huawei
Track 1: Internals
https://open.mi.com/conference/hbasecon-asia-2019
THE COMMUNITY EVENT FOR APACHE HBASE™
July 20th, 2019 - Sheraton Hotel, Beijing, China
https://hbase.apache.org/hbaseconasia-2019/
hbaseconasia2019 HBase Bucket Cache on Persistent Memory
Anoop Sam John, Ramkrishna S Vasudevan, and Xu Kai of Intel
Track 1: Internals
https://open.mi.com/conference/hbasecon-asia-2019
THE COMMUNITY EVENT FOR APACHE HBASE™
July 20th, 2019 - Sheraton Hotel, Beijing, China
https://hbase.apache.org/hbaseconasia-2019/
hbaseconasia2019 The Procedure v2 Implementation of WAL Splitting and ACL
Mei Yi of Xiaomi
Track 1: Internals
https://open.mi.com/conference/hbasecon-asia-2019
THE COMMUNITY EVENT FOR APACHE HBASE™
July 20th, 2019 - Sheraton Hotel, Beijing, China
https://hbase.apache.org/hbaseconasia-2019/
hbaseconasia2019 BDS: A data synchronization platform for HBase
熊嘉男
Track 1: Internals
https://open.mi.com/conference/hbasecon-asia-2019
THE COMMUNITY EVENT FOR APACHE HBASE™
July 20th, 2019 - Sheraton Hotel, Beijing, China
https://hbase.apache.org/hbaseconasia-2019/
hbaseconasia2019 Further GC optimization for HBase 2.x: Reading HFileBlock in...
Anoop Sam John of Intel and Zheng Hu of Alibaba
Track 1: Internals
https://open.mi.com/conference/hbasecon-asia-2019
THE COMMUNITY EVENT FOR APACHE HBASE™
July 20th, 2019 - Sheraton Hotel, Beijing, China
https://hbase.apache.org/hbaseconasia-2019/
hbaseconasia2019 HBCK2: Concepts, trends, and recipes for fixing issues in HB...
The document discusses HBCK2, a tool for fixing issues in HBase 2. Some key points:
1. HBCK2 is simpler than HBCK1, with fewer fix commands and no diagnosis commands. It requires a deeper understanding of HBase internals.
2. HBCK2 commands are master-oriented and fix issues one at a time. Common issues include regions not online, stuck procedures, and tables in the wrong state.
3. Recipes are provided to fix specific issues like missing meta regions or regions in transition using HBCK2 commands like assigns and bypass.
4. HBCK2 is still a work in progress but contributions are welcome
HBaseConAsia2019 Keynote
Keynote given by Duo Zhang of Xiaomi and Chunhui Shen of Alibab
Track 1: Internals
https://open.mi.com/conference/hbasecon-asia-2019
THE COMMUNITY EVENT FOR APACHE HBASE™
July 20th, 2019 - Sheraton Hotel, Beijing, China
https://hbase.apache.org/hbaseconasia-2019/
HBaseConAsia2018 Track3-1: Serving billions of queries in millisecond latencies
This document discusses how Bloomberg uses HBase to serve billions of queries with millisecond latency. It covers HBase principles like being an ordered key-value store and providing ACID transactions. It also discusses modeling data for HBase, including dealing with data and query skew. Implementation details covered include caching, block size tuning, column families, and compaction. The overall goal is to optimize HBase for Bloomberg's low-latency data storage and retrieval needs.
HBaseConAsia2018 Track1-3: HBase at Xiaomi
This document summarizes Xiaomi's implementation and use of HBase for data storage. It discusses Xiaomi's HBase clusters across multiple public cloud providers and data centers. It also describes Xiaomi's approaches to multi-tenancy, quota and throttling, synchronous replication between clusters, and high availability in the case of node or cluster failures. Synchronous replication provides stronger consistency guarantees but with some performance overhead compared to asynchronous replication.
HBaseConAsia2018 Track1-1: Use CCSMap to improve HBase YGC time
CCSMap is a new data structure introduced by Alibaba to improve the performance of HBase. It aims to reduce the overhead of the default Java ConcurrentSkipListMap (CSLM) data structure and improve young garbage collection times. CCSMap chunks data into fixed size blocks for better memory management and uses direct pointers between nodes for faster access. It also provides various configuration options. Alibaba has achieved significant performance gains using CCSMap in HBase, including reduced young GC times, and it continues working to integrate CCSMap further and add new features.
HBaseConAsia2018 Track2-6: Scaling 30TB's of data lake with Apache HBase and ...
This document summarizes a presentation on scaling a 30 TB data lake using Apache HBase and Scala. It introduces Apache HBase and Spark as technologies for building fast data platforms. It then describes a case study where they were used to architect a retail analytics platform capable of processing 4.6 billion events weekly from 30 TB of historical data. Key aspects included using HBase for data deduplication and as a master data management system, and connecting Spark to HBase using a Scala DSL for efficient querying and updates at scale. Performance was improved 5x by reengineering the data pipeline to be highly concurrent and asynchronous.
HBaseConAsia2018 Track3-3: HBase at China Life Insurance
This document summarizes an HBase practice presentation at China Life Insurance Co., Ltd. It discusses scenarios for HBase integration, processing, querying, and exporting data. It also covers optimizations to the HBase cluster configuration and for writing and reading. Problems addressed include table copy failures and compactions that never end. Future work may involve using Phoenix for real-time querying and integrating real-time data sources like Kafka.
HBaseConAsia2018 Track3-2: HBase at China Telecom
HBase is used at China Telecom for various applications including persistence for streaming jobs, online reading and writing, and as a data store for their core system. They operate several HBase clusters storing over 500 TB of data ingesting 1 TB per day. They monitor HBase using Ganglia for basic metrics and Zabbix for critical alerts. When issues arise, such as a system hang, they investigate debug cases and perform optimizations like changing the garbage collector from CMS to G1 and implementing read/write splitting.
HBaseConAsia2018: Track2-5: JanusGraph-Distributed graph database with HBase
This document provides an introduction to JanusGraph, an open source distributed graph database that can be used with Apache HBase for storage. It begins with background on graph databases and their structures, such as vertices, edges, properties, and different storage models. It then discusses JanusGraph's architecture, support for the TinkerPop graph computing framework, and schema and data modeling capabilities. Details are given on partitioning graphs across servers and using different indexing approaches. The document concludes by explaining why HBase is a good storage backend for JanusGraph and providing examples of how the data model would be structured within HBase.
Plus de Michael Stack (20)
hbaseconasia2019 Bridging the Gap between Big Data System Software Stack and ...
hbaseconasia2019 Bridging the Gap between Big Data System Software Stack and ...
hbaseconasia2019 Pharos as a Pluggable Secondary Index Component
hbaseconasia2019 Pharos as a Pluggable Secondary Index Component
hbaseconasia2019 Phoenix Improvements and Practices on Cloud HBase at Alibaba
hbaseconasia2019 Phoenix Improvements and Practices on Cloud HBase at Alibaba
hbaseconasia2019 BigData NoSQL System: ApsaraDB, HBase and Spark
hbaseconasia2019 BigData NoSQL System: ApsaraDB, HBase and Spark
hbaseconasia2019 Test-suite for Automating Data-consistency checks on HBase
hbaseconasia2019 Test-suite for Automating Data-consistency checks on HBase
hbaseconasia2019 Distributed Bitmap Index Solution
hbaseconasia2019 Distributed Bitmap Index Solution
hbaseconasia2019 HBase Bucket Cache on Persistent Memory
hbaseconasia2019 HBase Bucket Cache on Persistent Memory
hbaseconasia2019 The Procedure v2 Implementation of WAL Splitting and ACL
hbaseconasia2019 The Procedure v2 Implementation of WAL Splitting and ACL
hbaseconasia2019 BDS: A data synchronization platform for HBase
hbaseconasia2019 BDS: A data synchronization platform for HBase
hbaseconasia2019 Further GC optimization for HBase 2.x: Reading HFileBlock in...
hbaseconasia2019 Further GC optimization for HBase 2.x: Reading HFileBlock in...
hbaseconasia2019 HBCK2: Concepts, trends, and recipes for fixing issues in HB...
hbaseconasia2019 HBCK2: Concepts, trends, and recipes for fixing issues in HB...
HBaseConAsia2018 Track3-1: Serving billions of queries in millisecond latencies
HBaseConAsia2018 Track3-1: Serving billions of queries in millisecond latencies
HBaseConAsia2018 Track1-1: Use CCSMap to improve HBase YGC time
HBaseConAsia2018 Track1-1: Use CCSMap to improve HBase YGC time
HBaseConAsia2018 Track2-6: Scaling 30TB's of data lake with Apache HBase and ...
HBaseConAsia2018 Track2-6: Scaling 30TB's of data lake with Apache HBase and ...
HBaseConAsia2018 Track3-3: HBase at China Life Insurance
HBaseConAsia2018 Track3-3: HBase at China Life Insurance
HBaseConAsia2018: Track2-5: JanusGraph-Distributed graph database with HBase
HBaseConAsia2018: Track2-5: JanusGraph-Distributed graph database with HBase
Dernier
Stratégies pour accroître la visibilité et l'engagement de votre blog
Dans la présentation proposée, vous explorerez les fondamentaux et les stratégies essentielles pour augmenter la visibilité de votre blog. Voici une élaboration détaillée sur les différents aspects qui seront abordés:
Nous débuterons par des techniques de promotion essentielles. Cela inclut l'utilisation des réseaux sociaux, le networking avec d'autres blogueurs, et la participation à des forums et des groupes en ligne pertinents. L'objectif est de créer une présence initiale qui capte l'attention.
Ensuite, nous discuterons de méthodes pour augmenter le trafic vers votre site. Cela comprend le marketing de contenu, lequel implique la création d'articles intéressants, pertinents et utiles qui répondent aux questions de votre audience cible. Nous aborderons également l'importance de l'email marketing et des newsletters pour attirer régulièrement des visiteurs.
Fidéliser votre audience est important pour assurer le succès à long terme de votre blog. Nous explorerons des techniques telles que l'offre de contenu exclusif, la mise en place de programmes de fidélité, et la régularité des publications. Engager activement vos lecteurs via les commentaires et les réseaux sociaux sera également discuté.
Un des aspects les plus techniques mais essentiels est le référencement naturel, ou SEO (Search Engine Optimization). Vous apprendrez comment optimiser vos articles de blog et votre site pour améliorer votre classement dans les résultats des moteurs de recherche comme Google et Yahoo. Cela inclut l'optimisation des mots-clés, la création de liens retour (backlinks), l'amélioration de la vitesse de chargement du site, et plus encore.
Les logiciels libres : une opportunite pour votre entreprise?
L'utilisation des logiciels libres se généralise dans le milieu professionnel, notamment avec l'intégration croissante de logiciels de gestion, de comptabilité et administratifs. Vous découvrirez les principaux points abordés lors de la conférence.
La conférence intitulée « Les logiciels libres, une opportunité pour votre entreprise ? » visait à explorer le potentiel des logiciels libres dans le milieu des affaires.
Dans cette présentation, j'ai principalement mis en avant les avantages des logiciels libres pour les entreprises, tout en abordant certains éléments de manière plus spectaculaire.
L'objectif n'était pas de présenter exhaustivement tous les avantages et désavantages, mais plutôt :
- De simplifier le sujet pour un public découvrant les logiciels libres, potentiellement composé de futurs entrepreneurs.
- De favoriser une session de questions/réponses, durant laquelle nous avons discuté plus objectivement et en détail des avantages et désavantages. Cette session a duré environ une heure.
- De présenter les logiciels libres sous un jour favorable pour inciter les participants à les explorer davantage.
Pour approfondir vos connaissances sur les logiciels libres dans les entreprises, je vous recommande de consulter :
- Un dossier complet sur les logiciels libres dans les entreprises (un document PDF de plus de 80 pages).
Vous pouvez également lire ces articles pour en savoir plus :
- Quels usages des logiciels libres dans les entreprises ?
- L'entreprise doit-elle adopter les logiciels libres ?
- Logiciels libres et entreprise.
La discussion est maintenant ouverte. Quelle est votre perspective sur l'utilisation des logiciels libres dans les entreprises ? Quels sont, selon vous, leurs avantages et leurs inconvénients ? Y a-t-il des écueils à éviter ?
Le gros titres des slides:
Les Logiciels Libres : Une Opportunité Pour Les Entreprises ?
Les logiciels propriétaires ? ● (aussi appelées logiciels privateurs) ● Propriétaire = Un logiciel qui n’est pas ”libre”. ● En général (il y a des variantes) : – Il est interdit de le partager – Droit seulement de l’utiliser – Code source fermé – En général payant
Les Logiciels Libres : Une Opportunité Pour Les Entreprises ?
Les logiciels propriétaires ? ● (aussi appelées logiciels privateurs) ● Propriétaire = Un logiciel qui n’est pas ”libre”. ● En général (il y a des variantes) : – Il est interdit de le partager – Droit seulement de l’utiliser – Code source fermé – En général payant
Les Licences Open Source ● Plus de droits: BSD, X, MIT ● Libres, avec conditions : GPL, LGPL ● Autres licences : Art Libre, Creative Common…
Le logiciel libre, selon la FSF (4 libertés de la GPL) ● Exécuter sans restriction ● Étudier son fonctionnement ● Redistribuer des copies (même payantes) ● Améliorer le programme et publier les améliorations
Comment s’ont développés les logiciels libres ? ● Bénévoles – Organisés (GNU, Apache) – Isolés ● Entreprises – QT – OpenERP ● Divers profiles : – Traducteur – Développeur –
Requetes ecommerce - les différences US vs Europe.pptx
Beaucoup de fonctionnalités présentes sur les requêtes ecommerce sur les SERPs de Google aux USA, n'existent pas encore sur Google FR. La faute au RGPD, au DMA, mais cela peut arriver sous une autre forme en France, avec un impact potentiel non négligeable sur l'e-commerce
Utiliser les outils numériques créatifs pour valoriser sa médiathèque
Support de la formation du vendredi 7 juin 2024 pour Médiadix à destination de 12 bibliothécaires en BM/BU.
Google - les nouvelles regles du jeu.pptx
Les dernières core update, l'arrivée de l'IA dans l'algorithme, les HCU, les product revienws upates ont sérieusement mis à mal l'efficacité des vieilles méthodes SEO. Il faut passer à autre chose...
Netflix, OCS et Disney avec ou sans engagement
La télévision fait partie intégrante de notre quotidien. Avec l'évolution de la technologie, notre manière de consommer le contenu télévisuel a changé de manière significative. L'une des innovations les plus remarquables dans ce domaine est l'IPTV. Mais qu'est-ce que c'est exactement ? Et pourquoi l'ABO IPTV PREMIUM est-il si révolutionnaire ? Découvrons ensemble.
ABO IPTV PREMIUM peut également être utilisé sur des ordinateurs portables, des PC de bureau et même des consoles de jeux.
Regardez vos émissions préférées en déplacement grâce aux applications mobiles disponibles pour iOS et Android.
Que vous ayez une Smart TV Samsung, LG, ou autre, ABO IPTV PREMIUM est compatible avec la plupart des téléviseurs intelligents.
Actu du SEO - Matin Népérien Lille - Agence Neper
L'actu du SEO présentée lors du Matin Népérien de Lille le 4 janvier 2024.
On a parlé DMA, AI Act, Cookies Tiers, des Core Update de Mars, AI Overviews, Bots Google et Crawl, et bien sûr ... des Google Leaks
Dernier (7)
Stratégies pour accroître la visibilité et l'engagement de votre blog
Stratégies pour accroître la visibilité et l'engagement de votre blog
Les logiciels libres : une opportunite pour votre entreprise?
Les logiciels libres : une opportunite pour votre entreprise?
Requetes ecommerce - les différences US vs Europe.pptx
Requetes ecommerce - les différences US vs Europe.pptx
Utiliser les outils numériques créatifs pour valoriser sa médiathèque
Utiliser les outils numériques créatifs pour valoriser sa médiathèque
hbaseconasia2019 The Practice in trillion-level Video Storage and billion-level User Analysis at Kuaishou's HBase
- 3. • • • •
- 5. • • • •
- 9. & • •
- 10. & • • • •
- 11. & l l
- 13. l l • • • • • l
- 14. l l l l
- 15. & & • •
- 17. SELECT DISTINCT COUNT(userId) FROM profile p JOIN favor f on f.userid=p.userid JOIN action a on a.userId=f.userId WHERE p.city=‘beijing’ AND f.favorite LIKE ‘%music%’ AND a.live LIKE ‘%send gift%’ and dt =‘20190101’
- 18. 2 440510 -807 09059365 • • • 09059365 6 : : 4 907 : 4 907 : 4 907 : 4 907 : 4 907 : 4 907 % % % % % % % % % % % % %
- 20. l l l l
- 21. l l
- 23. ?
- 24. l l l ✓ ✓ ✓
- 25. l l .0 0 0 .0 0 0 .0 0 0 0 0 . 1 03 . 0 . 3
- 29. l l l
- 30. !