SlideShare une entreprise Scribd logo
1  sur  91
海量資料:行動運算的最後一塊拚圖
      海量資料:行動運算的最後一塊拚圖
From WSN to Mobile Computing, Big Data : The Missing Puzzle
From WSN to Mobile Computing, Big Data : The Missing Puzzle




  Jazz Wang
   Jazz Wang
Yao-Tsung Wang
Yao-Tsung Wang
   jazz@nchc.org.tw
   jazz@nchc.org.tw
                                                         1
WHO AM I ? 這傢伙是誰啊? JAZZ ?
    WHO AM I ? 這傢伙是誰啊? JAZZ ?
• 講者介紹:
  – 國網中心 王耀聰 副研究員 / 交大電控八九級碩士
  – jazz@nchc.org.tw
• 所有投影片、參考資料與操作步驟均在網路上
  – http://trac.nchc.org.tw/cloud
  – 由於雲端資訊變動太快,愛護地球,請減少不必要之列印。

                         行動力薄弱的開發者
 FOSS 使用者                   TRTC WSU/
 Debian/Ubutnu               Haduzilla /
  Access Grid             Hadop4Win / Ezilla
  Motion/VLC
                                推廣者
     Red5
                          DRBL/Clonezilla
 Debian Router
                          Partclone/Tuxboot
DRBL/Clonezilla
                          Hadoop Ecosystem
    Hadoop
                                              2
DECLARATION 內容重點聲明
  DECLARATION 內容重點聲明
        筆者不是行動運算的專家,
    目前筆者的專長是雲端運算相關技術,
      特別是海量資料運算相關技術,
    過去曾經執行過多項感測網路的專案,
   本演講將跟各位分享資料是如何從感測網路
       到行動運算中間的漫長旅途!

  I'm NOT Export of Mobile Computing.
     My current research topics are:
     Cloud Computing and Big Data.
I worked on few WSN projects years ago.
      In this talk, I'm trying to share
   the magic journey of sensor data to
             mobile computing.
                                          3
Agenda 演講大綱
        Agenda 演講大綱

From WSN to IoT?
From WSN to IoT?      物聯網的崛起
                      物聯網的崛起

What is Cloud ?
What is Cloud ?       淺談雲端運算
                      淺談雲端運算

Cloud and Big Data
Cloud and Big Data    雲與海量資料
                      雲與海量資料

Smart City App
Smart City App        智慧城市應用
                      智慧城市應用

How to do in future
How to do in future   打造基礎建設
                      打造基礎建設

   Conclusion
   Conclusion          結論
                       結論
                               4
This is a story about Data Flow
今天要講一個關於
 資料的漫長旅程
資料的漫長旅程 Magic Journey of Data

                     Sensor
                                    雲    資料中心          開放資料




                                                                     Cloud Computing
                                                                     Cloud Computing
                     Networ
                                         提供服務         Open Data
Internet of Things
Internet of Things



                       k



                                                                     雲
物                                                                    端
聯
                                                              端      運
網                                                                算
                                                              各類裝置
                     Smart                                    存取服務
                      Grid            Big Data    Mobile Computing        6
HISTORY
歷史
無線感測器網路 (Wireless Sensor Network)
 感測器網路泛指由各式各樣不同的感測器所組成,
 透過網路鏈結成一大型的資訊蒐集網。

    Video                Camera
              Infrared
                                   Speaker
                Light
                                               Audio

          Photo-         Sensor            Micro-
          meter          Network           phone



   Data      Thermo-               Water
              meter                Gauge
                          Hygro-
                          meter
生態觀測格網 (Ecology Grid)




   http://ecogrid.nchc.org.tw
KenTing Ecosite Geography Topology

                          Taipower
                         Admin office     Optical
                                         connector



 Field server
                            1st camera


            2nd camera


                            3rd camera
KenTing Dataflow and Storage

                                   EcoGrid Website PC

                        HiNet ADSL
                       512K/512K x 2

                       NCHC KM Storage          LAN

KenTing Ecosite PC
                                              Current Usage:
    MPEG-1
                                                90G @ 2004/09/01

                     Tape
                            Disk       Disk
Underwater Camera
Site A
Site B & C
Site B & C
農業格網 (Agriculture Grid)




http://sensor.nchc.org.tw/tounan
Sensor               Camera

  Data                Video
 Logger               Server

                      Access
AP Client
                       Point
                                          Router   TANET
                                                   TANET
               Special Education School
                                          Bridge

                                                               NCHC



                                          Bridge
Field Server       Pigeon House

                       Access
 AP Client                                Router
                        Point

   Data                Video               ADSL
  Logger               Server             moderm   Internet
                                                    Internet

 Sensor               Camera
Electric Wire Post
Electric Wire Post
Passive Field Server
文湖線無線管理單元 (TRTC Neihu WSU)




 http://www.flickr.com/photos/rail02000/5292653579/lightbox/
Wireless Fast Roaming

AP #1              AP #2

                                光纖




      車廂
         攝影機
WSU
        緊急通話
TRENDS
趨勢
物聯網的時代來臨 Internet of Things




圖片來源: Attacks on Mobile and Embedded Systems: Current Trends by Mocana
http://www.techbang.com/posts/1258-wifi-scales-through-the-internet-to-manage-your-weight
智慧電網的新政策 Smart Grid




圖片來源: NIST ,美國國家標準局
The Trends of Cloud Computing
雲端運算的趨勢觀察:搜尋關鍵字熱門度
                                     Google Trends

                                     觀察全球對雲端運算
                                     這個字眼的熱門搜尋
                                     趨勢~

                                     約莫 2007 年開始炒
                                     2011 年到達頂峰
                                     2012 年開始退燒




                                     http://www.google.com/trends
開放資料的新趨勢 Open Data




    http://data.gov.uk/
開放資料的實例 Open Data




http://www.mygonews.com/news/detail/news_id/101779
我個人的開放資料慘痛經驗 Ocean Database




 http://oceandb.info
Agenda 演講大綱
        Agenda 演講大綱

From WSN to IoT?
From WSN to IoT?   物聯網的崛起
                   物聯網的崛起

What is Cloud ?
What is Cloud ?    淺談雲端運算
                   淺談雲端運算




                            29
WHAT
定義
什麼是雲端運算啊?
                            What is Cloud Computing ?




http://www.youtube.com/watch?v=bJLSAcU6O3U   當紅「雲端運算」 你瞭解了嗎?
http://www.youtube.com/watch?v=VIMtd3nfPqc   雲端產業 8 分鐘就上手
Paradigm Shift of Cloud Business Model !!
             雲端商業模式的典範轉移

軟體從買斷變成租賃                              硬體從買斷變成租賃
                                       硬體從買斷變成租賃
軟體從買斷變成租賃
                                                   PC // Server →
                                                    PC Server →
     Office 2007 →
      Office 2007 →
                                               Hosting // Colocation →
                                               Hosting Colocation →
 Google Docs // Office 365
 Google Docs Office 365
                                                   Amazon EC2 // S3
                                                   Amazon EC2 S3


軟體從單機變成行動
軟體從單機變成行動                              硬體從固定變成行動
                                       硬體從固定變成行動
 Outlook → Webmail →
 Outlook → Webmail →                               PC // Server →
                                                    PC Server →
    Mail Web Apps →
     Mail Web Apps →                               NB // Tablet →
                                                    NB Tablet →
     Mail Mobile Apps
     Mail Mobile Apps                                Pad // Mobile
                                                     Pad Mobile
National Definition of Cloud Computing
 National Definition of Cloud Computing
美國國家標準局 NIST 給雲端運算所下的定義
美國國家標準局 NIST 給雲端運算所下的定義

  5 Characteristics
  5 Characteristics            五大基礎特徵
                               五大基礎特徵

  4 Deployment Models 四個佈署模型
  4 Deployment Models 四個佈署模型

  3 Service Models
  3 Service Models             三個服務模式
                               三個服務模式
1. On-demand self-service.
1. On-demand self-service.
       隨需自助服務
       隨需自助服務                 4. Rapid elasticity
                              4. Rapid elasticity
 2. Broad network access
 2. Broad network access      快速重新佈署靈活度
                               快速重新佈署靈活度
隨時隨地用任何網路裝置存取
隨時隨地用任何網路裝置存取                5. Measured Service
                             5. Measured Service
   3. Resource pooling
   3. Resource pooling       可被監控與量測的服務
                             可被監控與量測的服務
     多人共享資源池
     多人共享資源池
4 Deployment Models of Cloud Computing
4 Deployment Models of Cloud Computing
         雲端運算的四種佈署模型
         雲端運算的四種佈署模型
                            Dynamic Resource Provisioning
                           between public and private cloud
  Public Cloud              私有雲端動態根據計算需求
  公用雲端                       調用公用雲端的資源

  Target Market
   is S.M.B.                         以大型企業
  主要客戶為           Hybrid             為主要客戶
   中小企業           Cloud            Enterprise is
                                    key market

Community Cloud
                                  私有雲端
    社群雲端
                            Private Cloud
 Academia 學術為主
3 Service Models of Cloud Computing
    3 Service Models of Cloud Computing
      雲端運算的三種服務模式(市場區隔)
      雲端運算的三種服務模式(市場區隔)

        IaaS
        IaaS
Infrastructure as a Service
Infrastructure as a Service

    架構即服務
    架構即服務

        PaaS
        PaaS
 Platform as a Service
 Platform as a Service
    平台即服務
    平台即服務
        SaaS
        SaaS
 Software as a Service
 Software as a Service
    軟體即服務
    軟體即服務
2 perspectives :: Services vs Technologies
2 perspectives Services vs Technologies
 您想聽的是「雲端服務」還是「雲端技術」 ?
 您想聽的是「雲端服務」還是「雲端技術」 ?



                  雲端服務



                                                  雲端技術

Cloud computing hype spurs confusion, Gartner says
http://www.computerworld.com/s/article/print/9115904
淺談雲端運算 (Cloud Computing)
http://www.cc.ntu.edu.tw/chinese/epaper/0008/20090320_8008.htm
One key spirit of Cloud Computing
One key spirit of Cloud Computing
 用一句話說明雲端運算 !! 服務才是王道 !!
 用一句話說明雲端運算 服務才是王道

  Anytime
  Anytime   隨時
            隨時        Key spirit of Cloud ~
                      Key spirit of Cloud ~
                        形成服務才是重點 !!
                        形成服務才是重點 !!
 Anywhere
 Anywhere   隨地
            隨地        Everything as a Service !!
                      Everything as a Service !!


With Any Devices
With Any Devices   使用任何裝置
                   使用任何裝置
Accessing Services
Accessing Services   存取各種服務
                     存取各種服務
Cloud Computing =~ Network Computing
        雲端運算 =~ 網路運算
WHO
誰在賣
Supply Chain of Cloud Industry !! 雲端產業的供應鍊




                                     端
應用軟體
應用軟體
供應商
 供應商

行動裝置
行動裝置                                各類裝置
                    
共通平台
共通平台                                存取服務




                                     雲
軟體服務
軟體服務
供應商
 供應商

資料中心
資料中心                                資料中心
機房維運
機房維運                                 提供服務

基本硬體
基本硬體
建設組件
建設組件
Who are the Cloud Service Providers ?
Who are the Cloud Service Providers ?
              雲端關鍵提供者
              雲端關鍵提供者

  Public Cloud
  公用雲端
  Target Market
   is S.M.B.                    以大型企業
  主要客戶為           Hybrid        為主要客戶
   中小企業           Cloud       Enterprise is
                               key market

Community Cloud
                                 私有雲端
   社群雲端
                           Private Cloud
Academia 學術為主
WHEN
何時
The Wisdom of Clouds (Crowds)
雲端序曲:雲端的智慧始終來自於群眾的智慧
                2006 年 8 月 9 日
                2006 年 8 月 9 日
Google 執行長施密特( Eric Schmidt )於 SES'06 會議中首次使用
Google 執行長施密特( Eric Schmidt )於 SES'06 會議中首次使用
 「雲端運算( Cloud Computing )」來形容無所不在的網路服務
 「雲端運算( Cloud Computing )」來形容無所不在的網路服務

                    2006 年 8 月 24 日
                    2006 年 8 月 24 日
  Amazon 以 Elastic Compute Cloud 命名其虛擬運算資源服務
  Amazon 以 Elastic Compute Cloud 命名其虛擬運算資源服務




      Source: http://www.cnet.co.uk/i/c/blg/cat/software/cloudcomputing/clouds1.jpg
Evolution of Cloud Services
               Evolution of Cloud Services
            雲端服務只是軟體演化史的必然趨勢
            雲端服務只是軟體演化史的必然趨勢


   實體
   實體          單機版 個人使用
               單機版 個人使用              網路版 多人共享
                                     網路版 多人共享               行動版 非同步存取
                                                            行動版 非同步存取
  Physical
  Physical     Personal Software
               Personal Software   Share Service Software
                                   Share Service Software   Mobile Cloud Service
                                                            Mobile Cloud Service

   信箱
   信箱             E-Mail
                  E-Mail              Web Mail
                                      Web Mail              Mobile Mail
                                                            Mobile Mail
   Mailbox
   Mailbox

   電視
   電視            電視盒
                 電視盒                   Web TV
                                       Web TV                Mobile TV
                                                             Mobile TV
     TV
     TV        Setop Box
               Setop Box             Ex. Youtube
                                     Ex. Youtube
  打字機
  打字機             Office
                  Office           Google Docs
                                   Google Docs                 M-Office
                                                               M-Office
Typer Writer
Typer Writer

   電話
   電話            數位電話
                 數位電話                    Skype
                                         Skype              Flash Wengo
                                                            Flash Wengo
Telephone
Telephone        PBX
                 PBX
  佈告欄
  佈告欄           電子佈告欄
                電子佈告欄
                                     部落格 Blog
                                     部落格 Blog               微網誌 Twitter
                                                            微網誌 Twitter
Bullet Borad
Bullet Borad     BBS
                 BBS
WHY
為何
Why are they named by “ SMART ” ?!
              智慧打哪兒來?!

 Smart Phone                    Smart Car
   智慧手機                          智慧車輛

Smart Grid     SMART ?           Smart City
                 哪裡長
 智慧電網                             智慧城市
                智慧了?

 Smart Home                 Smart Meter
   智慧家庭                       智慧電錶

  資料
  資料   Data
       Data    知識
               知識   Knowledge
                    Knowledge      智慧
                                   智慧   Wisdom
                                        Wisdom
Can Machine understand You?        讓機器更懂你?




                       http://www.ettoday.net/news/20120215/25085.htm
Data, Information, Knowledge, Wisdom
知識管理模型:資料、資訊、知識與智慧




  http://www.pursuantgroup.com/blog/tag/dikw-model/
Agenda 演講大綱
        Agenda 演講大綱

From WSN to IoT?
From WSN to IoT?     物聯網的崛起
                     物聯網的崛起

What is Cloud ?
What is Cloud ?      淺談雲端運算
                     淺談雲端運算

Cloud and Big Data
Cloud and Big Data   雲與海量資料
                     雲與海量資料




                              48
Key Driving Forces of Cloud Computing
Key Driving Forces of Cloud Computing
         雲端運算的關鍵驅動力
         雲端運算的關鍵驅動力
                             個人
                             個人


     端
                          用任何連網裝置
                          用任何連網裝置
                          都可以存取資料
                          都可以存取資料
               隨需
               隨需
              行動服務
              行動服務
  企業
  企業         Mobile Service
                                   全球
                                   全球
             Mobile Service
租賃取代買斷
租賃取代買斷                           資料往雲擺
                                 資料往雲擺
動態隨需付費
動態隨需付費                          減少資料傳輸
                                減少資料傳輸




                                      雲
       降低
       降低                 因應
                          因應
      經營成本
      經營成本               資料爆炸
                         資料爆炸
      Cost Down
      Cost Down        Data Explore
                       Data Explore
「笨蛋!重點在經濟」
  ( "It's the economy, stupid")
卡維爾( James Carville )自創這句標語,
  促使柯林頓當上美國第 42 屆總統。
                            - 1992 年

        「笨蛋!重點還是在經濟」
( "It's STILL the economy, stupid")
      卻讓小布希嘲笑是幼稚的總統。
                             - 2002 年

 雲端時代,谷歌會說:「笨蛋!重點在資料」
    ( "It's the data, stupid" )
  誰掌握了你的資料,就有機會掌握你的荷包
想想看,電腦、手機掉了,您心疼的是甚麽呢?
                              - 2007 年
Data Explosion!! 始於 2007 的「資料大爆炸」時代




                                                                                      2007 年, IDC 預估
                                                                                      2010 年會成長六倍!
                                                                                      (相較 2006 年)

                                                                                      2006 161 EB
出處: The Expanding Digital Universe,                                                   2010 988 EB ( 預測 )
A Forecast of Worldwide Information Growth Through 2010,
March 2007, An IDC White Paper - sponsored by EMC
http://www.emc.com/collateral/analyst-reports/expanding-digital-idc-white-paper.pdf
Data expanded 1.6x each year !! 每年約略 1.6 倍


                                                              追蹤歷年的 IDC 數據:

                                                              2006 161 EB
                                                              2007 281 EB
                                                              2008 487 EB
                                                              2009 800 EB (0.8 ZB)
                                                              2010 988 EB ( 預測 )
                                                              2010 1200 EB (1.2 ZB)
                                                              2011 1773 EB ( 預測 )
                                                              2011 1800 EB (1.8 ZB)


                                                                 景氣差而成長趨緩?
                                                                  或受新技術抑制?
出處: Extracting Value from Chaos,
June 2011, An IDC White Paper - sponsored by EMC
http://www.emc.com/collateral/about/news/idc-emc-digital-universe-2011-infographic.pdf
What is Big Data?! 何謂『海量資料』?
  海量資料泛指資料大小已無法用一般軟體擷取、管理與處理;
         單一資料集大小介於數十 TB 至數 PB 的資料。
  'Big Data' = few dozen TeraBytes to PetaBytes in single data
                              set.




                              出處: http://en.wikipedia.org/wiki/Big_data




多個檔案,容量                 一個資料庫,容量                    一個檔案,容量 100TB
100TB                      100TB                                          53
Gartner Big Data Model ? 海量資料的模型?
 海量資料的挑戰在於如何管理「數量」、「增加率」與「多樣性」
                                              參考來源:
                         Volume 資料數量          [1] Laney, Douglas. "3D Data Management: Controlling
                                              Data Volume, Velocity and Variety" (6 February 2001)
                         (amount of data)     [2] Gartner Says Solving 'Big Data' Challenge Involves
                                              More Than Just Managing Volumes of Data, June 2011




                                  EB                    Structured
                                                        結構化資料
Batch ( 批次作業 )
                                       Semi-structured
                           PB           半結構化資料

                                                    Realtime ( 即時資料 )
   Unstructured
   非結構化資料
                                  TB
  Variety 資料多樣性                                     Velocity 資料增加率
 (data types, sources)                             (speed of data in/out)
                                                                                                54
12D of Information Management?                                12 個維度?

                                     品質管控




                                     權限管控




                                                                      Big Data
                                     數量管控
                                                                      只是終極
                                                                      資訊管理
                                                                      的開端!

     Source: Gartner (March 2011), 'Big Data' Is Only the Beginning of Extreme
     Information Management, 7 April 2011, http://www.gartner.com/id=1622715     55
HOW
怎麼做
New IT Architecture toward Cloud Computing !!
 用雲掌握資料,加以分析,形成智能給端用


                                       雲
                                       資料中心
                                       提供服務


雲端設計新思維:端的智能來自於雲的服務
   Devices share the wisdom of Cloud


端
各類裝置
存取服務
4. 下載最佳路徑
 1. 上傳行進軌跡
 6. 上傳最佳路徑執行狀態
   ( 判斷是否需要修正)

         3. 運算             2. 運算
         最佳路徑    起始        掃過區域
                 座標


                      掃過
                      區域
5. 執行
最佳路徑


        曾經有人問道:我是學電機的,那
        電機與控制跟雲端有甚麽關聯性?
Three Key Technologies !! 三種服務模式 vs. 三大關鍵技術



   隨需
   隨需                  SaaS
                       SaaS                Web 2.0
                                           Web 2.0
  行動服務
  行動服務             Software as a Service
                   Software as a Service

 Mobile Service
 Mobile Service    軟體即服務
                   軟體即服務                   網頁服務
                                           網頁服務

   因應
   因應                  PaaS
                       PaaS                Big Data
                                           Big Data
  資料爆炸
  資料爆炸             Platform as a Service
                   Platform as a Service

 Data Explore      平台即服務
                   平台即服務                   資料分析
                                           資料分析
 Data Explore


   降低
   降低                      IaaS
                           IaaSService Virtualization
                                              Virtualization
  經營成本
  經營成本            Infrastructure as a Service
                  Infrastructure as a

 Cost Down           架構即服務
                      架構即服務                    虛擬化技術
                                               虛擬化技術
 Cost Down
Agenda 演講大綱
        Agenda 演講大綱

From WSN to IoT?
From WSN to IoT?     物聯網的崛起
                     物聯網的崛起

What is Cloud ?
What is Cloud ?      淺談雲端運算
                     淺談雲端運算

Cloud and Big Data
Cloud and Big Data   雲與海量資料
                     雲與海量資料

Smart City App
Smart City App       智慧城市應用
                     智慧城市應用




                              60
十九世紀是帝國的世紀
二十世紀是國家的時代




二十一世紀將是城市的時代
                                                         61
http://www.postscapes.com/anatomy-of-a-smart-city-full
市
                                 居住在城
                 上            的人口
            50% 以
      以 後已有    裡
2008 年




                                             每個禮拜有一百三十萬人
                                                 搬入城市

                                                                62
       http://www.postscapes.com/anatomy-of-a-smart-city-full
超
                         個



         城
     市
》                    《
                                                               全球
                                                          球最
                                                  有大
                                           二的


                               一市

                       是
                目
          前
     全
                                    十 城東

                             京




63




 http://www.postscapes.com/anatomy-of-a-smart-city-full
五
                                                     年




                百
                                               全




          多
                                         球




     個
                                  已
                            有
                                                          2011
                                                              百




                         生
                                                          分




                   產
            毛
      額
                貢
                                                          前




          獻
     了
                                                  之六
                                           六百
                                     十大
                             的城

                      市




64




 http://www.postscapes.com/anatomy-of-a-smart-city-full
的
                                                 十




                  能
                                          至




           源
                                    八
                              十


                    百
                                                   城




             分
                                            市




         之
                                      使




     六
                                用
                          了




65




 http://www.postscapes.com/anatomy-of-a-smart-city-full
感
                                                          智




 測
                                                  慧
                                           城
                                     市




                   基
                         要


            於
                                    即
                                                              造




                              主統時
                                                          成




                        城
                                                 了




                  市
                                          了




     訊
           資


系
66




 http://www.postscapes.com/anatomy-of-a-smart-city-full
安
      、
                  、環
                                                          量




            境
                                          全對
                                                  測




                              交包
                                    、象


                        通括
                           建
                                 、
                                              電




                     築
                                       力




               物




67




 http://www.postscapes.com/anatomy-of-a-smart-city-full
68
http://www.postscapes.com/anatomy-of-a-smart-city-full
智慧城市的六個維度 6D of Smart Cities
    根據維基百科的定義,
    智慧城市包含六個維度                              智慧經濟
                                            Smart
                                           Economy      智慧連網
                       智慧空間
                     Smart                               Smart
                  Environment                           Mobility
                                          Sustainable
                                            永續經營
                       Smart                            Smart
                       Living                           People
                       智慧生活                 Smart       智慧市民
                                          Governance
                                            智慧政府
http://en.wikipedia.org/wiki/Smart_city                            69
讓人民有感的智慧城市 Ubiquitous Computing


                   食
      樂
                   Food
                              衣
   Entertainment             Clothing



      育                       住
   Education
                   行         Housing

                   Traffic
                                        70
幫忙您找食物的地理資訊系統服務




http://www.ipeen.com.tw/map/#loc=台中市
                                       71
幫忙您決定該怎麼穿衣服的氣象服務




   http://www.cwb.gov.tw/township/
                                     72
幫忙您找房子的地理資訊服務




   http://rent.591.com.tw/   73
幫忙您查即時交通路況的地理資訊服務




    http://1968.freeway.gov.tw/   74
幫忙您查即時交通路況的地理資訊服務




http://www.datanami.com/datanami/2012-08-01/what_it_takes_to_deliver_real-time_traffic_info.html75
用地理資訊服務學習一個城市的歷史




    http://hypercities.ats.ucla.edu/   76
運用地理資訊服務進行防災應變




 http://earth.wra.gov.tw/water/index.html
                                            77
Agenda 演講大綱
        Agenda 演講大綱

From WSN to IoT?
From WSN to IoT?      物聯網的崛起
                      物聯網的崛起

What is Cloud ?
What is Cloud ?       淺談雲端運算
                      淺談雲端運算

Cloud and Big Data
Cloud and Big Data    雲與海量資料
                      雲與海量資料

Smart City App
Smart City App        智慧城市應用
                      智慧城市應用

How to do in future
How to do in future   打造基礎建設
                      打造基礎建設


                               78
The SMAQ stack for big data
                     海量資料處理的資訊架構
                                               未來處理海量資料的人必需知道
  做網頁相關的人可能聽過 LAMP
                                               SMAQ ( Storage, MapReduce and Query )




參考來源: The SMAQ stack for big data , Edd Dumbill , 22 September 2010 ,   
      http://radar.oreilly.com/2010/09/the-smaq-stack-for-big-data.html
                                                                                          79
圖片來源: http://smashingweb.ge6.org/wp-content/uploads/2011/10/apache-php-mysql-ubuntu.png
The SMAQ stack for big data
                    海量資料處理的資訊架構


                                                   用來儲存分散、沒有關聯
                                                     的非結構化資料




參考來源: The SMAQ stack for big data , Edd Dumbill , 22 September 2010 ,   
      http://radar.oreilly.com/2010/09/the-smaq-stack-for-big-data.html    80
The SMAQ stack for big data
                    海量資料處理的資訊架構
                                                   運用批次處理的方式,將
                                                   運算工作平均分散到許多
                                                     的伺服器做運算。




參考來源: The SMAQ stack for big data , Edd Dumbill , 22 September 2010 ,   
      http://radar.oreilly.com/2010/09/the-smaq-stack-for-big-data.html    81
The SMAQ stack for big data
                    海量資料處理的資訊架構




                                                   將算完的結構化資料儲存
                                                   到可供查詢的資料庫系統




參考來源: The SMAQ stack for big data , Edd Dumbill , 22 September 2010 ,   
      http://radar.oreilly.com/2010/09/the-smaq-stack-for-big-data.html    82
Three Core Technologies of Google ....
                 Google 的三大關鍵技術 ....

• Google 在一些會議分享他們的三大關鍵技術
• Google shared their design of web-search engine
  – SOSP 2003 :
  – “The Google File System”
  – http://labs.google.com/papers/gfs.html
  – OSDI 2004 :
  – “MapReduce : Simplifed Data Processing on Large Cluster”
  – http://labs.google.com/papers/mapreduce.html
  – OSDI 2006 :
  – “Bigtable: A Distributed Storage System for Structured Data”
  – http://labs.google.com/papers/bigtable-osdi06.pdf


                                                                   83
Open Source Mapping of Google Core Technologies
Open Source Mapping of Google Core Technologies
         Google 三大關鍵技術對應的自由軟體
         Google 三大關鍵技術對應的自由軟體

  Google 三大關鍵技術                   自由軟體對應解決方案

    Q = Query
    Q = Query                         HBase, Hypertable
                                      HBase, Hypertable
      BigTable
      BigTable                         Cassandra, ....
                                        Cassandra, ....
A huge key-value datastore
A huge key-value datastore


     MapReduce
     MapReduce                     Hadoop MapReduce API
                                   Hadoop MapReduce API
 To parallel process data
 To parallel process data         Sphere MapReduce API, ...
                                  Sphere MapReduce API, ...


    S = Storage
    S = Storage              Hadoop Distributed File System (HDFS)
                             Hadoop Distributed File System (HDFS)
 Google File System
 Google File System              Sector Distributed File System
                                 Sector Distributed File System
To store petabytes of data
To store petabytes of data

                                                                 84
Hadoop
                          Hadoop
•   http://hadoop.apache.org
•   Hadoop 是 Apache Top Level 開發專案
•   Hadoop is Apache Top Level Project
•   目前主要由 Yahoo! 資助、開發與運用
•   Major sponsor is Yahoo!
•   創始者是 Doug Cutting ,參考 Google Filesystem
•   Developed by Doug Cutting, Reference from Google Filesystem
•   以 Java 開發,提供 HDFS 與 MapReduce API 。
•   Written by Java, it provides HDFS and MapReduce API
•   2006 年使用在 Yahoo 內部服務中
•   Used in Yahoo since year 2006
•   已佈署於上千個節點。
•   It had been deploy to 4000+ nodes in Yahoo
•   處理 Petabyte 等級資料量。                      Facebook、Last.fm
•   Design to process dataset in Petabyte   、Joost are also
                                          powered by Hadoop   85
Hadoop 簡介
          Hadoop 簡介

 Hadoop 是一個讓使用者簡易撰寫並
執行處理海量資料應用程式的軟體平台。
 亦可以想像成一個處理海量資料的生產線,只須
學會定義 map 跟 reduce 工作站該做哪些事情。


  就像工廠的倉庫     生產機台
存放生產原料跟待售貨物            包裝機台

               Map
   HDFS 存放             Reduce
待處理的非結構化資料
與處理後的結構化資料    一進一出    多進一出

                                86
Sector // Sphere
                     Sector Sphere
•   http://sector.sourceforge.net/
•   由美國資料探勘中心研發的自由軟體專案。
•   Developed by National Center for Data Mining, USA
•   採用 C/C++ 語言撰寫,因此效能較 Hadoop 更好。
•   Written by C/C++, so performance is better than Hadoop
•   提供「類似」 Google File System 與 MapReduce 的機制
• Provide file system similar to Google File System and MapReduce API
• 基於UDT高效率網路協定來加速資料傳輸效率
• Based on UDT which enhance the network performance
• Open Cloud Testbed有提供測試環境,並開發MalStone效能評比軟體
• Open Cloud Consortium provide Open Cloud Testbed and develop
  MalStone toolkit for benchmark

                                                                    87
Why we choice Hadoop? Good Ecosystem!
 
 
       豐富的生態系建構出處理海量資料的工具庫




                                                          88
          http://rationalintelligence.com/wp_log/?p=104
Agenda 演講大綱
        Agenda 演講大綱

From WSN to IoT?
From WSN to IoT?      物聯網的崛起
                      物聯網的崛起

What is Cloud ?
What is Cloud ?       淺談雲端運算
                      淺談雲端運算

Cloud and Big Data
Cloud and Big Data    雲與海量資料
                      雲與海量資料

Smart City App
Smart City App        智慧城市應用
                      智慧城市應用

How to do in future
How to do in future   打造基礎建設
                      打造基礎建設

   Conclusion
   Conclusion          結論
                       結論
                               89
IoT is the source of Big Data
          Cloud Computing is the Store
    Big Data is the key to Mobile Computing
      SMAQ is the way to achieve Wisdom

 未來物聯網會產生海量資料
 必須儲存於雲端的資料中心
得透過分析技術來提供行動服務
 SMAQ 是產生智慧的必要架構
Questions?
               Questions?
Slides -- http://trac.nchc.org.tw/cloud
Slides http://trac.nchc.org.tw/cloud


  Jazz Wang
   Jazz Wang
Yao-Tsung Wang
Yao-Tsung Wang
 jazz@nchc.org.tw
 jazz@nchc.org.tw
                                      91

Contenu connexe

En vedette

淺談台灣巨量資料產業發展現況
淺談台灣巨量資料產業發展現況淺談台灣巨量資料產業發展現況
淺談台灣巨量資料產業發展現況Jazz Yao-Tsung Wang
 
淺談台灣巨量資料產業供應鏈串聯現況
淺談台灣巨量資料產業供應鏈串聯現況淺談台灣巨量資料產業供應鏈串聯現況
淺談台灣巨量資料產業供應鏈串聯現況Jazz Yao-Tsung Wang
 
Hadoop Deployment Model @ OSDC.TW
Hadoop Deployment Model @ OSDC.TWHadoop Deployment Model @ OSDC.TW
Hadoop Deployment Model @ OSDC.TWJazz Yao-Tsung Wang
 
2015-05-20 製造業生產歷程全方位整合查詢與探勘的規劃心法
2015-05-20 製造業生產歷程全方位整合查詢與探勘的規劃心法2015-05-20 製造業生產歷程全方位整合查詢與探勘的規劃心法
2015-05-20 製造業生產歷程全方位整合查詢與探勘的規劃心法Jazz Yao-Tsung Wang
 
Unattended Apache BigTop installer CD using preseed
Unattended Apache BigTop installer CD using preseedUnattended Apache BigTop installer CD using preseed
Unattended Apache BigTop installer CD using preseedJazz Yao-Tsung Wang
 
Introduction to Diskless Remote Boot in Linux
Introduction to Diskless Remote Boot in LinuxIntroduction to Diskless Remote Boot in Linux
Introduction to Diskless Remote Boot in LinuxJazz Yao-Tsung Wang
 
Big data taiwan_supply_chain_and_communities_20130912
Big data taiwan_supply_chain_and_communities_20130912Big data taiwan_supply_chain_and_communities_20130912
Big data taiwan_supply_chain_and_communities_20130912Jazz Yao-Tsung Wang
 
13 09-28 hadoop-in_taiwan_2013_opening
13 09-28 hadoop-in_taiwan_2013_opening13 09-28 hadoop-in_taiwan_2013_opening
13 09-28 hadoop-in_taiwan_2013_openingJazz Yao-Tsung Wang
 
2014-10-17 探析台灣巨量資料產業供應鏈串聯現況
2014-10-17 探析台灣巨量資料產業供應鏈串聯現況2014-10-17 探析台灣巨量資料產業供應鏈串聯現況
2014-10-17 探析台灣巨量資料產業供應鏈串聯現況Jazz Yao-Tsung Wang
 
Big Data Tools : PAST, NOW and FUTURE
Big Data Tools : PAST, NOW and FUTUREBig Data Tools : PAST, NOW and FUTURE
Big Data Tools : PAST, NOW and FUTUREJazz Yao-Tsung Wang
 
2006-11-16 RFID and OSS for Agriculture
2006-11-16 RFID and OSS for Agriculture2006-11-16 RFID and OSS for Agriculture
2006-11-16 RFID and OSS for AgricultureJazz Yao-Tsung Wang
 
High Throughput Computing Technologies
High Throughput Computing TechnologiesHigh Throughput Computing Technologies
High Throughput Computing TechnologiesJazz Yao-Tsung Wang
 
Introduction to TreasureData Cloud
Introduction to TreasureData CloudIntroduction to TreasureData Cloud
Introduction to TreasureData CloudJazz Yao-Tsung Wang
 
Unattended Apache BigTop installer CD using preseed
Unattended Apache BigTop installer CD using preseedUnattended Apache BigTop installer CD using preseed
Unattended Apache BigTop installer CD using preseedJazz Yao-Tsung Wang
 

En vedette (20)

Hadoop.TW : Now and Future
Hadoop.TW : Now and FutureHadoop.TW : Now and Future
Hadoop.TW : Now and Future
 
淺談台灣巨量資料產業發展現況
淺談台灣巨量資料產業發展現況淺談台灣巨量資料產業發展現況
淺談台灣巨量資料產業發展現況
 
淺談台灣巨量資料產業供應鏈串聯現況
淺談台灣巨量資料產業供應鏈串聯現況淺談台灣巨量資料產業供應鏈串聯現況
淺談台灣巨量資料產業供應鏈串聯現況
 
Enterprise Data Lake in Action
Enterprise Data Lake in ActionEnterprise Data Lake in Action
Enterprise Data Lake in Action
 
Hadoop Deployment Model @ OSDC.TW
Hadoop Deployment Model @ OSDC.TWHadoop Deployment Model @ OSDC.TW
Hadoop Deployment Model @ OSDC.TW
 
HPC For Bioinformatics
HPC For BioinformaticsHPC For Bioinformatics
HPC For Bioinformatics
 
2015-05-20 製造業生產歷程全方位整合查詢與探勘的規劃心法
2015-05-20 製造業生產歷程全方位整合查詢與探勘的規劃心法2015-05-20 製造業生產歷程全方位整合查詢與探勘的規劃心法
2015-05-20 製造業生產歷程全方位整合查詢與探勘的規劃心法
 
Unattended Apache BigTop installer CD using preseed
Unattended Apache BigTop installer CD using preseedUnattended Apache BigTop installer CD using preseed
Unattended Apache BigTop installer CD using preseed
 
13 11-08
13 11-0813 11-08
13 11-08
 
Introduction to Diskless Remote Boot in Linux
Introduction to Diskless Remote Boot in LinuxIntroduction to Diskless Remote Boot in Linux
Introduction to Diskless Remote Boot in Linux
 
Big data taiwan_supply_chain_and_communities_20130912
Big data taiwan_supply_chain_and_communities_20130912Big data taiwan_supply_chain_and_communities_20130912
Big data taiwan_supply_chain_and_communities_20130912
 
Big Data Communities in Taiwan
Big Data Communities in TaiwanBig Data Communities in Taiwan
Big Data Communities in Taiwan
 
13 09-28 hadoop-in_taiwan_2013_opening
13 09-28 hadoop-in_taiwan_2013_opening13 09-28 hadoop-in_taiwan_2013_opening
13 09-28 hadoop-in_taiwan_2013_opening
 
2014-10-17 探析台灣巨量資料產業供應鏈串聯現況
2014-10-17 探析台灣巨量資料產業供應鏈串聯現況2014-10-17 探析台灣巨量資料產業供應鏈串聯現況
2014-10-17 探析台灣巨量資料產業供應鏈串聯現況
 
Big Data Tools : PAST, NOW and FUTURE
Big Data Tools : PAST, NOW and FUTUREBig Data Tools : PAST, NOW and FUTURE
Big Data Tools : PAST, NOW and FUTURE
 
2006-11-16 RFID and OSS for Agriculture
2006-11-16 RFID and OSS for Agriculture2006-11-16 RFID and OSS for Agriculture
2006-11-16 RFID and OSS for Agriculture
 
High Throughput Computing Technologies
High Throughput Computing TechnologiesHigh Throughput Computing Technologies
High Throughput Computing Technologies
 
Life of Big Data Technologies
Life of Big Data TechnologiesLife of Big Data Technologies
Life of Big Data Technologies
 
Introduction to TreasureData Cloud
Introduction to TreasureData CloudIntroduction to TreasureData Cloud
Introduction to TreasureData Cloud
 
Unattended Apache BigTop installer CD using preseed
Unattended Apache BigTop installer CD using preseedUnattended Apache BigTop installer CD using preseed
Unattended Apache BigTop installer CD using preseed
 

Similaire à Big Data : The Missing Puzzle of Mobile Computing

HKPC 行業專題培訓講座 , 雲計算 ~ 在零售業 (III) 產業鏈篇
HKPC 行業專題培訓講座 , 雲計算 ~ 在零售業 (III) 產業鏈篇HKPC 行業專題培訓講座 , 雲計算 ~ 在零售業 (III) 產業鏈篇
HKPC 行業專題培訓講座 , 雲計算 ~ 在零售業 (III) 產業鏈篇Dennis. Lee
 
云存储与虚拟化分论坛 基于云计算的海量数据挖掘
云存储与虚拟化分论坛 基于云计算的海量数据挖掘云存储与虚拟化分论坛 基于云计算的海量数据挖掘
云存储与虚拟化分论坛 基于云计算的海量数据挖掘Riquelme624
 
2015數據分析工具在智慧交通與觀光的應用
2015數據分析工具在智慧交通與觀光的應用2015數據分析工具在智慧交通與觀光的應用
2015數據分析工具在智慧交通與觀光的應用Chueh Charles
 
20120526 -物聯網應用
20120526 -物聯網應用20120526 -物聯網應用
20120526 -物聯網應用p_yang
 
課程1 1:雲端運算初探
課程1 1:雲端運算初探課程1 1:雲端運算初探
課程1 1:雲端運算初探vaemon
 
Alibaba server-zhangxuseng-qcon
Alibaba server-zhangxuseng-qconAlibaba server-zhangxuseng-qcon
Alibaba server-zhangxuseng-qconYiwei Ma
 
物聯網與工業4.0情境分析
物聯網與工業4.0情境分析物聯網與工業4.0情境分析
物聯網與工業4.0情境分析Kenny Huang Ph.D.
 
什么是云计算
什么是云计算什么是云计算
什么是云计算Liyang Tang
 
创新内容计算网络 拥抱万物互联
创新内容计算网络 拥抱万物互联创新内容计算网络 拥抱万物互联
创新内容计算网络 拥抱万物互联Hardway Hou
 
腾讯 马志强 虚拟化环境下 网络 朋务器 平台的协作经验
腾讯 马志强 虚拟化环境下 网络 朋务器 平台的协作经验腾讯 马志强 虚拟化环境下 网络 朋务器 平台的协作经验
腾讯 马志强 虚拟化环境下 网络 朋务器 平台的协作经验guiyingshenxia
 
腾讯 马志强 虚拟化环境下 网络 朋务器 平台的协作经验
腾讯 马志强 虚拟化环境下 网络 朋务器 平台的协作经验腾讯 马志强 虚拟化环境下 网络 朋务器 平台的协作经验
腾讯 马志强 虚拟化环境下 网络 朋务器 平台的协作经验colderboy17
 
Y20151003 詹文男-物聯網的商機與挑戰
Y20151003 詹文男-物聯網的商機與挑戰Y20151003 詹文男-物聯網的商機與挑戰
Y20151003 詹文男-物聯網的商機與挑戰m12016changTIIMP
 
Challenges and opportunities computing Kuo-Yi Chen
Challenges and opportunities computing   Kuo-Yi ChenChallenges and opportunities computing   Kuo-Yi Chen
Challenges and opportunities computing Kuo-Yi Chenkuoyichen
 
環保署 懶人包
環保署 懶人包環保署 懶人包
環保署 懶人包releaseey
 
OpenStack Quantum项目介绍和演示
OpenStack Quantum项目介绍和演示OpenStack Quantum项目介绍和演示
OpenStack Quantum项目介绍和演示OpenCity Community
 
基于云计算平台的移动Iptv系统设计及负载均衡技术研究
基于云计算平台的移动Iptv系统设计及负载均衡技术研究基于云计算平台的移动Iptv系统设计及负载均衡技术研究
基于云计算平台的移动Iptv系统设计及负载均衡技术研究liangxiao0315
 
微信201204
微信201204微信201204
微信201204drewz lin
 
微信之道201204
微信之道201204微信之道201204
微信之道201204shaomeng shi
 

Similaire à Big Data : The Missing Puzzle of Mobile Computing (20)

HKPC 行業專題培訓講座 , 雲計算 ~ 在零售業 (III) 產業鏈篇
HKPC 行業專題培訓講座 , 雲計算 ~ 在零售業 (III) 產業鏈篇HKPC 行業專題培訓講座 , 雲計算 ~ 在零售業 (III) 產業鏈篇
HKPC 行業專題培訓講座 , 雲計算 ~ 在零售業 (III) 產業鏈篇
 
MCCC Lab
MCCC LabMCCC Lab
MCCC Lab
 
云存储与虚拟化分论坛 基于云计算的海量数据挖掘
云存储与虚拟化分论坛 基于云计算的海量数据挖掘云存储与虚拟化分论坛 基于云计算的海量数据挖掘
云存储与虚拟化分论坛 基于云计算的海量数据挖掘
 
2015數據分析工具在智慧交通與觀光的應用
2015數據分析工具在智慧交通與觀光的應用2015數據分析工具在智慧交通與觀光的應用
2015數據分析工具在智慧交通與觀光的應用
 
20120526 -物聯網應用
20120526 -物聯網應用20120526 -物聯網應用
20120526 -物聯網應用
 
課程1 1:雲端運算初探
課程1 1:雲端運算初探課程1 1:雲端運算初探
課程1 1:雲端運算初探
 
Alibaba server-zhangxuseng-qcon
Alibaba server-zhangxuseng-qconAlibaba server-zhangxuseng-qcon
Alibaba server-zhangxuseng-qcon
 
物聯網與工業4.0情境分析
物聯網與工業4.0情境分析物聯網與工業4.0情境分析
物聯網與工業4.0情境分析
 
什么是云计算
什么是云计算什么是云计算
什么是云计算
 
创新内容计算网络 拥抱万物互联
创新内容计算网络 拥抱万物互联创新内容计算网络 拥抱万物互联
创新内容计算网络 拥抱万物互联
 
腾讯 马志强 虚拟化环境下 网络 朋务器 平台的协作经验
腾讯 马志强 虚拟化环境下 网络 朋务器 平台的协作经验腾讯 马志强 虚拟化环境下 网络 朋务器 平台的协作经验
腾讯 马志强 虚拟化环境下 网络 朋务器 平台的协作经验
 
腾讯 马志强 虚拟化环境下 网络 朋务器 平台的协作经验
腾讯 马志强 虚拟化环境下 网络 朋务器 平台的协作经验腾讯 马志强 虚拟化环境下 网络 朋务器 平台的协作经验
腾讯 马志强 虚拟化环境下 网络 朋务器 平台的协作经验
 
Y20151003 詹文男-物聯網的商機與挑戰
Y20151003 詹文男-物聯網的商機與挑戰Y20151003 詹文男-物聯網的商機與挑戰
Y20151003 詹文男-物聯網的商機與挑戰
 
Challenges and opportunities computing Kuo-Yi Chen
Challenges and opportunities computing   Kuo-Yi ChenChallenges and opportunities computing   Kuo-Yi Chen
Challenges and opportunities computing Kuo-Yi Chen
 
環保署 懶人包
環保署 懶人包環保署 懶人包
環保署 懶人包
 
雲端技術的新趨勢
雲端技術的新趨勢雲端技術的新趨勢
雲端技術的新趨勢
 
OpenStack Quantum项目介绍和演示
OpenStack Quantum项目介绍和演示OpenStack Quantum项目介绍和演示
OpenStack Quantum项目介绍和演示
 
基于云计算平台的移动Iptv系统设计及负载均衡技术研究
基于云计算平台的移动Iptv系统设计及负载均衡技术研究基于云计算平台的移动Iptv系统设计及负载均衡技术研究
基于云计算平台的移动Iptv系统设计及负载均衡技术研究
 
微信201204
微信201204微信201204
微信201204
 
微信之道201204
微信之道201204微信之道201204
微信之道201204
 

Big Data : The Missing Puzzle of Mobile Computing

  • 1. 海量資料:行動運算的最後一塊拚圖 海量資料:行動運算的最後一塊拚圖 From WSN to Mobile Computing, Big Data : The Missing Puzzle From WSN to Mobile Computing, Big Data : The Missing Puzzle Jazz Wang Jazz Wang Yao-Tsung Wang Yao-Tsung Wang jazz@nchc.org.tw jazz@nchc.org.tw 1
  • 2. WHO AM I ? 這傢伙是誰啊? JAZZ ? WHO AM I ? 這傢伙是誰啊? JAZZ ? • 講者介紹: – 國網中心 王耀聰 副研究員 / 交大電控八九級碩士 – jazz@nchc.org.tw • 所有投影片、參考資料與操作步驟均在網路上 – http://trac.nchc.org.tw/cloud – 由於雲端資訊變動太快,愛護地球,請減少不必要之列印。 行動力薄弱的開發者 FOSS 使用者 TRTC WSU/ Debian/Ubutnu Haduzilla / Access Grid Hadop4Win / Ezilla Motion/VLC 推廣者 Red5 DRBL/Clonezilla Debian Router Partclone/Tuxboot DRBL/Clonezilla Hadoop Ecosystem Hadoop 2
  • 3. DECLARATION 內容重點聲明 DECLARATION 內容重點聲明 筆者不是行動運算的專家, 目前筆者的專長是雲端運算相關技術, 特別是海量資料運算相關技術, 過去曾經執行過多項感測網路的專案, 本演講將跟各位分享資料是如何從感測網路 到行動運算中間的漫長旅途! I'm NOT Export of Mobile Computing. My current research topics are: Cloud Computing and Big Data. I worked on few WSN projects years ago. In this talk, I'm trying to share the magic journey of sensor data to mobile computing. 3
  • 4. Agenda 演講大綱 Agenda 演講大綱 From WSN to IoT? From WSN to IoT? 物聯網的崛起 物聯網的崛起 What is Cloud ? What is Cloud ? 淺談雲端運算 淺談雲端運算 Cloud and Big Data Cloud and Big Data 雲與海量資料 雲與海量資料 Smart City App Smart City App 智慧城市應用 智慧城市應用 How to do in future How to do in future 打造基礎建設 打造基礎建設 Conclusion Conclusion 結論 結論 4
  • 5. This is a story about Data Flow 今天要講一個關於 資料的漫長旅程
  • 6. 資料的漫長旅程 Magic Journey of Data Sensor 雲 資料中心 開放資料 Cloud Computing Cloud Computing Networ 提供服務 Open Data Internet of Things Internet of Things k 雲 物 端 聯 端 運 網 算 各類裝置 Smart 存取服務 Grid Big Data Mobile Computing 6
  • 8. 無線感測器網路 (Wireless Sensor Network) 感測器網路泛指由各式各樣不同的感測器所組成, 透過網路鏈結成一大型的資訊蒐集網。 Video Camera Infrared Speaker Light Audio Photo- Sensor Micro- meter Network phone Data Thermo- Water meter Gauge Hygro- meter
  • 9. 生態觀測格網 (Ecology Grid) http://ecogrid.nchc.org.tw
  • 10. KenTing Ecosite Geography Topology Taipower Admin office Optical connector Field server 1st camera 2nd camera 3rd camera
  • 11. KenTing Dataflow and Storage EcoGrid Website PC HiNet ADSL 512K/512K x 2 NCHC KM Storage LAN KenTing Ecosite PC Current Usage: MPEG-1 90G @ 2004/09/01 Tape Disk Disk
  • 14. Site B & C Site B & C
  • 16. Sensor Camera Data Video Logger Server Access AP Client Point Router TANET TANET Special Education School Bridge NCHC Bridge Field Server Pigeon House Access AP Client Router Point Data Video ADSL Logger Server moderm Internet Internet Sensor Camera
  • 19. 文湖線無線管理單元 (TRTC Neihu WSU) http://www.flickr.com/photos/rail02000/5292653579/lightbox/
  • 20. Wireless Fast Roaming AP #1 AP #2 光纖 車廂 攝影機 WSU 緊急通話
  • 22. 物聯網的時代來臨 Internet of Things 圖片來源: Attacks on Mobile and Embedded Systems: Current Trends by Mocana
  • 25. The Trends of Cloud Computing 雲端運算的趨勢觀察:搜尋關鍵字熱門度 Google Trends 觀察全球對雲端運算 這個字眼的熱門搜尋 趨勢~ 約莫 2007 年開始炒 2011 年到達頂峰 2012 年開始退燒 http://www.google.com/trends
  • 26. 開放資料的新趨勢 Open Data http://data.gov.uk/
  • 29. Agenda 演講大綱 Agenda 演講大綱 From WSN to IoT? From WSN to IoT? 物聯網的崛起 物聯網的崛起 What is Cloud ? What is Cloud ? 淺談雲端運算 淺談雲端運算 29
  • 31. 什麼是雲端運算啊? What is Cloud Computing ? http://www.youtube.com/watch?v=bJLSAcU6O3U 當紅「雲端運算」 你瞭解了嗎? http://www.youtube.com/watch?v=VIMtd3nfPqc 雲端產業 8 分鐘就上手
  • 32. Paradigm Shift of Cloud Business Model !! 雲端商業模式的典範轉移 軟體從買斷變成租賃 硬體從買斷變成租賃 硬體從買斷變成租賃 軟體從買斷變成租賃 PC // Server → PC Server → Office 2007 → Office 2007 → Hosting // Colocation → Hosting Colocation → Google Docs // Office 365 Google Docs Office 365 Amazon EC2 // S3 Amazon EC2 S3 軟體從單機變成行動 軟體從單機變成行動 硬體從固定變成行動 硬體從固定變成行動 Outlook → Webmail → Outlook → Webmail → PC // Server → PC Server → Mail Web Apps → Mail Web Apps → NB // Tablet → NB Tablet → Mail Mobile Apps Mail Mobile Apps Pad // Mobile Pad Mobile
  • 33. National Definition of Cloud Computing National Definition of Cloud Computing 美國國家標準局 NIST 給雲端運算所下的定義 美國國家標準局 NIST 給雲端運算所下的定義 5 Characteristics 5 Characteristics 五大基礎特徵 五大基礎特徵 4 Deployment Models 四個佈署模型 4 Deployment Models 四個佈署模型 3 Service Models 3 Service Models 三個服務模式 三個服務模式 1. On-demand self-service. 1. On-demand self-service. 隨需自助服務 隨需自助服務 4. Rapid elasticity 4. Rapid elasticity 2. Broad network access 2. Broad network access 快速重新佈署靈活度 快速重新佈署靈活度 隨時隨地用任何網路裝置存取 隨時隨地用任何網路裝置存取 5. Measured Service 5. Measured Service 3. Resource pooling 3. Resource pooling 可被監控與量測的服務 可被監控與量測的服務 多人共享資源池 多人共享資源池
  • 34. 4 Deployment Models of Cloud Computing 4 Deployment Models of Cloud Computing 雲端運算的四種佈署模型 雲端運算的四種佈署模型 Dynamic Resource Provisioning between public and private cloud Public Cloud 私有雲端動態根據計算需求 公用雲端 調用公用雲端的資源 Target Market is S.M.B. 以大型企業 主要客戶為 Hybrid 為主要客戶 中小企業 Cloud Enterprise is key market Community Cloud 私有雲端 社群雲端 Private Cloud Academia 學術為主
  • 35. 3 Service Models of Cloud Computing 3 Service Models of Cloud Computing 雲端運算的三種服務模式(市場區隔) 雲端運算的三種服務模式(市場區隔) IaaS IaaS Infrastructure as a Service Infrastructure as a Service 架構即服務 架構即服務 PaaS PaaS Platform as a Service Platform as a Service 平台即服務 平台即服務 SaaS SaaS Software as a Service Software as a Service 軟體即服務 軟體即服務
  • 36. 2 perspectives :: Services vs Technologies 2 perspectives Services vs Technologies 您想聽的是「雲端服務」還是「雲端技術」 ? 您想聽的是「雲端服務」還是「雲端技術」 ? 雲端服務 雲端技術 Cloud computing hype spurs confusion, Gartner says http://www.computerworld.com/s/article/print/9115904 淺談雲端運算 (Cloud Computing) http://www.cc.ntu.edu.tw/chinese/epaper/0008/20090320_8008.htm
  • 37. One key spirit of Cloud Computing One key spirit of Cloud Computing 用一句話說明雲端運算 !! 服務才是王道 !! 用一句話說明雲端運算 服務才是王道 Anytime Anytime 隨時 隨時 Key spirit of Cloud ~ Key spirit of Cloud ~ 形成服務才是重點 !! 形成服務才是重點 !! Anywhere Anywhere 隨地 隨地 Everything as a Service !! Everything as a Service !! With Any Devices With Any Devices 使用任何裝置 使用任何裝置 Accessing Services Accessing Services 存取各種服務 存取各種服務 Cloud Computing =~ Network Computing 雲端運算 =~ 網路運算
  • 39. Supply Chain of Cloud Industry !! 雲端產業的供應鍊 端 應用軟體 應用軟體 供應商 供應商 行動裝置 行動裝置 各類裝置 共通平台 共通平台 存取服務 雲 軟體服務 軟體服務 供應商 供應商 資料中心 資料中心 資料中心 機房維運 機房維運 提供服務 基本硬體 基本硬體 建設組件 建設組件
  • 40. Who are the Cloud Service Providers ? Who are the Cloud Service Providers ? 雲端關鍵提供者 雲端關鍵提供者 Public Cloud 公用雲端 Target Market is S.M.B. 以大型企業 主要客戶為 Hybrid 為主要客戶 中小企業 Cloud Enterprise is key market Community Cloud 私有雲端 社群雲端 Private Cloud Academia 學術為主
  • 42. The Wisdom of Clouds (Crowds) 雲端序曲:雲端的智慧始終來自於群眾的智慧 2006 年 8 月 9 日 2006 年 8 月 9 日 Google 執行長施密特( Eric Schmidt )於 SES'06 會議中首次使用 Google 執行長施密特( Eric Schmidt )於 SES'06 會議中首次使用 「雲端運算( Cloud Computing )」來形容無所不在的網路服務 「雲端運算( Cloud Computing )」來形容無所不在的網路服務 2006 年 8 月 24 日 2006 年 8 月 24 日 Amazon 以 Elastic Compute Cloud 命名其虛擬運算資源服務 Amazon 以 Elastic Compute Cloud 命名其虛擬運算資源服務 Source: http://www.cnet.co.uk/i/c/blg/cat/software/cloudcomputing/clouds1.jpg
  • 43. Evolution of Cloud Services Evolution of Cloud Services 雲端服務只是軟體演化史的必然趨勢 雲端服務只是軟體演化史的必然趨勢 實體 實體 單機版 個人使用 單機版 個人使用 網路版 多人共享 網路版 多人共享 行動版 非同步存取 行動版 非同步存取 Physical Physical Personal Software Personal Software Share Service Software Share Service Software Mobile Cloud Service Mobile Cloud Service 信箱 信箱 E-Mail E-Mail Web Mail Web Mail Mobile Mail Mobile Mail Mailbox Mailbox 電視 電視 電視盒 電視盒 Web TV Web TV Mobile TV Mobile TV TV TV Setop Box Setop Box Ex. Youtube Ex. Youtube 打字機 打字機 Office Office Google Docs Google Docs M-Office M-Office Typer Writer Typer Writer 電話 電話 數位電話 數位電話 Skype Skype Flash Wengo Flash Wengo Telephone Telephone PBX PBX 佈告欄 佈告欄 電子佈告欄 電子佈告欄 部落格 Blog 部落格 Blog 微網誌 Twitter 微網誌 Twitter Bullet Borad Bullet Borad BBS BBS
  • 45. Why are they named by “ SMART ” ?! 智慧打哪兒來?! Smart Phone Smart Car 智慧手機 智慧車輛 Smart Grid SMART ? Smart City 哪裡長 智慧電網 智慧城市 智慧了? Smart Home Smart Meter 智慧家庭 智慧電錶 資料 資料 Data Data 知識 知識 Knowledge Knowledge 智慧 智慧 Wisdom Wisdom
  • 46. Can Machine understand You? 讓機器更懂你? http://www.ettoday.net/news/20120215/25085.htm
  • 47. Data, Information, Knowledge, Wisdom 知識管理模型:資料、資訊、知識與智慧 http://www.pursuantgroup.com/blog/tag/dikw-model/
  • 48. Agenda 演講大綱 Agenda 演講大綱 From WSN to IoT? From WSN to IoT? 物聯網的崛起 物聯網的崛起 What is Cloud ? What is Cloud ? 淺談雲端運算 淺談雲端運算 Cloud and Big Data Cloud and Big Data 雲與海量資料 雲與海量資料 48
  • 49. Key Driving Forces of Cloud Computing Key Driving Forces of Cloud Computing 雲端運算的關鍵驅動力 雲端運算的關鍵驅動力 個人 個人 端 用任何連網裝置 用任何連網裝置 都可以存取資料 都可以存取資料 隨需 隨需 行動服務 行動服務 企業 企業 Mobile Service 全球 全球 Mobile Service 租賃取代買斷 租賃取代買斷 資料往雲擺 資料往雲擺 動態隨需付費 動態隨需付費 減少資料傳輸 減少資料傳輸 雲 降低 降低 因應 因應 經營成本 經營成本 資料爆炸 資料爆炸 Cost Down Cost Down Data Explore Data Explore
  • 50. 「笨蛋!重點在經濟」 ( "It's the economy, stupid") 卡維爾( James Carville )自創這句標語, 促使柯林頓當上美國第 42 屆總統。 - 1992 年 「笨蛋!重點還是在經濟」 ( "It's STILL the economy, stupid") 卻讓小布希嘲笑是幼稚的總統。 - 2002 年 雲端時代,谷歌會說:「笨蛋!重點在資料」 ( "It's the data, stupid" ) 誰掌握了你的資料,就有機會掌握你的荷包 想想看,電腦、手機掉了,您心疼的是甚麽呢? - 2007 年
  • 51. Data Explosion!! 始於 2007 的「資料大爆炸」時代 2007 年, IDC 預估 2010 年會成長六倍! (相較 2006 年) 2006 161 EB 出處: The Expanding Digital Universe, 2010 988 EB ( 預測 ) A Forecast of Worldwide Information Growth Through 2010, March 2007, An IDC White Paper - sponsored by EMC http://www.emc.com/collateral/analyst-reports/expanding-digital-idc-white-paper.pdf
  • 52. Data expanded 1.6x each year !! 每年約略 1.6 倍 追蹤歷年的 IDC 數據: 2006 161 EB 2007 281 EB 2008 487 EB 2009 800 EB (0.8 ZB) 2010 988 EB ( 預測 ) 2010 1200 EB (1.2 ZB) 2011 1773 EB ( 預測 ) 2011 1800 EB (1.8 ZB) 景氣差而成長趨緩? 或受新技術抑制? 出處: Extracting Value from Chaos, June 2011, An IDC White Paper - sponsored by EMC http://www.emc.com/collateral/about/news/idc-emc-digital-universe-2011-infographic.pdf
  • 53. What is Big Data?! 何謂『海量資料』? 海量資料泛指資料大小已無法用一般軟體擷取、管理與處理; 單一資料集大小介於數十 TB 至數 PB 的資料。 'Big Data' = few dozen TeraBytes to PetaBytes in single data set. 出處: http://en.wikipedia.org/wiki/Big_data 多個檔案,容量 一個資料庫,容量 一個檔案,容量 100TB 100TB 100TB 53
  • 54. Gartner Big Data Model ? 海量資料的模型? 海量資料的挑戰在於如何管理「數量」、「增加率」與「多樣性」 參考來源: Volume 資料數量 [1] Laney, Douglas. "3D Data Management: Controlling Data Volume, Velocity and Variety" (6 February 2001) (amount of data) [2] Gartner Says Solving 'Big Data' Challenge Involves More Than Just Managing Volumes of Data, June 2011 EB Structured 結構化資料 Batch ( 批次作業 ) Semi-structured PB 半結構化資料 Realtime ( 即時資料 ) Unstructured 非結構化資料 TB Variety 資料多樣性 Velocity 資料增加率 (data types, sources) (speed of data in/out) 54
  • 55. 12D of Information Management? 12 個維度? 品質管控 權限管控 Big Data 數量管控 只是終極 資訊管理 的開端! Source: Gartner (March 2011), 'Big Data' Is Only the Beginning of Extreme Information Management, 7 April 2011, http://www.gartner.com/id=1622715 55
  • 57. New IT Architecture toward Cloud Computing !! 用雲掌握資料,加以分析,形成智能給端用 雲 資料中心 提供服務 雲端設計新思維:端的智能來自於雲的服務 Devices share the wisdom of Cloud 端 各類裝置 存取服務
  • 58. 4. 下載最佳路徑 1. 上傳行進軌跡 6. 上傳最佳路徑執行狀態 ( 判斷是否需要修正) 3. 運算 2. 運算 最佳路徑 起始 掃過區域 座標 掃過 區域 5. 執行 最佳路徑 曾經有人問道:我是學電機的,那 電機與控制跟雲端有甚麽關聯性?
  • 59. Three Key Technologies !! 三種服務模式 vs. 三大關鍵技術 隨需 隨需 SaaS SaaS Web 2.0 Web 2.0 行動服務 行動服務 Software as a Service Software as a Service Mobile Service Mobile Service 軟體即服務 軟體即服務 網頁服務 網頁服務 因應 因應 PaaS PaaS Big Data Big Data 資料爆炸 資料爆炸 Platform as a Service Platform as a Service Data Explore 平台即服務 平台即服務 資料分析 資料分析 Data Explore 降低 降低 IaaS IaaSService Virtualization Virtualization 經營成本 經營成本 Infrastructure as a Service Infrastructure as a Cost Down 架構即服務 架構即服務 虛擬化技術 虛擬化技術 Cost Down
  • 60. Agenda 演講大綱 Agenda 演講大綱 From WSN to IoT? From WSN to IoT? 物聯網的崛起 物聯網的崛起 What is Cloud ? What is Cloud ? 淺談雲端運算 淺談雲端運算 Cloud and Big Data Cloud and Big Data 雲與海量資料 雲與海量資料 Smart City App Smart City App 智慧城市應用 智慧城市應用 60
  • 62. 居住在城 上 的人口 50% 以 以 後已有 裡 2008 年 每個禮拜有一百三十萬人 搬入城市 62 http://www.postscapes.com/anatomy-of-a-smart-city-full
  • 63. 個 城 市 》 《 全球 球最 有大 二的 一市 是 目 前 全 十 城東 京 63 http://www.postscapes.com/anatomy-of-a-smart-city-full
  • 64. 年 百 全 多 球 個 已 有 2011 百 生 分 產 毛 額 貢 前 獻 了 之六 六百 十大 的城 市 64 http://www.postscapes.com/anatomy-of-a-smart-city-full
  • 65. 十 能 至 源 八 十 百 城 分 市 之 使 六 用 了 65 http://www.postscapes.com/anatomy-of-a-smart-city-full
  • 66. 智 測 慧 城 市 基 要 於 即 造 主統時 成 城 了 市 了 訊 資 系 66 http://www.postscapes.com/anatomy-of-a-smart-city-full
  • 67. 、 、環 量 境 全對 測 交包 、象 通括 建 、 電 築 力 物 67 http://www.postscapes.com/anatomy-of-a-smart-city-full
  • 69. 智慧城市的六個維度 6D of Smart Cities 根據維基百科的定義, 智慧城市包含六個維度 智慧經濟 Smart Economy 智慧連網 智慧空間 Smart Smart Environment Mobility Sustainable 永續經營 Smart Smart Living People 智慧生活 Smart 智慧市民 Governance 智慧政府 http://en.wikipedia.org/wiki/Smart_city 69
  • 70. 讓人民有感的智慧城市 Ubiquitous Computing 食 樂 Food 衣 Entertainment Clothing 育 住 Education 行 Housing Traffic 70
  • 72. 幫忙您決定該怎麼穿衣服的氣象服務 http://www.cwb.gov.tw/township/ 72
  • 73. 幫忙您找房子的地理資訊服務 http://rent.591.com.tw/ 73
  • 74. 幫忙您查即時交通路況的地理資訊服務 http://1968.freeway.gov.tw/ 74
  • 76. 用地理資訊服務學習一個城市的歷史 http://hypercities.ats.ucla.edu/ 76
  • 78. Agenda 演講大綱 Agenda 演講大綱 From WSN to IoT? From WSN to IoT? 物聯網的崛起 物聯網的崛起 What is Cloud ? What is Cloud ? 淺談雲端運算 淺談雲端運算 Cloud and Big Data Cloud and Big Data 雲與海量資料 雲與海量資料 Smart City App Smart City App 智慧城市應用 智慧城市應用 How to do in future How to do in future 打造基礎建設 打造基礎建設 78
  • 79. The SMAQ stack for big data 海量資料處理的資訊架構 未來處理海量資料的人必需知道 做網頁相關的人可能聽過 LAMP SMAQ ( Storage, MapReduce and Query ) 參考來源: The SMAQ stack for big data , Edd Dumbill , 22 September 2010 ,          http://radar.oreilly.com/2010/09/the-smaq-stack-for-big-data.html 79 圖片來源: http://smashingweb.ge6.org/wp-content/uploads/2011/10/apache-php-mysql-ubuntu.png
  • 80. The SMAQ stack for big data 海量資料處理的資訊架構 用來儲存分散、沒有關聯 的非結構化資料 參考來源: The SMAQ stack for big data , Edd Dumbill , 22 September 2010 ,          http://radar.oreilly.com/2010/09/the-smaq-stack-for-big-data.html 80
  • 81. The SMAQ stack for big data 海量資料處理的資訊架構 運用批次處理的方式,將 運算工作平均分散到許多 的伺服器做運算。 參考來源: The SMAQ stack for big data , Edd Dumbill , 22 September 2010 ,          http://radar.oreilly.com/2010/09/the-smaq-stack-for-big-data.html 81
  • 82. The SMAQ stack for big data 海量資料處理的資訊架構 將算完的結構化資料儲存 到可供查詢的資料庫系統 參考來源: The SMAQ stack for big data , Edd Dumbill , 22 September 2010 ,          http://radar.oreilly.com/2010/09/the-smaq-stack-for-big-data.html 82
  • 83. Three Core Technologies of Google .... Google 的三大關鍵技術 .... • Google 在一些會議分享他們的三大關鍵技術 • Google shared their design of web-search engine – SOSP 2003 : – “The Google File System” – http://labs.google.com/papers/gfs.html – OSDI 2004 : – “MapReduce : Simplifed Data Processing on Large Cluster” – http://labs.google.com/papers/mapreduce.html – OSDI 2006 : – “Bigtable: A Distributed Storage System for Structured Data” – http://labs.google.com/papers/bigtable-osdi06.pdf 83
  • 84. Open Source Mapping of Google Core Technologies Open Source Mapping of Google Core Technologies Google 三大關鍵技術對應的自由軟體 Google 三大關鍵技術對應的自由軟體 Google 三大關鍵技術 自由軟體對應解決方案 Q = Query Q = Query HBase, Hypertable HBase, Hypertable BigTable BigTable Cassandra, .... Cassandra, .... A huge key-value datastore A huge key-value datastore MapReduce MapReduce Hadoop MapReduce API Hadoop MapReduce API To parallel process data To parallel process data Sphere MapReduce API, ... Sphere MapReduce API, ... S = Storage S = Storage Hadoop Distributed File System (HDFS) Hadoop Distributed File System (HDFS) Google File System Google File System Sector Distributed File System Sector Distributed File System To store petabytes of data To store petabytes of data 84
  • 85. Hadoop Hadoop • http://hadoop.apache.org • Hadoop 是 Apache Top Level 開發專案 • Hadoop is Apache Top Level Project • 目前主要由 Yahoo! 資助、開發與運用 • Major sponsor is Yahoo! • 創始者是 Doug Cutting ,參考 Google Filesystem • Developed by Doug Cutting, Reference from Google Filesystem • 以 Java 開發,提供 HDFS 與 MapReduce API 。 • Written by Java, it provides HDFS and MapReduce API • 2006 年使用在 Yahoo 內部服務中 • Used in Yahoo since year 2006 • 已佈署於上千個節點。 • It had been deploy to 4000+ nodes in Yahoo • 處理 Petabyte 等級資料量。 Facebook、Last.fm • Design to process dataset in Petabyte 、Joost are also powered by Hadoop 85
  • 86. Hadoop 簡介 Hadoop 簡介 Hadoop 是一個讓使用者簡易撰寫並 執行處理海量資料應用程式的軟體平台。 亦可以想像成一個處理海量資料的生產線,只須 學會定義 map 跟 reduce 工作站該做哪些事情。 就像工廠的倉庫 生產機台 存放生產原料跟待售貨物 包裝機台 Map HDFS 存放 Reduce 待處理的非結構化資料 與處理後的結構化資料 一進一出 多進一出 86
  • 87. Sector // Sphere Sector Sphere • http://sector.sourceforge.net/ • 由美國資料探勘中心研發的自由軟體專案。 • Developed by National Center for Data Mining, USA • 採用 C/C++ 語言撰寫,因此效能較 Hadoop 更好。 • Written by C/C++, so performance is better than Hadoop • 提供「類似」 Google File System 與 MapReduce 的機制 • Provide file system similar to Google File System and MapReduce API • 基於UDT高效率網路協定來加速資料傳輸效率 • Based on UDT which enhance the network performance • Open Cloud Testbed有提供測試環境,並開發MalStone效能評比軟體 • Open Cloud Consortium provide Open Cloud Testbed and develop MalStone toolkit for benchmark 87
  • 88. Why we choice Hadoop? Good Ecosystem!     豐富的生態系建構出處理海量資料的工具庫 88 http://rationalintelligence.com/wp_log/?p=104
  • 89. Agenda 演講大綱 Agenda 演講大綱 From WSN to IoT? From WSN to IoT? 物聯網的崛起 物聯網的崛起 What is Cloud ? What is Cloud ? 淺談雲端運算 淺談雲端運算 Cloud and Big Data Cloud and Big Data 雲與海量資料 雲與海量資料 Smart City App Smart City App 智慧城市應用 智慧城市應用 How to do in future How to do in future 打造基礎建設 打造基礎建設 Conclusion Conclusion 結論 結論 89
  • 90. IoT is the source of Big Data Cloud Computing is the Store Big Data is the key to Mobile Computing SMAQ is the way to achieve Wisdom 未來物聯網會產生海量資料 必須儲存於雲端的資料中心 得透過分析技術來提供行動服務 SMAQ 是產生智慧的必要架構
  • 91. Questions? Questions? Slides -- http://trac.nchc.org.tw/cloud Slides http://trac.nchc.org.tw/cloud Jazz Wang Jazz Wang Yao-Tsung Wang Yao-Tsung Wang jazz@nchc.org.tw jazz@nchc.org.tw 91