GA直前！SQL Server 2017 Linux 版の深イイ話
•
2 j'aime•745 vues
2017/9/9 関西DB勉強会での SQL Server 2017 のセッション資料です。
Recommandé
Contenu connexe
Tendances
Tendances (20)
Similaire à GA直前！SQL Server 2017 Linux 版の深イイ話
Similaire à GA直前！SQL Server 2017 Linux 版の深イイ話 (20)
Plus de Miho Yamamoto
Plus de Miho Yamamoto (16)
GA直前！SQL Server 2017 Linux 版の深イイ話
- 2. 注意事項 • この資料は 2017 年 9 月 8 日 時点での情報をもとに作成されて います。 • この資料は 2017 年 9 月 8 日 時点で一般提供（GA）されて いない SQL Server 2017 の RC 2 ベースでの情報となるため、 実際に一般提供される際に変更 される可能性がございます。
- 6. 42 https://azure.microsoft.com/ja-jp/regions/ 100 カ所以上のデータセンター ネットワーク網が全世界で Top 3 の 1 つ Central US Iowa West US California North Europe Ireland East US Virginia East US 2 Virginia US GOV Virginia North Central US Illinois US GOV Iowa South Central US Texas Brazil South Sao Paulo West Europe Netherlands China North * Beijing China South * Shanghai Japan East Saitama Japan West Osaka India South Chennai East Asia Hong Kong SE Asia Singapore Australia South East Victoria Australia East New South Wales * Operated by 21Vianet India Central Pune Canada East Quebec City Canada Central Toronto India West Mumbai Germany East Germany West UK West UK East Operated by Deutsche Telekom West US2 California West Central US Korea Central Seoul Korea South TBA US East DoD US GOV Texas France Central France South US GOV Arizona US Central DOD regions around the world
- 8. データベース SQL Server /MySQL/PostgreSQL OS Azure が管理 利用者が管理 VM上のデータベース ホスト OS 仮想化 フルコントロール データベース SQL Server /MySQL/PostgreSQL OS 仮想化 ホスト OS 容易な管理 Azure PaaS
- 11. 変革を醸成するデータプラットフォーム 構造化 非構造化 OLTP モバイル ERP LOB グラフ ソーシャル IoT メディア データ ソース データに関するインサイト データ仮想化 データ管理 データ統合 セキュリティ 柔軟性 ビジネス インテリジェンス 高度な分析と AI ビッグ データ処理 データ ウェアハウス 運用データ
- 12. SQL Server 2017 : 破壊的変革を醸成するデータ プラットフォーム UNMATCHED TCO WITH EVERYTHING BUILT-IN ビジネス インテリジェンス 高度な分析と AI わずかなコストで どこでも Mobile BI 1 秒当たり 100 万件の予測 0 50 100 150 脆弱性 (2010～2016年) 構造化 非構造化 OLTP モバイル ERP LOB グラフ ソーシャル IoT メディア マイクロソフ ト Tableau Oracle 120 ド ル 480 ド ル 2,230 ドル データ ソース データに関する洞察 データ仮想化PolyBase データ管理 データ統合SSIS ビッグ データ処理 データ ウェアハウス 運用データ TPC-Hで No.1 の パフォーマンス ペタバイトへの 拡張 あらゆるデータの T-SQL クエリ 1010 0101 { } TPC-E の リーダー No.1 No.2 No.3 過去 7 年間で最も セキュリティの 優れたデータベース R PB あらゆる言語 あらゆるプラットフォーム で構成可能 RとPython に対応 4 年連続で業界を牽引 + セキュリティ 柔軟性 SQL Server SAP HANA PostgreSQL IBM DB2 Oracle MySQL 上図は、研究書の一部として Gartner 社が公開したものであり、その文書全体の文脈の中で評価する必要があります。Gartner 社の文書については、ご要望があればマイクロソフトから提供いたします。Gartner 社は、研究関連出版物に記載されたいかなるベンダー、製品、またはサービスを推奨することはなく、技術を利用する者に対して、評価の高いまたはそ の他の認定を受けたベンダーのみを選択することを推奨することはありません。Gartner 社の研究関連出版物は、Gartner 社の研究組織の意見で構成されており、事実の記述ではありません。Gartner 社は、特定の目的のために市場性または適切性の保証を含め、明示または黙示を問わず、本研究に関する一切の保証を行いません。 National Institute of Standards and Technology Comprehensive Vulnerability Database、2017 年度更新 .NET Azure 3rd JAVA
- 13. SQL Server および Azure Data Services : 破壊的変革を醸成するデータ プラットフォーム ビジネス インテリジェンス 高度な分析と AI あらゆる言語 あらゆるプラットフォームで構成可能 他のクラウド プロバイダーよりも最も多くのセキュリティ認証を獲得したクラウド 構造化 非構造化 OLTP モバイル ERP LOB グラフ ソーシャル IoT メディア データ ソース データに関するビジネスインサイト データ仮想化PolyBase データ管理 データ統合SSIS ビッグ データ処理 データ ウェアハウス 運用データ セキュリティ 柔軟性 .NET Azure 3rd JAVA Power BI Embedded Azure Machine Learning Azure Stream Analytics Azure Cognitive Services SQL Server Reporting Services と Mobile BI SQL Server Analysis Services と R ビルトイン Azure HDInsight Azure SQL Data Warehouse Azure Data Lake Azure Cosmos DB Azure SQL Database SQL Server SQL Server Data Warehouse Apache Hadoop オンプレミス クラウド
- 15. SQL Server 2017 Linux と Docker で動作 複雑な関係性を分析するグラフ クエリに対応 R と Python を活用した高度な機械学習 適応型クエリ処理による学習と最適化で 圧倒的なパフォーマンスを実現 SQL Server 2017 新登場
- 17. データベースに統合されたインテリジェンス Intelligent Trusted Flexible パフォーマンスを改善 オンプレミスおよびクラウドのデータの近くで実行 される Microsoft Machine Learning Algorithms 2～10 倍の速さ AI を通じた相互作用の再定義 数十年におよぶ研究と投資に基づく 音声、視覚、言語および検索 API 価値創出の時間の短縮 機械学習モデルへの簡単なアクセスと実験から 生産までのシームレスな移行
- 18. 信頼できるデータプラットフォーム Intelligent Trusted Flexible ビジネスとともに自然に成長 ML ベース自動インデックス チューニング付 きの高可用性かつ高性能なデータ サービス コンプライアンス基準に適応 グローバルおよび業界固有のコンプライアンス 基準に加え、各国独自の基準に準拠 データを所有、保護と コントロール 過去 7 年間で最も脆弱性の低いデータベース※
- 19. 言語やプラットフォームに限定されず利用可能 Intelligent Trusted Flexible オープン ソース イノベーション 貴社のチームが既存のスキルと専門性を活用でき るよう、複数の言語と最先端のオープン ソース プロジェクトをサポート すべてのデータを最大限活用 非リレーショナル データとリレーショナル データ 両方でクエリを簡単に実行でき、 より優れたビジネス インサイトを獲得 既存の投資を最大限に活用 オンプレミス、クラウド、またはハイブリッドのイン フラストラクチャと連動するアプリケーションと モデルを構築および実行 クラウ ド オンプレミ ス ハイブ リッド
- 20. インテリジェント ソリューションによる差別化 • オブジェクト、人、 アクションを特定 • 言語の聞き取りと認識 • 感情と反応を推測 • より深いコンテキストと理解認知理解 インタラクティブな プラットフォーム • 自然言語会話型 UI • Skype、Slack、Facebook など のあらゆるツールで利用可能 • データとクラウドによって強化 されたインテリジェント ボット • パーソナル デジタル アシスタントを通しての アクセスが可能
- 22. SQL Server 2017 4 年連続で業界を牽引 過去 7 年間を通して最もセキュリティの優位性を 評価されたデータベース 最高性能のデータ ウェアハウス わずかなコストで実現できるエンド ツー エンドの モバイル BI データベースに統合された アドバンスド アナリティクス この図は、研究書の一部として Gartner 社が公開したものであり、その文書全体の文脈の中で評価す る必要があります。Gartner 社の文書については、ご要望があれば提供いたします。Gartner 社は、研 究関連出版物に記載されたいかなるベンダー、製品、またはサービスを推奨することはなく、技術を 利用する者に対して、評価の高いまたはその他の認定を受けたベンダーのみを選択することを推奨す ることはありません。Gartner 社の研究関連出版物は、Gartner 社の研究組織の意見で構成されてお り、事実の記述ではありません。Gartner 社は、特定の目的のために市場性または適切性の保証を含 め、明示または黙示を問わず、本研究に関する一切の保証を行いません。 すべてをビルトイン
- 23. 過去 7 年間を通して最もセキュリティの優位性を 評価されたデータベース 最高性能のデータ ウェアハウス わずかなコストで実現できるエンド ツー エンドの モバイル BI データベースに統合された アドバンスド アナリティクス 0 20 40 60 80 100 120 140 160 180 200 脆弱性(2010～2016年) 4 年連続で業界を牽引 SQL Server 2017すべてをビルトイン
- 24. SQL Server 2017 が実現する圧倒的なパフォーマンス データ管理 // 運用データ • 行ベースのインメモリ OLTP が トランザクション性能を 大幅に改善 • 列ストア圧縮により 分析の速度が向上、ストレージの ニーズを削減 • リアルタイム運用分析 (HTAP) 統合を実施 • 新しい適応クエリ処理により チューニングなしでクエリ性能 改善が可能 • 実行プランの自動修正により アプリケーション変更時も パフォーマンスを維持可能 0100101010110 インメモリ列ストア インメモリ OLTP ETL ハイブリッド トランザクション分析処理 (HTAP) による リアルタイム運用分析の実現 大量のクレジット カード データの 管理に取込み アクティブデータを インメモリ OLTP テーブルと組み合わせ 素早いアクセスを実現 インメモリ列ストアに よるデータの圧縮に よる高速化 より高速なクエリと 処理により、リアル のタイムエラー 検出が実現可能に
- 25. AlwaysOn 新ハイブリッド HA シナリオ • HA と DR のための Linux と Windows の AlwaysOn グループが可能 • HA アーキテクチャ向けの 新たな柔軟性 • OS レベルの冗長性と フェールオーバーによる 究極の HA の実現 • 読み取り可能なセカンダリによる 負荷分散 あらゆるプラットフォームに対応した ミッション クリティカル HA データ管理 // 運用データ • 高可用性 • バックアップの負荷軽減 • BI レポートの拡大縮小 • テスト可能 • 移行可能
- 26. • MPP および SMP アーキテクチャに よってペタバイト データ ウェアハウス規模を実現 • 1TB、10TB、および 30 TB TPC-H ベン チマークで No.1 のパフォーマンス • 主要ハードウェア パートナーからの リファレンス アーキテクチャ ペタバイト スケールのデータ ウェアハウス データ管理 // データ ウェアハウス 24 TB の メモリ Windows Server の 最大コア数をサポート Windows Server 2016 における最大スケールに対応
- 27. • 次世代 PolyBase によって、 隔離された多様のデータ ソースに保 存されているすべてのデータのクエ リを処理 • 新たにサポートされた Graph を 導入することで、データ間の 関係性と改造構造を容易に可視化 • SQL Server と Hadoop の 組み合わせがデータ レイクから 新たな価値を見出し ビジネスインサイトを提供 あらゆるデータタイプに対応したクエリ データ ソース グラフ データ サポート 四半期ビジネス レ ビュー Andy Smith Mary Jones Denny Usher Bill Brown Rachel Hogan Sue Daniels 製品開発プロジェクト IT 評価 Jake Marks Eric Mears Michelle Burns 人事チームがどのスタッフが どのプロジェクトに取り組むか 決定することが可能に プロジェクト アソシエイト マネージャー
- 28. • ビッグ データ のソース、 追加されたデータベース、 Azure ストアなど、様々な モダナイズデータ ソースのために 用意された Modern Connector • 多様なデータに対応した データ変換とマッシュアップに よる複数形式データ間の分析 • インメモリ テクノロジが 実現する高パフォーマンス あらゆるデータ タイプをサポートする強力なモデリング機能 データの洞察 // ビジネス インテリジェンス お好みのクルーズ で顧客ソーシャル データを入手 最新乗船率と過 去の実績を統合 KPI の編集 2 つのクルーズ プランの反応比 較 プランBが魅力 的 – 航路の立ち上げ モダン データ ソースからテーブル モデルを作成し、 さらなるトランスフォーメーションを実施 SQL Server Analysis Services (SSAS) 以下のモダン データ ソース: 可視化 Excel Tableau Power BI Facebook データ分析変化 感情 チャーン 収益 MySQL Azure Blob MailChimp ファイル RedShift
- 29. • R に加え Python 言語に対応 ユーザーの選択肢が広がり 使い慣れたツールや言語で データ分析が可能に • 並列化、大規模データ対応 より高い精度の分析を さらに高速に実行 • 業界最先端の人工知能が革新的なイ ノベーションを提供 迅速に分析結果からビジネス インサイトを取得 • 高度な機械学習アルゴリズムを GPU を利用して実行可能 人工知能 (AI) 機能を組み込んだ世界初の商用データベース データの洞察 // 高度な分析 債務不履行の予測 保存 予測 インメモリ OLTP 列ストア Power BI ダッシュボード R ビジネス ユーザー 分析の 準備 可視化 800 万件の自動車 ローンから得た データ 債務不履行の 予測 年齢、当初の残高、金利 ローンの残余期間 クレジット スコア 1 秒当たり 100 万件の 予測 Python
- 30. • NIST 脆弱性情報データベース内で 最も脆弱性の低い、最も安全なデー タ プラットフォーム • 新しいドライバー ライブラリによ るAlways Encrypted が、データ 格納時も伝送時も常にデータを保護 • データの一部を隠す機密情報の隠匿 レベルを柔軟に制御可能にする動的 データ マスキング • 行レベルのセキュリティによって、 参照を試みたユーザーの権限に 基づき特定の行へのアクセスを 制御 データ格納時も伝送時も常にデータを保護 セキュリティ Always Encrypted クエリ クライアント側 サーバー側 データ セット Enhanced SQL Server ライブラリ CIPHERTEXT 単一顧客記録の検索 機密データは、SQL Server 内で暗号化されたまま 暗号化されていない データを含む結果 セット 列マスター キー 列暗号化キー 顧客 クレジット カード番号 例 Denny Usher 0x7ff654ae6d 5/174949-8003-8473-1930 顧客 クレジット カード番号 例 Tim Irish 4839-2939-1919-3987 7/19 Denny Usher 4949-8003-8473-1930 5/17 Alicia Hodge 9000-4899-1600-1324 4/18 クレジット カード番号 1x7fg655se2e 0x7ff654ae6d 0y8fj754ea2c
- 31. • RedHat Enterprise Linux (RHEL)、 Ubuntu、SUSE Enterprise Linux (SLES) などの Linux ディストリビューションを サポート • Docker: Windows および Linux コンテナでも動作 • Windows Server / Windows 10 • パッケージ ベースのインストール、 yum インストール、アプリケー ション取得も可能 プラットフォームに限定されず利用可能 Linux Linux/Windows コンテナ Windows Flexibility
- 32. • 一度開発すれば、どこでも展開可能 • 開発と管理で共通のツール • 共通の T-SQL サーフェス エリア • シンプルなクラウド移行 • 単一ベンダーによるサポート 環境に依存しない、同一の開発・利用環境を オンプレミス・クラウドで提供 柔軟性 オンプレミス IaaS PaaS R
- 33. • あらゆる環境で世界最先端のデータ プラットフォームを実行可能 • Windows、Linux、Dockerなど、 あらゆるオペレーティングシステム に対応 • Azure、ホスティングプロバイダー など、あらゆるクラウドで動作 プラットフォームに限定されず利用可能 柔軟性 SQL Server 2017 Azure 3rd あらゆるプラットフォーム、あらゆるクラウド環境で実行可能
- 34. • セキュリティと柔軟性の改善のための インスタンスレベル制御を用いた新し い Azure SQL Database プレビュー • 新しいデータベース移行 サービスによって、 既存データベースから Azure VM 上の SQL Server や Azure SQL Database のデータの移動をより 容易に実行可能 • プライベート プレビュー登録受付中 クラウドへの容易な移行 柔軟性 01010010 10100101 11101001 データベース移行サービス プレビュー
- 35. Microsoft のデータプラットフォーム INTELLIGENT TRUSTED FLEXIBLE
- 36. おしながき • はじめに • SQL Server 2017 をざっくりと • SQL Server 2017 on Linux の深イイ話 • まとめ
- 37. CTP のリリース状況 Community Technical Preview (CTP) としてプレビュー版を公開 https://docs.microsoft.com/en-us/sql/sql-server/what-s-new-in-sql-server-2017
- 38. RC のリリース状況 Release Candidate (リリース候補版)のリリース状況 https://docs.microsoft.com/en-us/sql/sql-server/what-s-new-in-sql-server-2017
- 39. SQL Server on Linux でサポートされている機能 Windows Public Preview on Linux Linux GA Developer, Express, Web, Standard, Enterprise Preview Database Engine R Services, Integration Services, Analysis Services, Reporting Services, MDS, DQS Maximum number of cores Unlimited TBD TBD Maximum memory utilized per instance 12 TB TBD TBD Maximum database size 524 PB TBD TBD Basic OLTP (Basic In-Memory OLTP, Basic operational analytics) Advanced OLTP (Advanced In-Memory OLTP, Advanced operational analytics) Basic high availability (2-node single database failover, non-readable secondary) Advanced HA (Always On - multi-node, multi-db failover, readable secondaries) Security Basic security (Basic auditing, Row-level security, Data masking, Always Encrypted) Advanced security (Transparent Data Encryption) Data warehousing PolyBase Basic data warehousing/data marts (Basic In-Memory ColumnStore, Partitioning, Compression) Advanced data warehousing (Advanced In-Memory ColumnStore) Advanced data integration (Fuzzy grouping and look ups) Tools Windows ecosystem: Full-fidelity Management & Dev Tool (SSMS & SSDT), command line tools Linux/OSX/Windows ecosystem: Dev tools (VS Code), DB Admin GUI tool, command line tools Developer Programmability (T-SQL, CLR, Data Types, JSON) Windows Filesystem Integration - FileTable BI & Advanced Analytics Basic Corporate Business Intelligence (Multi-dimensional models, Basic tabular model) Basic “R” integration (Connectivity to R Open, Limited parallelism for ScaleR) Advanced “R” integration (Full parallelism for ScaleR) Hybrid cloud Stretch Database Nordic infrastructure Conference 2017 - SQL Server on Linux Overview の発表内容より
- 45. SQL Server Win32 Lib-OS Ring 0 Ring 3 SQL PAL テクノロジー SQL SOS v 2 Host Extention Object Management × 〇 × Memory Management × 〇 Host translation (jemalloc) Threading/ Scheduling × 〇 Host translation (pthreads) Syncronization × 〇 Host translation (condition variables) I/O (Disk/Memory) × 〇 Host translation (kaio) https://www.infoq.com/presentations/sql-server-linux
- 46. SQL Server Linux Linux Host Extension SQL P A L SQLPA L SQLPAL
- 47. SQL Server on Linux のシステムアーキテクチャ SQL Platform Abstraction Layer (SQLPAL) RDBMS IS AS RS Windows Linux Windows Host Extension Linux Host Extension SQL Platform Abstraction Layer (SQLPAL) Win32-like APIs Host Extension mapping to OS system calls (IO, Memory, CPU scheduling) SQL OS API SQL OS v2 Everything else System Resource & Latency Sensitive Code Paths
- 49. mssql- scripter sqlcmd bcp sql-cli Linux • mssql-tools として纏めてインス トール • 導入手順 1. リポジトリの更新 2. 古い unixODBC の削除 3. sudo yum install mssql-tools unixODBC-devel 4. PATH の設定 • Node.js 製 OSS Command Line ツール • npm install -g sql-cli • .help で参照できる専用コマンドも利用可 Mac OS X • 従来の Windows 版から 接続先を変更することでも 利用可能 Windows 機から操作 SQL Server PowerShell • 同上 • Preview 版 (5/24 時点) • 導入手順 1. brew tap microsoft/mssql- preview https://github.com/Microsoft/ho mebrew-mssql-preview 2. brew update 3. brew install mssql-tools • Windows 機から SMO を 使用して接続 • Microsoft 純正 • import/export 実施のため、対話形式で T-SQL スクリプトを自動生成するツール
- 50. SSMS mssql extension in VS Code New GUI Tool for DBAs • 現在未対応 • VS Code 用 extension • SQL/T-SQL の実行が可能 • インテリセンス機能による補完 • T-SQL によるコマンドベースでの DB 管理可能 • 全プラットフォーム上から共通 UI を利用できる管理ツール • 無償提供 • 現在開発中 • 従来と同様の操作 • 接続先のみの変更 • SQL/T-SQL 実行可 • ウィンドウ遷移による GUI ベースでのDB 管理可 • Windows 版 VS Code 上 からも接続可能 Linux Mac OS X Windows 機から操作
- 54. 本書に記載した情報は、本書各項目に関する発行日現在の Microsoft の見解を表明するものです。Microsoftは絶えず変化する市場に対応しなければならないため、ここに記載した情報に対していかなる責務を負うものではなく、提示された 情報の信憑性については保証できません。 本書は情報提供のみを目的としています。 Microsoft は、明示的または暗示的を問わず、本書にいかなる保証も与えるものではありません。 すべての当該著作権法を遵守することはお客様の責務です。Microsoftの書面による明確な許可なく、本書の如何なる部分についても、転載や検索システムへの格納または挿入を行うことは、どのような形式または手段（電子的、機械的、複 写、レコーディング、その他）、および目的であっても禁じられています。 これらは著作権保護された権利を制限するものではありません。 Microsoftは、本書の内容を保護する特許、特許出願書、商標、著作権、またはその他の知的財産権を保有する場合があります。Microsoftから書面によるライセンス契約が明確に供給される場合を除いて、本書の提供はこれらの特許、商標、 著作権、またはその他の知的財産へのライセンスを与えるものではありません。 © 2017 Microsoft Corporation. All rights reserved. Microsoft, Windows, その他本文中に登場した各製品名は、Microsoft Corporation の米国およびその他の国における登録商標または商標です。 その他、記載されている会社名および製品名は、一般に各社の商標です。
Notes de l'éditeur
- 50min
- Azure は世界中の 34 のリージョンで一般公開されており、4のリージョン向けにプランが発表されています。Azure では、パフォーマンスの向上の実現と、データの保存場所に関するお客様の要件と好みへの対応のため、リージョンの拡張を最優先に行っています。 AWS の 2 倍、Google 6 倍の地域サポート 米国 国防総省 (US DoD) も採用 https://azure.microsoft.com/ja-jp/regions/
- 地球約56周分にものぼる225万 キロメートルもの光ファイバーで DC 間を接続 ネットワーク網世界3位です。
- The complete modern data estate
- .net point – be sure to hit back-end development (ASP.NET and .NET Core)
- We are innovating on running algorithms close to where the data lives – so you can easily build fast, large scale, compliant and secure AI, without the latency of large scale data movement. Why? In the past, a common application pattern was to build and host statistical and analytical models and business logic outside the database, in the application layer or in specialty statistics tools. This meant that the application layer had to perform a lot of heavy lifting. Fast data extraction, concurrency, high availability, resource management, security, access control, compliance, manageability… A lot of heavy lifting. But a modern commercial database gives you all that built-in. It already does that heavy lifting. We are bringing the ability to run machine learning and AI in a performant multi-threaded, distributed way at scale directly in the database. This includes the Microsoft Machine Learning algorithms grown from Microsoft’s leading AI research, and even the latest in open source such as R & Python. Now you can build enterprise grade intelligent applications in a far simpler way. And this is available to you both on-premises and in the cloud. No one but Microsoft can do this for their customers.
- We are innovating on running algorithms close to where the data lives – so you can easily build fast, large scale, compliant and secure AI, without the latency of large scale data movement. Why? In the past, a common application pattern was to build and host statistical and analytical models and business logic outside the database, in the application layer or in specialty statistics tools. This meant that the application layer had to perform a lot of heavy lifting. Fast data extraction, concurrency, high availability, resource management, security, access control, compliance, manageability… A lot of heavy lifting. But a modern commercial database gives you all that built-in. It already does that heavy lifting. We are bringing the ability to run machine learning and AI in a performant multi-threaded, distributed way at scale directly in the database. This includes the Microsoft Machine Learning algorithms grown from Microsoft’s leading AI research, and even the latest in open source such as R & Python. Now you can build enterprise grade intelligent applications in a far simpler way. And this is available to you both on-premises and in the cloud. No one but Microsoft can do this for their customers.
- We are innovating on running algorithms close to where the data lives – so you can easily build fast, large scale, compliant and secure AI, without the latency of large scale data movement. Why? In the past, a common application pattern was to build and host statistical and analytical models and business logic outside the database, in the application layer or in specialty statistics tools. This meant that the application layer had to perform a lot of heavy lifting. Fast data extraction, concurrency, high availability, resource management, security, access control, compliance, manageability… A lot of heavy lifting. But a modern commercial database gives you all that built-in. It already does that heavy lifting. We are bringing the ability to run machine learning and AI in a performant multi-threaded, distributed way at scale directly in the database. This includes the Microsoft Machine Learning algorithms grown from Microsoft’s leading AI research, and even the latest in open source such as R & Python. Now you can build enterprise grade intelligent applications in a far simpler way. And this is available to you both on-premises and in the cloud. No one but Microsoft can do this for their customers.
- We are innovating on running algorithms close to where the data lives – so you can easily build fast, large scale, compliant and secure AI, without the latency of large scale data movement. Why? In the past, a common application pattern was to build and host statistical and analytical models and business logic outside the database, in the application layer or in specialty statistics tools. This meant that the application layer had to perform a lot of heavy lifting. Fast data extraction, concurrency, high availability, resource management, security, access control, compliance, manageability… A lot of heavy lifting. But a modern commercial database gives you all that built-in. It already does that heavy lifting. We are bringing the ability to run machine learning and AI in a performant multi-threaded, distributed way at scale directly in the database. This includes the Microsoft Machine Learning algorithms grown from Microsoft’s leading AI research, and even the latest in open source such as R & Python. Now you can build enterprise grade intelligent applications in a far simpler way. And this is available to you both on-premises and in the cloud. No one but Microsoft can do this for their customers.
- We are innovating on running algorithms close to where the data lives – so you can easily build fast, large scale, compliant and secure AI, without the latency of large scale data movement. Why? In the past, a common application pattern was to build and host statistical and analytical models and business logic outside the database, in the application layer or in specialty statistics tools. This meant that the application layer had to perform a lot of heavy lifting. Fast data extraction, concurrency, high availability, resource management, security, access control, compliance, manageability… A lot of heavy lifting. But a modern commercial database gives you all that built-in. It already does that heavy lifting. We are bringing the ability to run machine learning and AI in a performant multi-threaded, distributed way at scale directly in the database. This includes the Microsoft Machine Learning algorithms grown from Microsoft’s leading AI research, and even the latest in open source such as R & Python. Now you can build enterprise grade intelligent applications in a far simpler way. And this is available to you both on-premises and in the cloud. No one but Microsoft can do this for their customers.
- We are innovating on running algorithms close to where the data lives – so you can easily build fast, large scale, compliant and secure AI, without the latency of large scale data movement. Why? In the past, a common application pattern was to build and host statistical and analytical models and business logic outside the database, in the application layer or in specialty statistics tools. This meant that the application layer had to perform a lot of heavy lifting. Fast data extraction, concurrency, high availability, resource management, security, access control, compliance, manageability… A lot of heavy lifting. But a modern commercial database gives you all that built-in. It already does that heavy lifting. We are bringing the ability to run machine learning and AI in a performant multi-threaded, distributed way at scale directly in the database. This includes the Microsoft Machine Learning algorithms grown from Microsoft’s leading AI research, and even the latest in open source such as R & Python. Now you can build enterprise grade intelligent applications in a far simpler way. And this is available to you both on-premises and in the cloud. No one but Microsoft can do this for their customers.
- The above graphics were published by Gartner, Inc. as part of a larger research document and should be evaluated in the context of the entire document. The Gartner document is available upon request from Microsoft. Gartner does not endorse any vendor, product or service depicted in its research publications, and does not advise technology users to select only those vendors with the highest ratings or other designation. Gartner research publications consist of the opinions of Gartner's research organization and should not be construed as statements of fact. Gartner disclaims all warranties, expressed or implied, with respect to this research, including any warranties of merchantability or fitness for a particular purpose
- National Institute of Standards and Technology Comprehensive Vulnerability Database update 2/2016.
- Achieve industry-leading performance with SQL Server 2017 Improve throughput and latency on transactional data workloads with row-based in-memory OLTP, for up to 30x faster transactions Reduce storage needs with ColumnStore column compression and up to 100x faster queries By bringing these two engines together, running in-memory columnstore on top of the in-memory OLTP engine, customers can enable real-time reporting against their operational database without impacting end customer performance Enhancements in 2017 include: Real-time intelligence thanks to faster transactions with In-Memory OLTP; new T-SQL enhancements for in-memory tables and natively compiled stored procedures Columnstore performance improvements and support for LOBs Also new in 2017: Improved efficiency with Adaptive Query Processing A family of features that learns from database performance as it goes Interleaved Compilation/Execution for challenging queries to improve plan quality and performance Adjusts memory grants for repeated queries to avoid over or under allocating Adaptive Joins adjust data joining strategy dynamically to improve query performance and stability over skewed data distributions Maintain performance when making app changes with Automatic Plan Correction
- New flexibility to do HA without Windows Server fail over clustering Fail-over clustering with Pacemaker and more through integration scripts and guides Always On availability groups with automatic fail-over, listener, synchronous replication, read-only secondaries Shared disk failover clusters Backup and restore: .bak, .bacpac, and .dacpac Log shipping
- Another important point is mass scalability. We’ve talked about all of these great in-memory technologies, but one of the dependencies is memory and compute. Windows Server 2016 is knocking this out of the park; it provides 24 terabytes of memory that SQL Server can take advantage of. Physical memory and Windows Server 2016 can support hardware max in terms of cores, and we are already doing tests of 600 plus cores in parallel. Just think about the scale of performance you are going to get. It’s a modern way of doing things: why scale out when you can scale up? It’s cheaper for you, it’s easier to manage, and it allows for tremendous performance Companies like NASDAQ are doing this to achieve 1PB+ data warehouse performance in a scale-up architecture. We also have scale-up MPP in the cloud with Azure SQL Data Warehouse, which we’ll talk more about later in this presentation. (Aside: can we verify the ½ the cost of Oracle Exadata claim?)
- New support for Graph Data Full CRUD support to create nodes and edges Query language extension provides multi-hop navigation using join-free pattern matching SQL engine integration enables querying across SQL tables and graph data Existing tools work out of the box with graph data In addition, you can create an external table that maps the two structured and unstructured data and the PolyBase technology available in SQL Server allows customers to query that external table, so the structured and unstructured data can be correlated together.
- Enhanced SSAS Modern data connectivity & transformation Support for Power BI data sources* Data mashup transformations Drill-through & ragged hierarchies Improved scalability on enterprise hardware & DirectQuery performance enhancements SSDT with local AS engine, no SQL Server dependency Support for Visual Studio “Dev15” All of these enhancements apply to tabular
- New in Microsoft Machine Learning Serivces: support for Python Standalone R Server Azure VMs for Linux and Windows Pre-configured Azure VMs for Windows Written case study that may be added here.
- Encrypts data at rest with Transparent Data Encryption Track and logs events based on specifications with Auditing
- 誰に登録受け付ければいいのかしら？ uikou
- EAP プログラムはPrivate なプログラムなため、昨日Graph DBのご紹介のところでNDAと昨日言いました。
- EAP プログラムはPrivate なプログラムなため、昨日Graph DBのご紹介のところでNDAと昨日言いました。
- https://www.slideshare.net/TravisWright4/nordic-infrastructure-conference-2017-sql-server-on-linux-overview
- Linux 対応のプロローグとして SQL Server 6.5以前では、自分自身がしゆするプロセスの実行をすべてOSに任せていました。そのため、SQL Server は大規模システムではパフォーマンスが出ないといったことが起きてしまっていました。 Windows のプロセススケジューラはその管理する個々のプロセスがどんな処理をしているのかというのには無頓着です。SQL Server のプロセスはブロッキング待ちになったりIO待ちになったりしますが、Windows のスケジューラは一切それに関与しません。 こういった状況が多発すると見かけ上SQLServerにクエリを投げているけどCPU使用率があがらず頭打ちになってしまうということがありました。
- 自分自身でスレッドの一部を担うようになりました。
- 冗長性の排除 パフォーマンスのクリティカルパス（I/O） Lib-OS ： ライブラリOS と Win32の間のパスを短く。
- SQL Server は非常にフットプリントの大きな製品で、3400万行のコードでできています。 なので、マルチプラットフォーム対応で移植をすると永遠に互換性の問題に悩まされるから移植していません。 そのかわりに、 SQL Platform Abstraction Layer 通称PALをつくり、SQL OSを統合しSQL PALを作成しました。 PALはエミュレーターではありません。 シングルコードベースのフルパフォーマンスで動作し、どちらのプラットフォームでもネイティブに動作するテクノロジーです。 x86 の命令セットに読み替えるAPIエミュレーション技術で、マイクロソフトリサーチが7年ほど前に開発したDrawBridgeというテクノロジを使っています。 端的に言うと、Windows Subsystem for Linux で使っているテクノロジで逆さまの実装を行っているのがこのPALです。 Windows 及びLinux の両方で、SQL Serverを動作させるにあたってdll を使用していません。なぜなら、同じソースコードでマルチプラットフォームを実現しているからです。 ホストの拡張機能はPALのコンポーネントプラットフォーム固有部分（I/Oやメモリ、CPUスケジュール）を抽象化しています。 なので、パフォーマンスやI/Oを行うコードの部分はネイティブです。 単一のソースコードで実装している一番の利点はSQL Server に新しい機能を追加するとすべてのプラットフォームですぐに利用可能になるからです。 アーキテクチャ的に意識高い系という感じです。 パフォーマンスにおける SQL on Linuxがパフォーマンスしない？という疑念があると思いますが。 Performance promise: SQL on Linux will run with the same perf as SQL on Windows. This is a success criteria for us. We’ve done a bunch of testing and we’re comfortable that it will have the same perf characteristics as SQL on Windows. In our tests, we have some cases where SQL on Linux runs a little faster or vice-versa. On average it is the same. Now, there are some edge cases. If Linux doesn’t run well on a 640-core machine, 24TB RAM machine, there’s only so much we can do.