Ce diaporama a bien été signalé.
Nous utilisons votre profil LinkedIn et vos données d’activité pour vous proposer des publicités personnalisées et pertinentes. Vous pouvez changer vos préférences de publicités à tout moment.

Reactive Workflow Argo Eventsの紹介

Kubernetes Meetup Tokyo #17にて自身も開発に参加しているArgo Eventsを紹介しました。

  • Soyez le premier à commenter

Reactive Workflow Argo Eventsの紹介

  1. 1. Reactive Workflow Argo Eventsの紹介 Daisuke Taniwaki, Engineer Preferred Networks, Inc. 2019/3/18 Kubernetes Meetup Tokyo #17 1
  2. 2. 自己紹介 谷脇 大輔 (Daisuke Taniwaki) 職歴 2008~2012 Trend Micro - 未知の脅威を発見するWebクローラ 2012~2014 Kakaku.com - Tabelog USの立ち上げ 2014~2017 Kaizen Platform - Kaizen Optimization Platform 2017~現在 Preferred Networks - ジョブスケジューラやクラスター向けツール 技術領域 dtaniwaki dtaniwaki 2
  3. 3. Argoとは - KubernetesネイティブなOSSワークフローエンジン - ステップごとにPodや任意のリソースを定義 - DAGの形成、条件分岐、パラメータ実行 - Argo UIでワークフローの結果・進捗も可視化 - Intuitを中心に開発 - CI/CDのサイドプロジェクトもある 3
  4. 4. PFNでの利用例 - サーバの設定反映のフロー制御 - データセットの前処理をCPUノードで実行した後に、 GPUノードで深層学習を実行 - 実行環境のDocker imageをCPUノードでビルドした後に 、GPUノードで深層学習を実行 4
  5. 5. Argo Eventsとは - Kubernetesのためのイベントベース依存関係管理システ ム - 様々なイベントソースによる依存関係の管理 - イベントの依存関係の解決ロジックをカスタマイズできる - 独自のイベントソースに対して拡張可能 - CloudEvents準拠 - GatewayとSensorのCRDからなる - もともとはBlackRockが開発、 Argo projectに合流 5
  6. 6. Architecture 6Gateway Sensor
  7. 7. サポートされているGateway - Calendar - Webhooks - Kubernetes Resources - Artifacts (S3, Minio) - Streams - NATS - MQTT - Kafka - AMQP (Apache ActiveMQ, Apache Qpid, StormMQ, RabbitMQ) 7 - Community - Github - Gitlab - HDFS - Trello - Slack - GCP Pub/Sub - AWS SQS, SNS - etc.
  8. 8. PFNでの利用想定 - HDFS上のファイルを監視し、前処理したデータセットが アップロードされたら、作成されたデータに応じてワー クフローを実行 - Kubernetes Resourceを監視し、Kuberetes上でDockerイ メージがビルドされたら、作成されたイメージに応じて ワークフローを実行 8 現在、導入準備中!
  9. 9. 9 We’re hiring!! 効率的な研究者向けクラスター管理システムを 一緒に構築してくれる仲間を募集中です! https://www.workable.com/j/BBA8B7D984

×