Ce diaporama a bien été signalé.
Nous utilisons votre profil LinkedIn et vos données d’activité pour vous proposer des publicités personnalisées et pertinentes. Vous pouvez changer vos préférences de publicités à tout moment.

go-apt-cacher/mirror

10 826 vues

Publié le

Aptレポジトリに特化したキャッシュプロキシ go-apt-cacher とミラーリングツール go-apt-mirror の紹介です。

https://github.com/cybozu-go/aptutil

Publié dans : Technologie
  • DOWNLOAD THAT BOOKS INTO AVAILABLE FORMAT (2019 Update) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download Full EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download Full doc Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download doc Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... ......................................................................................................................... ................................................................................................................................... eBook is an electronic version of a traditional print book that can be read by using a personal computer or by using an eBook reader. (An eBook reader can be a software application for use on a computer such as Microsoft's free Reader application, or a book-sized computer that is used solely as a reading device such as Nuvomedia's Rocket eBook.) Users can purchase an eBook on diskette or CD, but the most popular method of getting an eBook is to purchase a downloadable file of the eBook (or other reading material) from a Web site (such as Barnes and Noble) to be read from the user's computer or reading device. Generally, an eBook can be downloaded in five minutes or less ......................................................................................................................... .............. Browse by Genre Available eBooks .............................................................................................................................. Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, ......................................................................................................................... ......................................................................................................................... .....BEST SELLER FOR EBOOK RECOMMEND............................................................. ......................................................................................................................... Blowout: Corrupted Democracy, Rogue State Russia, and the Richest, Most Destructive Industry on Earth,-- The Ride of a Lifetime: Lessons Learned from 15 Years as CEO of the Walt Disney Company,-- Call Sign Chaos: Learning to Lead,-- StrengthsFinder 2.0,-- Stillness Is the Key,-- She Said: Breaking the Sexual Harassment Story That Helped Ignite a Movement,-- Atomic Habits: An Easy & Proven Way to Build Good Habits & Break Bad Ones,-- Everything Is Figureoutable,-- What It Takes: Lessons in the Pursuit of Excellence,-- Rich Dad Poor Dad: What the Rich Teach Their Kids About Money That the Poor and Middle Class Do Not!,-- The Total Money Makeover: Classic Edition: A Proven Plan for Financial Fitness,-- Shut Up and Listen!: Hard Business Truths that Will Help You Succeed, ......................................................................................................................... .........................................................................................................................
       Répondre 
    Voulez-vous vraiment ?  Oui  Non
    Votre message apparaîtra ici

go-apt-cacher/mirror

  1. 1. go-apt-cacher/mirror 2016/07/16 @第141回東京エリアDebian勉強会 サイボウズ株式会社 湯谷啓明 1
  2. 2. go-apt-cacher/go-apt-mirrorとは •Aptレポジトリに特化したキャッシュプロキシ/ ミラーリングツール •ハッシュの一致をチェックするので壊れない! •Go製 https://github.com/cybozu-go/aptutil 2
  3. 3. CybozuとDebian •サーバはUbuntu •サービスに必要なコンポーネントはdebパッ ケージ化してAptレポジトリ(JFrog Artifactory)で 集中管理 参考: 社内利用のための deb パッケージング入門 http://blog.cybozu.io/entry/2016/05/16/111500 3
  4. 4. CybozuとDebian 4 Apt レポジトリ Data Center 1 Data Center 2 Data Center 3 キャッシュ ミラー
  5. 5. JFrog Artifactory •アーティファクト管理ツール •OSS 版は Maven レポジトリ機能のみ •商用版は apt, yum, npm, PyPI, … と多種 •REST API で CI/CD ツールと連携できる •リモートレポジトリのミラーはできない •リバースプロキシ兼キャッシュはできる 5
  6. 6. キャッシュ/ミラーが必要な理由 •Artifactoryの負荷を減らしたい •パッケージダウンロードを速くしたい 更新頻度が高く、ファイルが少ない → 必要なものだけキャッシュ 更新頻度が低く、ファイルが多い → (レポジトリの一部を)まるごとミラー 6
  7. 7. go-apt-cacherの特徴 • ReleaseやPackagesからチェックサム情報を抽出 • ダウンロードしたファイルのチェックサムが合わなければ 破棄 • Release は定期的にチェックし、チェックサムが更新され たファイルのキャッシュは自動破棄 • HTTP ヘッダは無視 • キャッシュした Release を定期的に自動更新 • 他のファイルは上記チェックサム変更の自動破棄で対応 • Go なので速い • 同時 1,000 クライアントも余裕 • キャッシュ済みファイルは 1ms 以下で処理 7
  8. 8. go-apt-mirrorの特徴 • 部分的ミラー • Suite, Section, Architecture, Source を指定 • 必要なものだけミラー • rsync より高速な更新 • インデックスを先に処理してファイルのチェックサム情報を入手 • 以前と変化がなければローカルファイルシステム上で再利用 • 不完全なミラーは決して作らない • インデックスおよびファイルのチェックサムはすべてチェック • 正しいセットが作れない場合、ロールバック • ミラーの更新がアトミック • 更新中の状態は決して見せない 8
  9. 9. 実装で大変だったところ 9 •Debian Control Fileのパース •存在しないファイルがRelease/Packagesに 記載されている •ファイルはひとつのインデックスだけに書 かれているとは限らない •ファイルが存在しないと違うフォーマット のファイルを返してくる …
  10. 10. Feedbacks are welcome!! 昨日リリースしたばかりなのでバグもあると思 いますが、よければ使ってみてください ※弊社での必要性に応じて作られたツールで、 既存のツールを置き換えるものではありません 10

×