はてなブックマークのシステムについて

はてなブックマークのシステムについて株式会社はてな / {Shibuya, Kansai}.pm 伊藤直也

アジェンダ ,[object Object],[object Object],[object Object]

はてなブックマークのこれまでと現状

はてなブックマークのこれまで ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

現在の数字 ,[object Object],[object Object],[object Object]

データの規模の例 mysql> select count(*) from relword; +-----------+ | count(*) | +-----------+ | 351277311 | +-----------+ 1 row in set (0.00 sec)

データの規模 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

中規模 ~ 大規模ウェブサービス ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

開発体制 ,[object Object],[object Object],[object Object],[object Object]

システム構成 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

プログラミング言語 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

利用している主なソフトウェア ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

HTML::ExtractContent ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

HTML::ExtractContent の仕組み ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

HTML::LayeredExtractor ( 非公開 ) ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

2 つの全文検索システム ,[object Object],[object Object],[object Object],[object Object],[object Object]

1. 全文書からの全文検索 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

2. 個人のブックマークからの全文検索 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

転置インデックス ,[object Object],... perl => [1, 5, 20, 333, 350, 362 ...] python => [8, 10, 11, 52 ...] ruby => [1, 10, 21, 333, 350, 428 ...] ...

転置インデックスの構成 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

転置インデックスの構成 ( 続き ) ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

検索結果のスコアリング ,[object Object],[object Object]

スコアリングの手法 ,[object Object],[object Object],[object Object],[object Object]

スコアリングの手法の一部 ( 続き ) ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

スコアリング今後 ,[object Object],[object Object]

検索エンジンとアプリケーションのやりとり ,[object Object],[object Object],[object Object],[object Object],[object Object]

Firefox 拡張 + マイブックマーク検索 ,[object Object]

スペルミス修正機能 ,[object Object]

スペルミス修正サーバー ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

レコメンドエンジン BSim ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

文書分類エンジン BDog ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

そのほか ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

各所で TheSchwartz を活用 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

はてなブックマーク Firefox 拡張

Firefox 拡張 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

雑感 ,[object Object],[object Object],[object Object],[object Object]

パフォーマンスに関する話

バックエンドのシステム構成 ,[object Object],[object Object],[object Object]

バックエンドシステムの三層構造 proxy proxy LB LB app server app server app server app server LB DB DB LB LB LB

ハードウェア : 自作サーバー

データベースの構成 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

島分け proxy AP bot / feed 通常のリクエスト DB 画像 API etc. proxy

Squid によるキャッシュ ,[object Object],[object Object],[object Object],[object Object],[object Object]

memcached によるキャッシュ ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

クライアント表示に関する工夫 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

クライアント表示に関する工夫 ( 続き ) ,[object Object],[object Object],[object Object],[object Object]

クライアント表示に関する工夫 ( 続き ) ,[object Object],[object Object]

雑感 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

まとめ ,[object Object],[object Object],[object Object],[object Object]

はてなブックマークのシステムについて

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

En vedette

En vedette (14)

Plus de Naoya Ito

Plus de Naoya Ito (13)

はてなブックマークのシステムについて