SlideShare une entreprise Scribd logo
1  sur  14
Télécharger pour lire hors ligne
Solrベースの全文検索サーバ Fess
  全文検索サーバ Fessで何ができるのか?
自己紹介
    名前: 菅谷信介
    所属: N2SM, Inc.
      最近、また大学院生になってみた
    オープンソース活動:
       – Apache Portals (Jetspeed2など) コミッタ
       – Seasarプロジェクトコミッタ(S2Container, Teeda,
         SAStruts, DBFlute, S2Portlet, S2Robot..)
       – Fessプロジェクト運営
       などなど・・・
    Blog: http://d.hatena.ne.jp/shinsuke_sugaya/
    Twitter: https://twitter.com/shinsuke_sugaya/

Confidential & Proprietary
アジェンダ
  Fessの概要
  Fessでできること
  FessとSolrの関係
  FessとS2Robotの関係
  デモ (時間があれば…)
  Fessの今後




Confidential & Proprietary
前回は?
  第2回Solr勉強会でご紹介させていただきま
   した!
  当時のバージョンはFess 3.0
  5分でインストールできました
  だいたい基本機能は実装済み(だったと思う)
  その後もFessの開発を続ける…




Confidential & Proprietary
Fessとは
  Full Text Search System
  簡単に導入できるOSS全文検索システム
  Apacheライセンス
  最新バージョンは5.0
  Solrは3.5を採用
  商用サポート:N2 Search




Confidential & Proprietary
Fessでできること (その1)
  Webサイトのクロール
  ファイルシステムのクロール
  データベースのクロール
  Windows共有フォルダ(samba)をクロール
  ブラウザによる管理画面
  差分クロール
  MS Office、PDF、圧縮ファイルもサポート
  3大キャリア端末で検索可能
  ログイン状態で検索結果の出し分け可能
  登録したカテゴリごとに検索可能

Confidential & Proprietary
Fessでできること (その2)
  デスクトップ検索
  検索ログ&クリックログの統計情報
  Basic認証、Digest認証、NTLM認証に対応
  XML、JSON、JSONPのレスポンス
  ファセット対応
  (Geo)Spatial Search対応
  MySQL対応 (Oracleは近々対応)




Confidential & Proprietary
アーキテクチャ
  標準でオールインワンで提供
  Tomcatにfess.warとsolr.warを配備

                                  fess.war                         solr.war

                S2Robot                S2Chronos

                                                      H2Database
                SAStruts                DBFlute        (MySQL)        Solr
                                                        (Oracle)
                             Seasar2



                                             Tomcat



Confidential & Proprietary
FessとSolrの関係
  Fess↔Solr間はSolrJでアクセス
  fess_solr.diconでSolrサーバを管理
  solrserver.propertiesにSolrサーバ状態保存
  shardsはapp.diconのQueryHelperImpl
                                     Solr Server Manager
                       Solr Group                 Solr Group

                       Solr Server                Solr Server


                       Solr Server                Solr Server
                                                                ・・・

                             :                        :


Confidential & Proprietary
FessとS2Robotの関係
  クロール処理はS2Robotに依存
  S2RobotはTika、POI、PDFBoxなどを利用
  コンテンツタイプ判定にTikaを利用
  Tikaベースから直接対象ライブラリを呼ぶよ
   うにしていきたい
  Seasar2ベースなのでコンポーネントを差し
   替えやすい
  s2robot_*.diconで各種設定




Confidential & Proprietary
S2Robotの仕組み
                                   アクセス先のフィルタ定義

               S2Robot                  UrlFilter      Web
                                                        Web
                                                       FSWeb
                                                        FS
                                                          FS
                                 アクセス先よってクライアント選択

        S2RobotThread                 S2RobotClient
         S2RobotThread                  (Web,FS)
          S2RobotThread
                                   コンテンツの処理ルール

                                      RuleManager
       ResponseProcessor
                                   コンテンツ種類にあったテキスト抽出
                                       Transformer
                                            &
                                        Extractor
             S2Robot DB
                             Solrにドキュメント追加
Confidential & Proprietary
デモ (時間があれば)
  検索画面
  管理画面
   などなど・・・

     http://fess.sourceforge.jp/ja/downloads.html




Confidential & Proprietary
今後
  デザイン(見た目)の変更
  Solrのリリースに対応したリリース
  データストアの種類を増やす
  ドキュメントの強化




Confidential & Proprietary
Q&A


Confidential & Proprietary

Contenu connexe

Tendances

SolrとElasticsearchを比べてみよう
SolrとElasticsearchを比べてみようSolrとElasticsearchを比べてみよう
SolrとElasticsearchを比べてみようShinsuke Sugaya
 
Apache Solrで実現する共創のエコ システム ‒検索、クロール、自然言語処理‒
Apache Solrで実現する共創のエコ システム  ‒検索、クロール、自然言語処理‒Apache Solrで実現する共創のエコ システム  ‒検索、クロール、自然言語処理‒
Apache Solrで実現する共創のエコ システム ‒検索、クロール、自然言語処理‒MasayukiIke
 
はじめての検索エンジン&Solr 第13回Solr勉強会
はじめての検索エンジン&Solr 第13回Solr勉強会はじめての検索エンジン&Solr 第13回Solr勉強会
はじめての検索エンジン&Solr 第13回Solr勉強会Noritsugu Suzuki
 
ESFluteによるElasticsearchでのO/Rマッパーを用いた開発
ESFluteによるElasticsearchでのO/Rマッパーを用いた開発ESFluteによるElasticsearchでのO/Rマッパーを用いた開発
ESFluteによるElasticsearchでのO/Rマッパーを用いた開発Shinsuke Sugaya
 
Fess/Elasticsearchを使った業務で使える?全文検索への道
Fess/Elasticsearchを使った業務で使える?全文検索への道Fess/Elasticsearchを使った業務で使える?全文検索への道
Fess/Elasticsearchを使った業務で使える?全文検索への道Shinsuke Sugaya
 
Solr6 の紹介(第18回 Solr勉強会 資料) (2016年6月10日)
Solr6 の紹介(第18回 Solr勉強会 資料) (2016年6月10日)Solr6 の紹介(第18回 Solr勉強会 資料) (2016年6月10日)
Solr6 の紹介(第18回 Solr勉強会 資料) (2016年6月10日)Issei Nishigata
 
Solr 4.0 の主な機能
Solr 4.0 の主な機能Solr 4.0 の主な機能
Solr 4.0 の主な機能Shinichiro Abe
 
Elasticsearchプラグインの作り方
Elasticsearchプラグインの作り方Elasticsearchプラグインの作り方
Elasticsearchプラグインの作り方Shinsuke Sugaya
 
Elasticsearch Authプラグインでアクセスコントロール
Elasticsearch AuthプラグインでアクセスコントロールElasticsearch Authプラグインでアクセスコントロール
Elasticsearch AuthプラグインでアクセスコントロールShinsuke Sugaya
 
ElasticsearchとTasteプラグインで作るレコメンドシステム
ElasticsearchとTasteプラグインで作るレコメンドシステムElasticsearchとTasteプラグインで作るレコメンドシステム
ElasticsearchとTasteプラグインで作るレコメンドシステムShinsuke Sugaya
 
社内ドキュメント検索システム構築のノウハウ
社内ドキュメント検索システム構築のノウハウ社内ドキュメント検索システム構築のノウハウ
社内ドキュメント検索システム構築のノウハウShinsuke Sugaya
 
hs_spider_hs_something_20110906
hs_spider_hs_something_20110906hs_spider_hs_something_20110906
hs_spider_hs_something_20110906Kentoku
 
Elasticsearch入門 pyfes 201207
Elasticsearch入門 pyfes 201207Elasticsearch入門 pyfes 201207
Elasticsearch入門 pyfes 201207Jun Ohtani
 
Elasticsearch at CrowdWorks
Elasticsearch at CrowdWorksElasticsearch at CrowdWorks
Elasticsearch at CrowdWorks佑介 九岡
 
Elasticsearchで作る形態素解析サーバ
Elasticsearchで作る形態素解析サーバElasticsearchで作る形態素解析サーバ
Elasticsearchで作る形態素解析サーバShinsuke Sugaya
 
Spiderストレージエンジンのご紹介
Spiderストレージエンジンのご紹介Spiderストレージエンジンのご紹介
Spiderストレージエンジンのご紹介Kentoku
 
類義語検索と類義語ハイライト
類義語検索と類義語ハイライト類義語検索と類義語ハイライト
類義語検索と類義語ハイライトShinichiro Abe
 

Tendances (20)

SolrとElasticsearchを比べてみよう
SolrとElasticsearchを比べてみようSolrとElasticsearchを比べてみよう
SolrとElasticsearchを比べてみよう
 
Apache Solrで実現する共創のエコ システム ‒検索、クロール、自然言語処理‒
Apache Solrで実現する共創のエコ システム  ‒検索、クロール、自然言語処理‒Apache Solrで実現する共創のエコ システム  ‒検索、クロール、自然言語処理‒
Apache Solrで実現する共創のエコ システム ‒検索、クロール、自然言語処理‒
 
はじめての検索エンジン&Solr 第13回Solr勉強会
はじめての検索エンジン&Solr 第13回Solr勉強会はじめての検索エンジン&Solr 第13回Solr勉強会
はじめての検索エンジン&Solr 第13回Solr勉強会
 
ESFluteによるElasticsearchでのO/Rマッパーを用いた開発
ESFluteによるElasticsearchでのO/Rマッパーを用いた開発ESFluteによるElasticsearchでのO/Rマッパーを用いた開発
ESFluteによるElasticsearchでのO/Rマッパーを用いた開発
 
Fess/Elasticsearchを使った業務で使える?全文検索への道
Fess/Elasticsearchを使った業務で使える?全文検索への道Fess/Elasticsearchを使った業務で使える?全文検索への道
Fess/Elasticsearchを使った業務で使える?全文検索への道
 
Solr6 の紹介(第18回 Solr勉強会 資料) (2016年6月10日)
Solr6 の紹介(第18回 Solr勉強会 資料) (2016年6月10日)Solr6 の紹介(第18回 Solr勉強会 資料) (2016年6月10日)
Solr6 の紹介(第18回 Solr勉強会 資料) (2016年6月10日)
 
Solr 4.0 の主な機能
Solr 4.0 の主な機能Solr 4.0 の主な機能
Solr 4.0 の主な機能
 
Elasticsearchプラグインの作り方
Elasticsearchプラグインの作り方Elasticsearchプラグインの作り方
Elasticsearchプラグインの作り方
 
Elasticsearch Authプラグインでアクセスコントロール
Elasticsearch AuthプラグインでアクセスコントロールElasticsearch Authプラグインでアクセスコントロール
Elasticsearch Authプラグインでアクセスコントロール
 
solr勉強会資料
solr勉強会資料solr勉強会資料
solr勉強会資料
 
ElasticsearchとTasteプラグインで作るレコメンドシステム
ElasticsearchとTasteプラグインで作るレコメンドシステムElasticsearchとTasteプラグインで作るレコメンドシステム
ElasticsearchとTasteプラグインで作るレコメンドシステム
 
社内ドキュメント検索システム構築のノウハウ
社内ドキュメント検索システム構築のノウハウ社内ドキュメント検索システム構築のノウハウ
社内ドキュメント検索システム構築のノウハウ
 
Apache Solr 入門
Apache Solr 入門Apache Solr 入門
Apache Solr 入門
 
hs_spider_hs_something_20110906
hs_spider_hs_something_20110906hs_spider_hs_something_20110906
hs_spider_hs_something_20110906
 
Elasticsearch入門 pyfes 201207
Elasticsearch入門 pyfes 201207Elasticsearch入門 pyfes 201207
Elasticsearch入門 pyfes 201207
 
Elasticsearch at CrowdWorks
Elasticsearch at CrowdWorksElasticsearch at CrowdWorks
Elasticsearch at CrowdWorks
 
Elasticsearchで作る形態素解析サーバ
Elasticsearchで作る形態素解析サーバElasticsearchで作る形態素解析サーバ
Elasticsearchで作る形態素解析サーバ
 
DeclarativeSql
DeclarativeSqlDeclarativeSql
DeclarativeSql
 
Spiderストレージエンジンのご紹介
Spiderストレージエンジンのご紹介Spiderストレージエンジンのご紹介
Spiderストレージエンジンのご紹介
 
類義語検索と類義語ハイライト
類義語検索と類義語ハイライト類義語検索と類義語ハイライト
類義語検索と類義語ハイライト
 

Similaire à Solrベースの全文検索サーバ Fess

WebDAV, ATOM, and REST
WebDAV, ATOM, and RESTWebDAV, ATOM, and REST
WebDAV, ATOM, and RESTTaisuke Yamada
 
セマンテックウェブとRDFDB
セマンテックウェブとRDFDBセマンテックウェブとRDFDB
セマンテックウェブとRDFDBHirosuke Asano
 
Seasarプロジェクト徹底攻略
Seasarプロジェクト徹底攻略Seasarプロジェクト徹底攻略
Seasarプロジェクト徹底攻略takezoe
 
ServiceStackの紹介
ServiceStackの紹介ServiceStackの紹介
ServiceStackの紹介wilfrem
 
20101106 ramaze発表
20101106 ramaze発表20101106 ramaze発表
20101106 ramaze発表Fukui Osamu
 
国会図書館サーチの概要
国会図書館サーチの概要国会図書館サーチの概要
国会図書館サーチの概要Kosuke Tanabe
 
Cloudian presentation for Cassandra Conference 2012 in Tokyo
Cloudian presentation for Cassandra Conference 2012 in TokyoCloudian presentation for Cassandra Conference 2012 in Tokyo
Cloudian presentation for Cassandra Conference 2012 in TokyoCLOUDIAN KK
 
Chefを利用した運用省力化とDevOpsの取り組みについて
Chefを利用した運用省力化とDevOpsの取り組みについてChefを利用した運用省力化とDevOpsの取り組みについて
Chefを利用した運用省力化とDevOpsの取り組みについてYuuki Namikawa
 
Lesson01
Lesson01Lesson01
Lesson01MRI
 
20120611 aws meister-reloaded-cloud-front-public
20120611 aws meister-reloaded-cloud-front-public20120611 aws meister-reloaded-cloud-front-public
20120611 aws meister-reloaded-cloud-front-publicAmazon Web Services Japan
 
QuickDemo HashiCorp Terraform with Microsoft Azure and VMware vSphere
QuickDemo HashiCorp Terraform with Microsoft Azure and VMware vSphereQuickDemo HashiCorp Terraform with Microsoft Azure and VMware vSphere
QuickDemo HashiCorp Terraform with Microsoft Azure and VMware vSphereWataru Unno
 
FluentdとRedshiftの素敵な関係
FluentdとRedshiftの素敵な関係FluentdとRedshiftの素敵な関係
FluentdとRedshiftの素敵な関係moai kids
 
Awsmeister cloudfront20120611-slideshare用
Awsmeister cloudfront20120611-slideshare用Awsmeister cloudfront20120611-slideshare用
Awsmeister cloudfront20120611-slideshare用Yasuhiro Araki, Ph.D
 

Similaire à Solrベースの全文検索サーバ Fess (20)

Apache ManifoldCF
Apache ManifoldCFApache ManifoldCF
Apache ManifoldCF
 
Apache ManifoldCF
Apache ManifoldCFApache ManifoldCF
Apache ManifoldCF
 
Linked Open Dataとは
Linked Open DataとはLinked Open Dataとは
Linked Open Dataとは
 
WebDAV, ATOM, and REST
WebDAV, ATOM, and RESTWebDAV, ATOM, and REST
WebDAV, ATOM, and REST
 
セマンテックウェブとRDFDB
セマンテックウェブとRDFDBセマンテックウェブとRDFDB
セマンテックウェブとRDFDB
 
Seasarプロジェクト徹底攻略
Seasarプロジェクト徹底攻略Seasarプロジェクト徹底攻略
Seasarプロジェクト徹底攻略
 
AWS小ネタ集
AWS小ネタ集AWS小ネタ集
AWS小ネタ集
 
ServiceStackの紹介
ServiceStackの紹介ServiceStackの紹介
ServiceStackの紹介
 
20101106 ramaze発表
20101106 ramaze発表20101106 ramaze発表
20101106 ramaze発表
 
activerecord-turntable
activerecord-turntableactiverecord-turntable
activerecord-turntable
 
AWS Black Belt - AWS Glue
AWS Black Belt - AWS GlueAWS Black Belt - AWS Glue
AWS Black Belt - AWS Glue
 
国会図書館サーチの概要
国会図書館サーチの概要国会図書館サーチの概要
国会図書館サーチの概要
 
Cloudian presentation for Cassandra Conference 2012 in Tokyo
Cloudian presentation for Cassandra Conference 2012 in TokyoCloudian presentation for Cassandra Conference 2012 in Tokyo
Cloudian presentation for Cassandra Conference 2012 in Tokyo
 
Chefを利用した運用省力化とDevOpsの取り組みについて
Chefを利用した運用省力化とDevOpsの取り組みについてChefを利用した運用省力化とDevOpsの取り組みについて
Chefを利用した運用省力化とDevOpsの取り組みについて
 
Lesson01
Lesson01Lesson01
Lesson01
 
AlfrescoとSolr(後編)
AlfrescoとSolr(後編)AlfrescoとSolr(後編)
AlfrescoとSolr(後編)
 
20120611 aws meister-reloaded-cloud-front-public
20120611 aws meister-reloaded-cloud-front-public20120611 aws meister-reloaded-cloud-front-public
20120611 aws meister-reloaded-cloud-front-public
 
QuickDemo HashiCorp Terraform with Microsoft Azure and VMware vSphere
QuickDemo HashiCorp Terraform with Microsoft Azure and VMware vSphereQuickDemo HashiCorp Terraform with Microsoft Azure and VMware vSphere
QuickDemo HashiCorp Terraform with Microsoft Azure and VMware vSphere
 
FluentdとRedshiftの素敵な関係
FluentdとRedshiftの素敵な関係FluentdとRedshiftの素敵な関係
FluentdとRedshiftの素敵な関係
 
Awsmeister cloudfront20120611-slideshare用
Awsmeister cloudfront20120611-slideshare用Awsmeister cloudfront20120611-slideshare用
Awsmeister cloudfront20120611-slideshare用
 

Solrベースの全文検索サーバ Fess

  • 1. Solrベースの全文検索サーバ Fess 全文検索サーバ Fessで何ができるのか?
  • 2. 自己紹介  名前: 菅谷信介  所属: N2SM, Inc. 最近、また大学院生になってみた  オープンソース活動: – Apache Portals (Jetspeed2など) コミッタ – Seasarプロジェクトコミッタ(S2Container, Teeda, SAStruts, DBFlute, S2Portlet, S2Robot..) – Fessプロジェクト運営 などなど・・・  Blog: http://d.hatena.ne.jp/shinsuke_sugaya/  Twitter: https://twitter.com/shinsuke_sugaya/ Confidential & Proprietary
  • 3. アジェンダ  Fessの概要  Fessでできること  FessとSolrの関係  FessとS2Robotの関係  デモ (時間があれば…)  Fessの今後 Confidential & Proprietary
  • 4. 前回は?  第2回Solr勉強会でご紹介させていただきま した!  当時のバージョンはFess 3.0  5分でインストールできました  だいたい基本機能は実装済み(だったと思う)  その後もFessの開発を続ける… Confidential & Proprietary
  • 5. Fessとは  Full Text Search System  簡単に導入できるOSS全文検索システム  Apacheライセンス  最新バージョンは5.0  Solrは3.5を採用  商用サポート:N2 Search Confidential & Proprietary
  • 6. Fessでできること (その1)  Webサイトのクロール  ファイルシステムのクロール  データベースのクロール  Windows共有フォルダ(samba)をクロール  ブラウザによる管理画面  差分クロール  MS Office、PDF、圧縮ファイルもサポート  3大キャリア端末で検索可能  ログイン状態で検索結果の出し分け可能  登録したカテゴリごとに検索可能 Confidential & Proprietary
  • 7. Fessでできること (その2)  デスクトップ検索  検索ログ&クリックログの統計情報  Basic認証、Digest認証、NTLM認証に対応  XML、JSON、JSONPのレスポンス  ファセット対応  (Geo)Spatial Search対応  MySQL対応 (Oracleは近々対応) Confidential & Proprietary
  • 8. アーキテクチャ  標準でオールインワンで提供  Tomcatにfess.warとsolr.warを配備 fess.war solr.war S2Robot S2Chronos H2Database SAStruts DBFlute (MySQL) Solr (Oracle) Seasar2 Tomcat Confidential & Proprietary
  • 9. FessとSolrの関係  Fess↔Solr間はSolrJでアクセス  fess_solr.diconでSolrサーバを管理  solrserver.propertiesにSolrサーバ状態保存  shardsはapp.diconのQueryHelperImpl Solr Server Manager Solr Group Solr Group Solr Server Solr Server Solr Server Solr Server ・・・ : : Confidential & Proprietary
  • 10. FessとS2Robotの関係  クロール処理はS2Robotに依存  S2RobotはTika、POI、PDFBoxなどを利用  コンテンツタイプ判定にTikaを利用  Tikaベースから直接対象ライブラリを呼ぶよ うにしていきたい  Seasar2ベースなのでコンポーネントを差し 替えやすい  s2robot_*.diconで各種設定 Confidential & Proprietary
  • 11. S2Robotの仕組み アクセス先のフィルタ定義 S2Robot UrlFilter Web Web FSWeb FS FS アクセス先よってクライアント選択 S2RobotThread S2RobotClient S2RobotThread (Web,FS) S2RobotThread コンテンツの処理ルール RuleManager ResponseProcessor コンテンツ種類にあったテキスト抽出 Transformer & Extractor S2Robot DB Solrにドキュメント追加 Confidential & Proprietary
  • 12. デモ (時間があれば)  検索画面  管理画面 などなど・・・ http://fess.sourceforge.jp/ja/downloads.html Confidential & Proprietary
  • 13. 今後  デザイン(見た目)の変更  Solrのリリースに対応したリリース  データストアの種類を増やす  ドキュメントの強化 Confidential & Proprietary