<ul>Moteurs de recherche alternatifs, libres et décentralisés </ul><ul>  </ul><ul><li>Hackpéro Gwadalug 7 décembre 2011 </...
<ul>Quel(s) moteur(s) utilisez-vous ? </ul>
Enjeux trouver tous types de ressources : <ul><ul><li>pages web ,
forums Usenet , images ,
vidéo ,
fichiers,
etc...  </li></ul></ul>Profiler, surveiller, influencer <ul><ul><li>1 personne
1 organisation
1 pays
... </li></ul></ul>
 
To be or not to be (on google) Google leader toutes catégories : Les risques :  <ul><ul><li>Vie privée
Censure
Profilage des utilisateurs : publicité  ... </li></ul></ul>La loi américaine oblige Google à transmettre aux services secr...
Des moteurs libres Yacy <ul><ul><li>Crawler
Proxy
Java </li></ul></ul>Seeks <ul><ul><li>Méta-moteur de recherche
proxy web
C++ + scripts python et PHP  </li></ul></ul>Yacy, Seeks  :  des moteurs de recherche libres et décentralisés Ht://Dig, mno...
<ul>Yacy : par le peuple, pour le peuple </ul><ul>Un crawler décentralisé pour la liberté d'information </ul><ul><ul><li>p...
pas de censure,
pas de profiling ou d'enregistrements des données utilisateur </li></ul></ul><ul>  </ul><ul>Le réseau  Free World </ul><ul...
+ de 600 peer-opérateurs par mois
Prochain SlideShare
Chargement dans…5
×

Moteurs de recherche libres et decentralisés Seeks, Yacy, seeks-project

5 402 vues

Publié le

Moteurs de recherche alternatifs, libres et décentralisés : yacy, nutch and seeks

Hackpéro GwadaLUG du 7 décembre 2011

by fwix and hnourel (seeks enthusiasts)

Publié dans : Technologie
2 commentaires
1 j’aime
Statistiques
Remarques
  • font problem fixed :)
       Répondre 
    Voulez-vous vraiment ?  Oui  Non
    Votre message apparaîtra ici
  • wow, slidesgare replaced the slides font by a crappy one (only on the first slides...)
       Répondre 
    Voulez-vous vraiment ?  Oui  Non
    Votre message apparaîtra ici
Aucun téléchargement
Vues
Nombre de vues
5 402
Sur SlideShare
0
Issues des intégrations
0
Intégrations
1 162
Actions
Partages
0
Téléchargements
17
Commentaires
2
J’aime
1
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive
  • Ce sont en fait les requêtes elles-mêmes qui servent de clés pour le stockage des résultats à fournir. Seeks génère un halo de clés par requêtes (correspondant à des requêtes associées), les mêmes clés menant toujours aux mêmes emplacements dans la table de hachage. Cela rend possible une mise en relation des utilisateurs qui émettent des requêtes similaires.
  • Moteurs de recherche libres et decentralisés Seeks, Yacy, seeks-project

    1. 1. <ul>Moteurs de recherche alternatifs, libres et décentralisés </ul><ul>  </ul><ul><li>Hackpéro Gwadalug 7 décembre 2011 </li></ul><ul><li>By fwix and hnourel (seeks enthusiasts) </li></ul>
    2. 2. <ul>Quel(s) moteur(s) utilisez-vous ? </ul>
    3. 3. Enjeux trouver tous types de ressources : <ul><ul><li>pages web ,
    4. 4. forums Usenet , images ,
    5. 5. vidéo ,
    6. 6. fichiers,
    7. 7. etc...  </li></ul></ul>Profiler, surveiller, influencer <ul><ul><li>1 personne
    8. 8. 1 organisation
    9. 9. 1 pays
    10. 10. ... </li></ul></ul>
    11. 12. To be or not to be (on google) Google leader toutes catégories : Les risques : <ul><ul><li>Vie privée
    12. 13. Censure
    13. 14. Profilage des utilisateurs : publicité ... </li></ul></ul>La loi américaine oblige Google à transmettre aux services secrets américains toutes les données de leurs utilisateurs quel que soit leur emplacement géographique...
    14. 15. Des moteurs libres Yacy <ul><ul><li>Crawler
    15. 16. Proxy
    16. 17. Java </li></ul></ul>Seeks <ul><ul><li>Méta-moteur de recherche
    17. 18. proxy web
    18. 19. C++ + scripts python et PHP </li></ul></ul>Yacy, Seeks : des moteurs de recherche libres et décentralisés Ht://Dig, mnogoSearch, Nutch : moteurs de recherche libres, mais non décentralisés
    19. 20. <ul>Yacy : par le peuple, pour le peuple </ul><ul>Un crawler décentralisé pour la liberté d'information </ul><ul><ul><li>pas d'organe central,
    20. 21. pas de censure,
    21. 22. pas de profiling ou d'enregistrements des données utilisateur </li></ul></ul><ul>  </ul><ul>Le réseau Free World </ul><ul><ul><li>1,4 milliards de documents
    22. 23. + de 600 peer-opérateurs par mois
    23. 24. environ 130 000 résultats par jour. </li></ul></ul><ul>  mais aussi : ScienceNet (Institut de Technologie de Karlsruhe), services TOR cachés, réseaux WIFI... </ul>
    24. 25. <ul>Le réseau Free World </ul><ul>  </ul><ul>  </ul>
    25. 26. <ul>Les points forts :) </ul><ul>Très simple à installer / utiliser </ul><ul><ul><ul><li>multi plateforme (java) : Windows / Mac OS X / GNU Linux...
    26. 27. version packagé pour Debian, Ubuntu, ...
    27. 28. pas besoin de serveur web ni de DB externe
    28. 29. interface web de configuration sexy </li></ul></ul></ul><ul>  </ul><ul>Décentralisé, communautaire et libre </ul><ul><ul><ul><li>pas de chef
    29. 30. pas de censure
    30. 31. pas de publicité
    31. 32. vie privée respectée </li></ul></ul></ul>
    32. 33. <ul>Les points faibles :( </ul><ul>Faible pertinence des résultats </ul><ul>  On the Feasibility of Peer-to-Peer Web Indexing and Search (MIT 2003) relative inadéquation de l'indexation via P2P (BP, espace disque, index documents / mots clés...) </ul><ul><ul><ul><li>crawler
    33. 34. ranking </li></ul></ul></ul><ul>demanderait plus de ressources que disponible </ul><ul>http://db.cs.berkeley.edu/papers/iptps03-feasibility.ps </ul><ul>  </ul>
    34. 35. <ul>Et Seeks facta est... </ul><ul>    Seeks would not exist if we could believe in Yacy   BENIZ                </ul><ul>http://www.seeks-project.info/site/2011/12/03/what-freedom-in-websearch-truely-means/ </ul>
    35. 36. <ul>Seeks, Yacy,  des orientations différentes... </ul><ul>      Seeks : </ul><ul><ul><li>filtres collaboratifs </li></ul></ul><ul>    </ul><ul>  Yacy : </ul><ul><ul><li>crawler collaboratif </li></ul></ul>
    36. 37. <ul>Un méta moteur de recherche libre </ul><ul>Seeks agit comme un proxy et adresse ses requêtes sur de nombreuses sources : </ul><ul><ul><li>Moteur de recherche  : Google, Bing, Blekko, Yahoo, Yauba, Exalead,... </li></ul></ul><ul><ul><li>Sites spécialisés : Youtube, Dailymotion,  Google images, Bing Images, Yahoo Images, Flickr,... </li></ul></ul><ul><ul><li>Plate-forme de microblogging   : Twitter ,Identi.ca,...
    37. 38. Plate-forme générique Mediawiki, Dokuwiki, WordPress, Redmine,...
    38. 39. Formats standards (OpenSearch, RSS, ATOM) </li></ul></ul><ul>  puis les réordonne </ul>
    39. 40. <ul>Un moteur de Social search </ul><ul><ul><li>Collaborative ring search </li></ul></ul><ul>  </ul><ul><ul><li>DHT pour stockage des résultats (query = key)  </li></ul></ul><ul>  </ul><ul><ul><li>Curation : amélioration des résultats selon les liens cliqués (+reject...) </li></ul></ul>
    40. 41. <ul>Collaboration, confidentialité et liberté </ul><ul><ul><li>Privacy : be served anonymously; </li></ul></ul><ul>  </ul><ul><ul><li>Freedom to control the results : edit, reject, share, rank ; </li></ul></ul><ul><ul><li>Freedom to trust who you search with, who influences your results, …. </li></ul></ul><ul>        </ul><ul>http://www.seeks-project.info/site/2011/12/03/what-freedom-in-websearch-truely-means/ </ul>
    41. 42. <ul>Seeks : fonctionnalités utilisateur </ul><ul>Démonstration : https://seeks.avaland.org </ul><ul>  </ul><ul><ul><li>Types de recherches  </li></ul></ul><ul>  </ul><ul><ul><li>Résultats étendus </li></ul></ul><ul>  </ul><ul><ul><li>Regroupement par type </li></ul></ul><ul>  </ul><ul><ul><li>Mode cluster </li></ul></ul><ul>  </ul><ul><ul><li>Recherche Redmine(*) </li></ul></ul><ul>  (*)Redmine : gestionnaire web based libre de projets et de code source   </ul>
    42. 43. <ul>Seeks : Installation </ul><ul>Seeks s'installe sur un poste de travail ou sur un serveur GNU/Linux Il est packagé pour les distributions suivantes : </ul><ul><ul><li>Debian
    43. 44. Arch linux
    44. 45. Gentoo
    45. 46. Ubuntu </li></ul></ul><ul>Sinon pour les autres distributions, il faut récupérer les sources  sur : http://seeks-project.info/wiki/index.php/Download   ou faire l'installation à l'aide de ce script :   </ul><ul>http://www.seeks-project.info/seeks/install_seeks.sh </ul>
    46. 47. <ul>Seeks : outils admin. et dév. </ul><ul>2 méthodes d'utilisation de la recherche collaborative :   </ul><ul><ul><li>Passive : utiliser seeks comme simple moteur de recherche.
    47. 48. Active : utiliser l'API pour enrichir ses requêtes et résultats </li></ul></ul><ul>Curl ou Seeks CLI     </ul>
    48. 49. <ul>Seeks démo 2 </ul><ul>Fichiers de configuration <li>Ajout d'une source à Seeks
    49. 50. search-engine <engine> <url> <name> <default | nodefault> </li></ul>
    50. 51. <ul>Seeks : QQ points (très) forts  </ul><ul><ul><li>Open Search compliant </li></ul></ul><ul>  </ul><ul><ul><li>Collaboration et confidentialité  </li></ul></ul><ul>  </ul><ul><ul><li>Partage des résultats même en mode desktop par cross posting </li></ul></ul><ul>  </ul><ul><ul><li>soutenu par une entreprise  </li></ul></ul>
    51. 52. <ul>Seeks : QQ points faibles </ul><ul><ul><li>Dispo uniquement pour Unix (point faible ? ;-)) </li></ul></ul><ul>  </ul><ul><ul><li>Lenteur relative induite par le P2P si bcp de sources  </li></ul></ul><ul><ul><ul><li>(cf Nutch) </li></ul></ul></ul><ul>  </ul><ul><ul><li>Ajout de nombreuses sources relativement fastidieux </li></ul></ul><ul><ul><ul><li>idée : script d'ajout de sources à partir d'un fichier OPML </li></ul></ul></ul>
    52. 53. <ul>Goodies : mycroft.mozdev.org/submitos.html </ul><ul>  </ul>
    53. 54. <ul>Bilan et perspectives </ul><ul>… <li>Merci pour votre attention,
    54. 55. vous pouvez </li></ul><ul><li>utilisez nos nodes
    55. 56. nous demander on koudmen pour installer / configurer le votre </li></ul>Gwadalug.org  : groupe des utilisateurs de logiciels libres (de|en) Guadeloupe...

    ×