Notes (et mise à jour) sur le cours portant sur la recherche.

2. Quelques mythes On trouve tout dans Internet C'est facile de chercher et de trouver Les sources sont fiables et à jour... LES RECHERCHES DANS INTERNET PEUVENT SE FAIRE À PARTIR DES RESSOURCES SUIVANTES, ENTRE AUTRES : Moteurs de recherche et Annuaires (catologues/répertoires) + Les Newgroups (groupes de discussion) dont les contenus peuvent être accessibles avec un lecteur de nouvelles ... http://alt.binaries.movies.french.usenetor.com/ http://groups.google.com/group/tourisme-recherches-institutions-pratiques?lnk= Par le biais du web, les «news» étaient accessibles avec Google Groupe s (désactivé en 2011 mais 20 ans d’archives toujours disponibles...) Les blogues Certains réseaux sociaux ouverts (ou par compte Google) Sites de signets sociaux Twitter (temps réel) Le Web profond dit invisible

10. Catalogues, annuaires et répertoires: Les informations sont constituées, organisées en catégories et même filtrées par des personnes . L'intervention humaine faisait en sorte que l'information était souvent moins à jour qu'avec les moteurs. Par contre, plusieurs répertoires sont devenus hybrides en intégrant à la fois un répertoire et un moteur. Exemple: Yahoo La recherche d'information se fait donc plutôt par navigation dans le classement (hiérarchies et répertoires structurés). On gagne en qualité ce qu’on perd en quantité ? Avec le phénomène de la «curation», les annuaires et catalogues pourraient renaître...

14. Moteurs de recherche : Il s'agit de programmes informatiques permettant de faire des recherches dans les bases de données, conçues par les robots collecteurs. Dans Internet, les moteurs nous proposent leur information grâce à 3 fonctions ou étapes principales : 1) Un robot collecteur : ( crawler, spider, bot) Il indexe le web automatiquement 24 heures par jour en "glanant" ( en scannant ) les informations dans le texte visible d'un site (les premiers mots ou phrases) et dans le texte invisible (i.e. dans le code HTML, où on retrouve les méta-étiquettes ). N.B. : Les meilleurs robots peuvent indexer plusieurs millions de pages par jour ( ils prennent quelques semaines pour faire le tour du Web en entier).

15. Le robot visite chaque page (ou pages représentatives) d'un site (qui veut bien être trouvé ou découvert !) et lit les pages ainsi que les hyperliens offerts dans le but de découvrir les autres pages (ou fichiers). 2) Un programme crée un index ou catalogue immense (base de données/statique) à partir des sites (fichiers) visités. 3) Un autre programme (le service de requêtes) reçoit votre requête, la compare à ses entrées de données (catalogue) et renvoie ses résultats. C'est dans la fenêtre de requête des moteurs qu'on tape les informations et qu'on interroge leurs bases de données. La recherche d'information se fait donc par interrogation. Il existe des milliers de moteurs de recherche... Search Engine Colossus ( par pays, par thèmes, etc.) http://www.searchenginecolossus.com/

19. PageRank de Google PageRank est un champion de la démocratie : il profite des innombrables liens du Web pour évaluer le contenu des pages Web -- et leur pertinence vis-à-vis des requêtes exprimées. Le principe de PageRank est simple : tout lien pointant de la page A à la page B est considéré comme un vote de la page A en faveur de la page B. Toutefois, Google ne limite pas son évaluation au nombre de « votes » (liens) reçus par la page ; il procède également à une analyse de la page qui contient le lien. Les liens présents dans des pages jugées importantes par Google ont plus de « poids », et contribuent ainsi à « élire » d'autres pages. Source: http://www.google.ca/intl/fr/why_use.html Plusieurs centaines de millions de requêtes par jour ! Des fonctions et services moins connus ou utilisés... Le choix parmi 45 langues (2011): http://www.google.ca/preferences?hl=fr Google News/Actualités (+4500 sources médias dont 500 en français) http://news.google.com/news?cf=all&ned=fr_ca&ict=ln Alerte Google (monitoring de l'actualité) http://www.google.ca/alerts http://www.googlealert.com Google Images http://images.google.ca / Google Scholar (anglais seulement) http://scholar.google.com/

27. http://search.yahoo.com / http://ca.yahoo.com /

32. Une recherche efficace et exhaustive favorisera une approche moteur et une approche répertoire multiples. Il faut en effet passer à travers plusieurs outils de recherche. Évitez d’utiliser qu'un seul outil de recherche.

33. Principales techniques de recherche Identification du sujet : Contexte et objet de la recherche; délimitation de la recherche (langues, pays, etc.); genre de réponses désirées. Quelle est votre connaissance sémantique du sujet ou de la discipline recherchée ? Formulation du sujet : Quels mots ou expressions précisent ou traduisent le mieux les concepts de la recherche; choix de mots-clés et de termes à retenir; trouver des équivalences (synonymes, acronymes et mots en anglais ou dans une autre langue).

34. Recherche sur les termes exactes Exemple concernant l'exactitude des termes anglais sur Google... Source: http://www.googleguide.com/interpreting_queries.html

35. La stratégie de recherche inclut la traduction de mots clés et leur regroupement en fonctions de règles syntaxiques propres aux moteurs de recherche. On peut combiner des mots ou des termes dans le but de traduire la requête en une expression de recherche . Attention aux majuscules et minuscules sur certains moteurs Requête saisie en minuscules Toutes les occurrences seront recherchées : ibm trouve ibm, IBM ou Ibm Requête saisie en majuscules Idem: IBM trouve IBM, ibm, Ibm ou IbM Lettres accentuées L'occurrence exacte est recherchée : électricité trouve électricité mais pas electricite ou electricité (HotBot) Requête saisie sans accents Toutes les occurrences sont recherchées : electricite trouve electricite, électricité ou electricité (pas toujours vrai sur certains moteurs)

36. Requête saisie sans accents Toutes les occurrences sont recherchées : electricite trouve electricite, électricité ou electricité (pas toujours vrai sur certains moteurs). Ordre des mots Sur certains moteurs, la recherche ( Paris Montréal ) ne donne pas les mêmes résultats que la recherche ( Monréal Paris ) surtout pour le classement des résultats. Majuscules, minuscules et accents sur Google Les recherches Google ne tiennent pas compte de la « casse » des lettres (MAJUSCULES/minuscules). Quelle que soit la typographie utilisée, Google interprète toujours les lettres composant vos termes de recherche comme des minuscules. Par défaut, les recherches Google ne tiennent pas compte des accents ou autres signes diacritiques (cédille, tilde espagnol, umlaut allemand, etc.). Ainsi les termes [FRANÇAIS] et [FRANCAIS] retrouvent les mêmes pages. Pour indiquer que ces deux termes ont une signification différente, utilisez un signe plus ( + ), soit les termes de recherche [+FRANÇAIS] et [+FRANCAIS]. Pour certains mots français dont la graphie est semblable à l'anglais (éléphant/elephant), il vaut mieux insérer les accents, SI on veut obtenir uniquement des documents en français . Par contre, pour les mots français dont la graphie n'a pas de correspondance en anglais, on favorisera un meilleur taux de rappel (résultat) si le mot en question n'est pas accentué, i.e. zebre ou lieu de zèbre .

37. Les 3 opérateurs "booléens" Nommés ainsi en l'honneur de Georges Boole (1815-1864) mathématicien et logicien anglais, inventeur de la logique symbolique moderne et de l'algèbre booléienne. 1 -( AND ) (Principe d'association) Souvent représenté par le symbole + et la saisie en majuscules AND. Sur Google, par défaut. Le + est implicite. Correspond à la conjonction ET en français. Exemple : la requête moteur de recherche en français force Google à trouver les pages qui contiennent à la fois les mots moteur ET recherche ET français . +moteur +recherche +français Les articles, adjectifs indéfinis, préposition et/ou déterminants de toutes sortes (le, la, les, en, des, du, pour, et, ou etc..) sont ignorés. Les Américains appellent ces mots des "Stop Words" ou mots-vides.

38. 2 -( OR ) (Principe de regroupement) Parfois représenté par le symbole ( | ) Correspond à la conjonction OU en français. Exemple : moteur OR recherche OR français force le moteur à trouver les pages qui contiennent l'un ou l'autre des mots, soit moteur, soit recherche, soit français ou les trois. Avec Google, l'opérateur OR doit être saisi en MAJUSCULE obligatoirement. Le OR était l'opérateur par défaut de Gigablast http://gigablast.com/ Le sigle | est rarement utilisé pour le OR mais fonctionne dans Google.

39. Dans les deux exemples suivants, le moteur tentera de trouver des pages contenant au moins le premier de ces mots, les deux premiers ou les trois à la fois: blouse, shirt, chemise. [ blouse OR shirt OR chemise ] [ blouse|shirt|chemise ] Remarque: avec l'opérateur OR un espace doit précéder le mot alors que le signe | ne nécessite aucun espace précédant le mot. Source: http://www.googleguide.com/or_operator.html

40. 3-( NOT/ANDNOT ) (Principe d'exclusion) Représenté par le symbole ( - ) Correspond à SAUF/Excepté en français. Exemple : +moteur -voiture force le moteur à trouver les pages qui contiennent le mot moteur mais SANS le mot voiture . Avec Google, l'opérateur ( - ) doit être utilisé devant le mot à exclure (sans espace) et non le NOT ou ANDNOT Si on veut trouver plus facilement une recette de "salsa", on risque d'avoir de meilleurs résultats avec: En anglais: [ salsa –dance –class ] En français [ salsa -musique -danse -cours ] Avec la combinaison suivante, je devrais trouver en théorie des informations avec les mots moteur et hybride mais sans les mots voiture et automobile [ -voiture -automobile moteur hybride ] Différence avec l'ordre suivant ? [ moteur hybride -voiture -automobile ] Combien de mots-clés peut-on utiliser dans une requête ? Jusqu'à 32 mots incluant les opérateurs mais pas les "stop-words", i.e. les articles, pronoms ou conjonctions, etc.: Exemple: le, du, des, quand, ou, où (mots-vides)

41. L'utilisation de parenthèses Lorsqu'on utilise simultanément plusieurs opérateurs booléens pour raffiner une recherche, on peut utiliser les parenthèses. Exemples : salade (thon AND Crabe) -Cesar = Je veux avoir des informations sur des salades de thon, de crabe ou les deux, mais pas d'informations sur la salade césar Les parenthèses permettent aussi de coupler des requêtes : Exemple : (+moteur +voiture) -(+moteur +recherche) Seul Hotbot acceptait encore bien les parenthèses...

42. Les opérateurs de proximité L'adjacence ( ADJ) ( base de données) Pour introduire une proximité nette entre les mots Exemple : Relations ADJ Publiques Public ADJ Relations N.B.: Très peu de moteurs acceptent l'adjacence (ADJ) et les résultats sont peu concluants dans Google avec cet opérateur...mais cela pourrait être utile ailleurs... La proximité ( ~) (base de données) Pour introduire une notion de proximité entre des mots mais pas aussi nette que l’ADJ. Les mots doivent être proches l'un de l'autre. Représenté par le sigle NEAR ou ONEAR et aussi par le symbole ~ Exemple : conception AND fabrication NEAR ordinateur ou computer NEAR translation = computer ~ translation Il s'agit donc d'une recherche sur la conception et la fabrication assistées par ordinateur (CAO-FAO) et sur la traduction assistée par ordinateur (TAO).

43. Dans Google, on utilise le symbole ~ pour trouver un synonyme du mot qu'on fait précédé par ~. Exemple: [ ~portable ] Exemple: [ ~portable +téléphonie -ordinateur ] Google trouve des informations similaires à quelques mots ou à tous les mots d'une requête précédée du ~ Le masque (?) Le masque sert à spécifier le nombre exact de caractères à rechercher (ou quand on cherche des mots différenciés que par un seul caractère) On représente le masque par le symbole ? (interrogation) wom ? n (wom a n, wom e n) français ?? (française et françaises)

44. Les guillemets Pour trouver un groupe de mots ou une phrase exacte. Pour trouver une expression particulière... On utilisera les guillemets . Représenté par " _ " Exemple: "moteur de recherche" recherche les trois mots les uns à côté des autres et dans cet ordre. "Histoire de la renaissance italienne" ou "Post-secondary education in the USA" N.B.: Les guillemets fonctionnent assez bien avec certains «autres» moteurs mais parfois Google demande de les retirer...

45. La troncature (base de donnés) Pour faire une recherche sur une partie d'un mot Utilisez la troncature pour obtenir de l'information à partir d'un même radical (troncature à gauche) ou d'un suffixe (troncature à droite). Représentée par le symbole * (astérisque) appelé aussi en anglais ( Wildcard ) Exemples: bio * (biologie, biographie, biochimie, biotechnologie, biochemistry, biography, biology, etc.) * sexuel (transexuel, homosexuel, bisexuel) mot * ( moteur, moteur s , motard, motard s , motorisé, motte, motrice, etc.)

46. Avec Google on utilise le * pour tenter de trouver un ou des mots manquants dans une phrase ou pour trouver des ressources dans lesquelles apparaissent des mots qu'on fait précéder du signe * Exemple: [ google *ma *vie ] Si vous n'êtes pas certain du titre d'un livre (ou d’une chanson) mais que vous en connaissez quelques mots, Google peut vous aider à retrouver le titre précis. Comment s'intitulait déjà le célèbre livre de Dany Laferrière ? ? ? ? [ faire *l'amour *nègre ] ? ? ? Source: http://www.googleguide.com/wildcard_operator.html

47. Les méta-données ou la recherche par zone spécifique Il est aussi très utile de connaître la spécificité des documents Internet en utilisant les métadonnées ou les champs à inscrire dans la fenêtre de requête. On nomme aussi ces champs ou métadonnées recherche linguistique ou par zone . Exemples de métadonnées (champs par zones) les plus connues : Avec Google, il faut faire précéder chacune par allin: title: ou allintitle: ou allin Récupère les sites dont le titre spécifié apparaît dans une page. allin:soleil trouve toutes les pages contenant le mot soleil dans le titre . N.B.: Parfois ce champ s'écrit intitle: ou lieu de title: url: ou allinurl: Récupère selon combinaison (nom du serveur, répertoire, fichier) url:jardin récupère ou trouve toutes les pages de tous les serveurs ayant le mot jardin à n'importe quel endroit : nom de domaine (URL), répertoire d'accès, nom de fichiers.

48. text: allintext: Récupère les pages contenant un mot particulier allintext:impluvium trouve les pages contenant le terme impluvium like: Récupère les pages semblables ou en rapport avec l'adresse like: www.amazon.com récupère des sites vendant des livres semblables à amazon.com inlink: Récupère les sites offrant un lien vers un site particulier (référence) inlink: www.cyberpresse.ca On recherche des documents (sites web) qui contiennent un lien vers une page de site dont l'adresse contient l'expression www.cyberpresse.ca

49. Est-il possible de combiner une zone avec un opérateur ? OUI ! Exemples : allinurl: www.honda.com +hybrid On recherche des documents qui contiennent le mot hybride sur le site www.honda.ca / allintitle:éducation supérieure +fr On recherche des sites ou pages web dont le titre porte précisément sur l'éducation supérieure et on tient à ce que ces informations proviennent de sites hébergés sur des serveurs de France. Peut on combiner deux zones ? NON ! allinurl:garden allintext:css Les opérateurs (anciens moteurs) http://searchengineshowdown.com/features/ Boolean Logic http://internettutorials.net/boolean.asp

51. Méta-moteurs MetaCrawler: http://www.metacrawler.com / Beaucoup: http://www.beaucoup.com / Surfwax : http://www.surfwax.com / Clusty: http://clusty.com / Mamma: http://www.mamma.com / Dogpile: http://www.dogpile.com / IceRocket: http://www.icerocket.com / Applications à télécharger WebFerret: http://www.webferret.com / Copernic: http://www.copernic.com / Référence A+: UC Berleley http://www.lib.berkeley.edu/TeachingLib/Guides/Internet/MetaSearch.html

52. Mais SURTOUT... Il faut lire les "modes d'emploi", les guides et les FAQ de chacun des moteurs et savoir comment utiliser les fonctions de recherche raffinée telles le " Advanced Search ", le " Power Search " et le " Related Search ". Apprenez à lire (à interpréter) rapidement les informations (sites) que vous retournent les moteurs, notamment grâce aux titres, aux résumés, à l'adresse web (nom de domaine)...

53. Autres ressources pour la recherche Groupes de discussion http://groups.google.com/ Recherche de blogues de Google http://blogsearch.google.fr/blogsearch/advanced_blog_search BlogPulse http://www.blogpulse.com / Technorati http://technorati.com/ La recherche de périodiques électroniques par le biais du réseau des bibliothèques de l'Université de Montréal Entente entre Eureka.cc et biblio branchée http://www.bib.umontreal.ca/SB/PEL/ Le portail de la Bibliothèque et Archives nationales du Québec http://www.banq.qc.ca/ Voir aussi Questia (Plus grande bibliothèque en ligne ?) http://www.questia.com/ À la recherche de sites disparus... sur Internet Archive avec son Way Back Machine (+150 milliards de documents) http://www.archive.org/

54. Problèmes ??? Difficultés ??? Pas assez de résultats ? (silence) Trouver de nouveaux synonymes, acronymes ou termes plus conceptuels se rapprochant de votre recherche. Trop de résultats ? (bruit) Utiliser les opérateurs booléens et combiner certains mots; Utiliser des métadonnés (champs); Utiliser les fonctions de recherche raffinée des moteurs.

55. Si c'est écrit, c'est vrai ? (Réseau UQuébec) http://youtu.be/lXwgv8kq6rA

56. Évaluation et validation de l'information trouvée Quelques concepts importants: Fiabilité (auteur, expertise) Objectifs /Buts (éditorial, pour ou contre une cause?) Équilibre ( faits bruts, point de vue différent ?) Mise à jour (actualité, date de parution ?) Type de couverture (rapport complet, études, petit paragraphe ?) Les sources semblent bien documentées ? (liens fonctionnels, sites reconnus, etc.) Autres sources Web offrant lien vers le site en question ? Quel rang dans un moteur de recherche ? Équilibre ? (opinions, biais, pamphlet, autres points de vue ?) Types de référence offerts (Livre blanc, rapport, petit paragraphe ?) Pertinence (rapport statistique ou article) Réputation et crédibilité de la source (commanditaire ?) Reconnaissance professionnelle ou institutionnelle ?

57. Quelques références utiles.... UQAM/Bibliothèques http://www.bibliotheques.uqam.ca/InfoSphere/sciences/module7/evaluer.html Déterminer la fiabilité de l’information (Bibliothèques UdeM) http://guides.bib.umontreal.ca/disciplines/74-Determiner-la-fiabilite-de-l-information Robert Harris/Virtual Salt http://www.virtualsalt.com/evalu8it.htm Évaluation de l’information présente sur Internet (Université de Lyon) http://sapristi-docinsa.insa-lyon.fr/conseils-pour-chercher/evaluer-linformation

59. Le Web invisible ou profond... Quelques définitions Web Invisible: informations que les moteurs de recherche conventionnels ne peuvent trouver et répertorier. Web caché: synonyme de Web invisible. Web profond: terme utilisé d’abord par BrightPlanet qui le préfère à Web invisible. Selon BrightPlanet, les informations ne sont pas nécessairement invisibles mais plutôt cachées. Il s'agit d'apprendre comment les trouver ! Web de surface : informations disponibles par le biais des moteurs et répertoires. La majorité des gens ne savent pas que plusieurs documents parmi les plus crédibles du Web, c.-à-d. ceux qui font autorité, demeurent "invisibles" auprès des moteurs de recherche comme Google, Yahoo! ou Bing. La plupart de ces documents dits invisibles proviennent des bases de données des universités, bibliothèques, agences gouvernementales, associations, entreprises... partout dans le monde ! Références A+ DeepWeb (Wikipedia): http://en.wikipedia.org/wiki/Deep_web Inventeur du terme «DeepWeb» (Mike. K. Bergman) http://www.mkbergman.com/about-mike/ The DeepWeb Internet Tutorials http://www.internettutorials.net/deepweb.asp

62. Le Web profond, c'est aussi... Pages discrètes: existantes mais non liées par des hyperliens Bases de données accessibles à travers une requête ou formulaire Pages générées de façon dynamique (ASP, Cold Fusion); Il est plus facile (et aussi moins onéreux) de générer une réponse de façon dynamique par requête plutôt que d'entreposer (archiver) toutes les pages possibles contenant toutes les réponses possibles de toutes les questions possibles... Pages contenant des scripts (code avec un "?" par exemple) Par exemple, Google Scholar ne peut que pointer vers des citations de références de périodiques très spécialisés (revues savantes, etc.). Il ne peut aller directement vers un contenu complet et protégé (mot de passe, abonnement payant, etc.) des bases de données des grandes universités. Véritable Intranet (entre les murs d'un immeuble, sans plus) Ex: Compagnies d'assurance Intranet/Extranet: L'Intranet de la Faculté de l'éducation permanente http://ocean.sim.umontreal.ca/fep/ Une recherche dans une bibliothèque virtuelle. ( La requête disparaît lorsque la session se termine ).

63. Pourquoi les moteurs n'indexent pas tout le Web ? Les robots des moteurs sont surtout conçus pour chercher des pages en HTML (statiques) qui reposent dans un serveur. Depuis 2005-2006,plusieurs moteurs comme Google peuvent trouver des pages dynamiques (avec un lien stable)... Un moteur ne peut pas "penser" ni taper du texte...(code utilisateur, mot de passe, autre texte, opérateurs propres au moteur de recherche interne). On entend souvent dire que les méthodes de recherche de base et leur technologies n'ont pas évolué de manière vraiment significative depuis les débuts d'Internet... On commence à entendre parler de "smart robots" qui pourraient indexés le Web profond . C’est déjà commencé... Seuls des fichiers HTML, les fichiers musicaux ( MP3, midi, etc.) et certaines images (gif, jpg) accompagnés de texte sont indexés convenablement. Tout ce qui est en «flash» n’est pas indexé....

64. Comment trouver des informations du Web profond ? Pensez toujours en fonctions des bases de données Bases de données: “ Ensemble structuré d'éléments d'information, généralement agencés sous forme de tables, dans lesquels les données sont organisées selon certains critères en vue de permettre leur exploitation”. Source: Grand dictionnaire http://www.granddictionnaire.com/btml/fra/r_motclef/index800_1.asp Mot clé à ajouter à votre requête: database Certains répertoires du Web permettent la recherche par mot clé ou par navigation à l'intérieur de liens pointant vers des bases de données... Exemples (par où commencer): Infomine: http://infomine.ucr.edu Internet Public Library (IPL2): http://www.ipl.org Intute: http://www.intute.ac.uk (jusqu’en 2014....) Répertoire des bases de données gratuites disponibles dans Internet http://dadi.univ-lyon1.fr/ Libdex (Index des grandes bibliothèques du monde entier) http://www.libdex.com/

68. L'ambiguïté du Web invisible... Selon les spécialistes en sciences de l'information de Berkeley, on ne peut toujours savoir ou prévoir quels types de sites ( ou portions de sites) font partie du Web invisible. Voici quelques facteurs : Quels sites offrent le contenu de leur base de données en pages statiques ( visible , hybride , invisible ). Politique d'inclusion ou d'exclusion des moteurs de recherche. Autres exemples de sites dits invisibles NASA Image Exchange http://nix.nasa.gov/ JSTOR project http://www.jstor.org Right-to-Know Network http://www.rtk.net/ National Climatic Data Center http://www.ncdc.noaa.gov/oa/ncdc.html Voir aussi Search Engine Land http://searchengineland.com