Ce diaporama a bien été signalé.
Nous utilisons votre profil LinkedIn et vos données d’activité pour vous proposer des publicités personnalisées et pertinentes. Vous pouvez changer vos préférences de publicités à tout moment.

Groongaでのタグ検索と表記揺れとの戦い

2 623 vues

Publié le

  • Soyez le premier à commenter

  • Soyez le premier à aimer ceci

Groongaでのタグ検索と表記揺れとの戦い

  1. 1. ���������������������� ����������������������� Groongaでのタグ検索と 表記揺れとの戦い ����� ������������������� ����������
  2. 2. ���������������������� ����������������������� 自⼰紹介 ��������������������✓ ����������������������������� �������������������������� ✓ ����������������������������������� ��������������������������✓ �����������������✓ ������������������������� ���������������� �������������������������������� ✓ ✓
  3. 3. ���������������������� �����������������������   ����������������������������� ����������������������� ✓ ������������������������✓ �������������������������� ����������������� ������������������������������������ ���������� ✓ �����������������������✓ ������������������� ��������������������������������������� ������������������������ ✓ ✓
  4. 4. ���������������������� ����������������������� Groongaのタグ検索を使っているとろ ������������������� �����������������������������✓ ✓ ����������������������� ������������������������✓ ✓ ������������������� ��������������������� �������������� ✓ ✓
  5. 5. ���������������������� ����������������������� Groongaのタグ検索のいいところ ���������✓ ������������������������ ��������������������������������� ����������� ✓ ✓ ������ ����������� � ������ � ������ ���� ��������� � ��� � ���
  6. 6. ���������������������� ����������������������� Groongaのタグ検索のいいところ ���������� �������������✓ �����������������✓ �����������������✓ ✓ ������ ����������� � ���������������� � ��������
  7. 7. ���������������������� ����������������������� Groongaのタグ検索のいいところ ����������������������� �������� ���������������������� ��������������������� ✓ ������������������✓ ✓ ���� ��������� ��� ��������� ����� ����������� � ��� ������ ��� � ��� ��������� ��
  8. 8. ���������������������� ����������������������� タグ検索で困ったこと ����������� ������������������������� ��� ✓ ����������������� �����������������������✓ ✓
  9. 9. ���������������������� ����������������������� KABUSHIKI KAISHA
  10. 10. ���������������������� ����������������������� KABUSHIKI KAISYA
  11. 11. ���������������������� ����������������������� KABUSHIKI GAISHA
  12. 12. ���������������������� ����������������������� KABUSHIKI KAAISHA
  13. 13. ���������������������� ����������������������� KABSHIKI KAISHA
  14. 14. ���������������������� ����������������������� KABUHSIKI KAISHA
  15. 15. ���������������������� ����������������������� KABUSHIKI DAISHA
  16. 16. ���������������������� ����������������������� KABUSHIKI KISHA
  17. 17. ���������������������� ����������������������� KABUSHIKI KEISHA
  18. 18. ���������������������� ����������������������� KABUSHIKI HAISHA
  19. 19. ���������������������� ����������������������� 負けては いけませ ん
  20. 20. ���������������������� ����������������������� タグの表記揺れで問題になること ����������� ����������������������������� ����������������������������� ��������������� ✓ ��������������������������� ����������������������������� ✓ ✓ �������������� ��������������������������������� ������� ✓ ✓
  21. 21. ���������������������� ����������������������� 表記揺れの主な種類 ������������� �������������✓ ✓ ��������� ������������������✓ ✓ ����������������� ����������������✓ ✓ ����������✓ 誤字/脱字(Typo)✓
  22. 22. ���������������������� ����������������������� 表記揺れ(Typo)の単語を抽出するプラグイ ン gronoga-term-similar ����������������������� �������������������������������������������� ✓ �������������������� ������������� ✓ ����������������������� ����� ✓
  23. 23. ���������������������� ����������������������� 表記揺れ(Typo)の検出⽅法 ���������������������� ���������������������� � ��������������✓ ����������������������������������������������✓ ✓ ���������������������� ���������� ��������������������✓ ���������✓ ✓
  24. 24. ���������������������� ����������������������� Patricia Trieによる前⽅⼀致検索 ���������������������� ���������������������� ������������������������ �������� ✓ ✓ Da����������Da��������Da����������������������✓ ���������� ������������������������� ✓
  25. 25. ���������������������� ����������������������� 編集距離(Levenshtein distance) ����������������������✓ ����������������������� ������������ ✓ ��������������t��������✓ ��������������a�������✓ ��������������_�������✓ ���������������������a���_�������✓
  26. 26. ���������������������� ����������������������� KABUSHIKI KAISHA
  27. 27. ���������������������� ����������������������� KABUHSIKI KAISHA
  28. 28. ���������������������� ����������������������� KABUSHIKI DAISHA
  29. 29. ���������������������� ����������������������� Damerau-Levenshtein distance ����������������������� ������������������������� � ✓ ✓ ���������������������� �������������������� ✓ ��������������✓ ���������������������na���������✓
  30. 30. ���������������������� ����������������������� qwerty配置のキーボード距離 �����������������������✓ ���������������������� ��������������������� ✓ ���������������������� �������������� ✓ ����������������������������we�������✓ �����������������������������e�����o�✓ �������������������������� ������ ✓
  31. 31. ���������������������� ����������������������� 多くの⽂書に出現しているタグを選択 (optional) ���������������������� ���������������� ✓ ������������������������ ������������������� ���������������������������������� ����������������� ✓ ����������� Database = DF:200/Distance:11 ��������������������������� ��������������������������� ✓
  32. 32. ���������������������� ����������������������� 表記揺れ(Typo)の検出⽅法 �������������������������✓ ������������������������������✓ ������������������������������������✓ �����������������������✓ ��������������������✓ ���������������������� ���������������������� Typoの修正候補ぽいのが抽出される✓ ✓
  33. 33. ���������������������� ����������������������� 抽出例(DFオプションなし1) ���������������������������������������� � ����� ��������������������� �������������������� ��������������������� ���������������������� ��������������������� ��������������������� ����� � �������������������������✓
  34. 34. ���������������������� ����������������������� 抽出例(DFオプションなし2) ���������������������������������������� � ����� ������������������� ������������������� ������������������ �������������������� ����� � ������������������� ��������������� ✓
  35. 35. ���������������������� ����������������������� 抽出例(DFオプションあり) ��������������������������������������������������������� � ����� ���������������������� ����������������� ������������������� ������������������ ����� � ��������������������������� �������������������������� ✓
  36. 36. ���������������������� ����������������������� タグの表記揺れで問題になること まとめてグループ集計できない ��������������������������������� ������� ✓ ✓ ������������✓ ���������������� �����������������������������✓ �������������������✓ ✓
  37. 37. ���������������������� ����������������������� 投⼊タグを書き換えるプラグイン gronoga-tag-synonym ��������������������� ������������������������������������������� ✓ ������������������������� ���������������������������������✓ ✓ ������������������� ���������������������������✓ ������������������������✓ ✓ Typoのあるタグが集約される✓
  38. 38. ���������������������� ����������������������� 投⼊タグを書き換えるプラグイン gronoga-tag-synonym ������������������������������������������� ����������������� ��������������������������������������������� ������������������ ������������������������������������������������������ ����������������������������������������������������� �������������������������������������������������������������������� � ����� ������� ������������������ ������������������������������ �������� ������� ������������������ ������������������������������ ������� ����� ��� �
  39. 39. ���������������������� ����������������������� 投⼊タグを書き換えるプラグイン gronoga-tag-synonym ��������������������� ����������������������������� ����������������������������� ���������� ✓ ��������������������������������� ������� ✓ ✓ ���������������������� ���������������� ������������������������� ����������������������������� ✓ ✓
  40. 40. ���������������������� ����������������������� 投⼊タグを書き換えるプラグイン gronoga-tag-synonym ����������������� ���������������� �����������������������✓ ✓ ����������������� ���������������� ����������� ✓ �������������✓
  41. 41. ���������������������� ����������������������� TokenFilterTypoトークンフィルター gronoga-term-similar ������������������������� �������������������������� ���� ✓ ����������������������������� ��� ������������������� ��������� ✓ ������������������������� ������������������� ✓
  42. 42. ���������������������� ����������������������� TokenFilterTypoトークンフィルター gronoga-term-similar ������������������ �������������������������������������������� ������������������������������������������������������� ��� ������������������������������������� ���
  43. 43. ���������������������� ����������������������� Groongaのいいところ ����������������✓ ���������������������✓
  44. 44. ���������������������� ����������������������� タグの表記揺れでもうひとつ解決したいこと あいまい検索 ������������������� �������������������������自動� ������������ ������✓ ✓ ���������������������� ���������������������� �������� ✓ ���������������������� ������������� ✓
  45. 45. ���������������������� ����������������������� Thank you for your attension
  46. 46. ���������������������� ����������������������� Thank you for your attention

×