【Tech Trend Talk vol.11】社外向け勉強会「自然言語処理の初歩と活用 -（GIG）」
•
0 likes•949 views
公開日 2019年3月7日 「TTT.11 自然言語処理の初歩と活用」を公開 ※ 株式会社GIGでは毎月社内勉強会を実施しています GIG inc. Good is good. We provide opportunities to the SEKAI by fusing technology and ideas. テクノロジーとクリエイティブでセカイをより良くする。小さなチームからスタートした多くの先人達が、世界をより豊かなモノに変革してきました。通信、UX、デバイス、技術の変化と共に世界はまだまだ加速度的に変わります。 Good is good. いいものはいい。GIGは、関わったユーザーやクライアントが前に進める“きっかけ”をつくりつづけます。 ■ お問い合せ https://giginc.co.jp/contact/
Recommended
More Related Content
What's hot
What's hot (20)
Similar to 【Tech Trend Talk vol.11】社外向け勉強会「自然言語処理の初歩と活用 -（GIG）」
Similar to 【Tech Trend Talk vol.11】社外向け勉強会「自然言語処理の初歩と活用 -（GIG）」 (20)
More from GIG inc.
More from GIG inc. (20)
【Tech Trend Talk vol.11】社外向け勉強会「自然言語処理の初歩と活用 -（GIG）」
- 1. Tech Trend Talk #11 2019年1月23日（水）
- 5. 中島正成 株式会社GIG 取締役 Institution for a Global Society株式会社 取締役CTO 人材データの分析・機械学習、人工知能をつかった評価システム GROW360開発、作文採点システム開発 エン・ジャパン株式会社 株式会社不満買取センターCTO 自然言語処理によるマーケティングデータ分類 株式会社メタップス 取締役CTO 広告プラットフォームmetapsリワード開発 メタップスアナリティクスプロトタイプ開発 決済プラットフォームSpikeプロトタイプ開発 5
- 6. 前回までの復 習 6
- 7. 回帰と判別 回帰モデル 判別（分類）モデル 回帰（かいき、英: regression）とは、統計学に おいて、Y が連続値の時にデータに Y = f(X) と いうモデル(「定量的な関係の構造 [1]」)を当て はめる事。別の言い方では、連続尺度の従属 変数（目的変数）Y と独立変数（説明変数） X の 間にモデルを当てはめること。 X が1次元ならば 単回帰、X が2次元以上ならば重回帰と言う。 Y が離散の場合は分類と言う。 判別分析は、事前に与えられているデータが 異なるグループに分かれる場合、新しいデータ が得られた際に、どちらのグループに入るのか を判別するための基準（判別関数）を得るため の正規分布を前提とした分類の手法。英語で は線形判別分析をLDA、二次判別分析を QDA、混合判別分析をMDAと略す。 7
- 8. 教師あり学習と教師なし学習 教師あり学習 教師なし学習 教師あり学習（きょうしありがくしゅう , 英: Supervised learning）とは、機械学習の手法 の一つである。事前に与えられたデータをいわ ば「例題（＝先生からの助言）」とみなして、そ れをガイドに学習（＝データへの何らかのフィッ ティング）を行うところからこの名がある。 教師なし学習（きょうしなしがくしゅう , 英: Unsupervised Learning）とは、機械学習の手 法の一つである。「出力すべきもの」があらかじ め決まっていないという点で教師あり学習とは 大きく異なる。データの背後に存在する本質的 な構造を抽出するために用いられる。 8
- 9. 良く聞くアルゴリズムまとめ 9 • 回帰 • 線形回帰 • ロジスティック回帰 • SVM • ツリー • 決定木 • 回帰木 • ランダムフォレスト • 勾配ブースティング • ニューラルネットワーク • CNN • RNN • パーセプトロン 教師あり学習 • 階層型クラスタリング • 非階層型クラスタリング • K-means • トピックモデル • LDA • 協調フィルタリング • 自己組織化マップ 教師なし学習
- 10. 機械学習の 実務への応用 10
- 11. 説明変数と目的変数の間の関係を表す式を 統計的手法によって推計 本日は線形回帰とランダムフォレストを 11 まず機械学習を業務に取り入れるためにデータサイエンスと機械学習のため の業務プロセスの基本を知りましょう CRISP-DM CRISP-DM（CRoss-Industry Standard Process for Data Mining）は、SPSS、NCR、ダイム ラークライスラー、OHRAがメンバーとなっているコンソーシアムにて開発されたデータマイニ ングのための方法論を規定したものです。
- 13. 13 5. 結果を 評価する 4. モデルを作成 ・仮導入する 3. 目標を 定める 2. 現状を 把握する 1. 目的を 定める ５つのステップ
- 14. 1. 目的を定める 14
- 15. 1. データを活用して何をしたいのか 2. プロセスの整理と可視化 3. プロセス毎の課題整理と可視化 普通の開発案件や制作案件の プロジェクトと同じですね！
- 19. “ 目的はきまった！
- 21. 2. 現状を把握する 1. 手持ちのデータの整理と分析 2. プロセスと課題に対して 3. 有効なデータと足りないデータのリスト化 4. 目指すべき姿の言語化
- 24. 3. 目標を定める - 正解データを用意できる場合 ￮ 手持ちのデータでの自動化や予測機能という具体的な目標をたて る。精度を上げるために追加で必要なデータの仮説立て・設計をおこ なう - 正解データを用意できない場合 ￮ 仮説を立てる。仮説が正しいか手持ちのデータで検証する。仮説を証 明するために必要と思われる追加データを設計する
- 26. 4. モデル作成と仮導入 仮導入のための重要なポイント 1. 追加の正解データが集まる仕組み 2. 仮説でたてた他のデータが集まる仕組み 3. 正解データを整理・管理できる運用
- 28. 自然言語処理と 活用 28
- 29. 29 自然言語処理 形態素解析 構文解析 意味解析 辞書構築 自動分類 自動要約 情報抽出 特徴抽出 機械翻訳 音声解析 検索 会話 要素 技術 応用
- 30. 30 形態素解析 私は先週東京スカイツリーにいってご飯を食べた。 私 / は / 先週 / 東京 / スカイ / ツリー / に / いっ / て / ご飯 / を / 食べ / た。 日本語： MeCab, Juman, Chasenなど 英語： Stanford NLP, PolyGrotなど
- 31. 31 構文解析 / 意味解析 私は先週東京スカイツリーにいってご飯を食べた。 私は 先週 東京スカイツリーに いって ご飯を 食べた。 日本語： CaboCha, KNPなど 英語： Stanford NLP, PolyGrotなど
- 37. 37 例４）履歴書のスコアリング 単語ベースの スコアリング - 単語ごとにスコアをつけて算出 - キーワード抽出の精度が重要になる - 未知語への対応が課題、辞書構築は不可欠 語学力・論理構造 に関するスコアリング 文化や性格のマッチング - 構造解析による文章構造に対する採点 - センテンス単位の意味とつなぎの正当性を評価 - トピック抽出に類似度の算出 - プロフィールや経歴の厚みが必要
- 40. 40 社員、業務委託 全職種積極採用中です！ 経験者採用（1年以上） ● ディレクター / マーケター / 編集者 ● フロントエンド / バックエンド / インフラ ● デザイナー / アートディレクター ● 人事 / 財務 職種未経験者も検討 ● ディレクター / マーケター / 編集者 ● バックエンド 新卒も検討 ● マーケター / 編集者 GIG INCのこと