20170509 網路星期二：從公益資料分析到聰明公益平台的抽絲剝繭之路
•
5 likes•1,852 views
這次分享的主題是從公益資料分析到聰明公益平台的抽絲剝繭之路，昇瑋為什麼要做這件事？聽聽他怎麼說： 大數據及資料科學成為近年熱門議題，雖然台灣許多組織的資料還不足以豐富到稱作大數據，但資料科學不只能幫企業做決策，也能分析捐款人的偏好習慣。 身為一位資料科學家，對於如何有效率地進行募款及捐款非常感興趣，2014 年分析蘋果日報慈善基金會的公開資料，量化捐款者的決策過程，發現捐款的意願與發表時間密切相關，同時，與受助者的外型、是否為老弱婦孺或單身、疾病或身心障礙甚至急切需要幫助的原因都有顯著相關。 看起來應該很純粹的捐款行為，事實上卻牽涉到非常複雜的決策過程，但這麼複雜的決策過程，卻能在資料分析下抽絲剝繭找出規律，讓我們看見社會大眾究竟是如何做捐款決策。 但是，若拉高視角來看，全台灣有超過兩千個公益團體，我們如何利用資料分析來為每個捐款人找到最合適也最有效率的捐助方式及對象呢？ 首要之事，就是得為所有的公益團隊收集資料，這並不容易，因為資料的收集、維護及取得並沒有一定的格式或規範，更有許多公益團體因為人力或其它因素並沒有將資料公開出來。因此，我們成立聰明公益資訊平台，希望透過公益團體及捐款人的共同努力，一起建立及維護屬於台灣所有公益團體及捐款人的平台，讓好的公益團體更容易讓社會看見，讓捐款過程更能有所依循，更聰明有智慧。 希望透過短短的分享，能夠最小程度的讓大家看見，資料科學在公益領域的潛力；未來幾年，能夠看到 NGO、NPO 和我一樣，一起擁抱資料科學，以資料科學來解決所面對到的各項問題，來讓這個社會變得更好。
Recommended
More Related Content
What's hot
What's hot (20)
Similar to 20170509 網路星期二：從公益資料分析到聰明公益平台的抽絲剝繭之路
Similar to 20170509 網路星期二：從公益資料分析到聰明公益平台的抽絲剝繭之路 (20)
More from Net Tuesday Taiwan
More from Net Tuesday Taiwan (20)
20170509 網路星期二：從公益資料分析到聰明公益平台的抽絲剝繭之路
- 4. 陳昇瑋 / 資料科學往前看－從大數據到人工智慧 (Photo credit: Brian Harrington Spier)
- 7. 3 Major Trends of Data Science Big Data Deep Learning Deep Analytics
- 8. 陳昇瑋 / 資料科學往前看－從大數據到人工智慧 3V Explained #1. Big Data
- 9. 陳昇瑋 / 資料科學往前看－從大數據到人工智慧 Computer vision in sports Play tracking (Slide Credit: Jia-Bin Huang)
- 10. 陳昇瑋 / 資料科學往前看－從大數據到人工智慧 Computer vision in sports Second Spectrum: visual analytics (Slide Credit: Jia-Bin Huang)
- 12. 陳昇瑋 / 資料科學往前看－從大數據到人工智慧 Computer vision for healthcare Video magnification (Slide Credit: Jia-Bin Huang)
- 13. 陳昇瑋 / 資料科學往前看－從大數據到人工智慧 13 https://www.youtube.com/watch?v=QbXgEbeceJI (Credit: Jia-Bin Huang)
- 14. 陳昇瑋 / 資料科學往前看－從大數據到人工智慧 14
- 15. 3 Major Trends of Data Science (#2) #2. Deep Learning
- 16. 陳昇瑋 / 資料科學往前看－從大數據到人工智慧 Machine Learning 16 A field of study that gives computers the ability to learn without being explicitly programmed. Find the common patterns from the left waveforms It seems impossible to write a program for speech recognition 你好 你好 你好 你好 You quickly get lost in the exceptions and special cases. (Slide Credit: Hung-Yi Lee)
- 17. 陳昇瑋 / 資料科學往前看－從大數據到人工智慧 17
- 18. 陳昇瑋 / 資料科學往前看－從大數據到人工智慧 Let the machine learn by itself 你好 大家好 人帥真好 You said “你 好” A large amount of audio data You only have to write the program for learning Learn how to do speech recognition (Slide Credit: Hung-Yi Lee)
- 19. 陳昇瑋 / 資料科學往前看－從大數據到人工智慧 19
- 21. 陳昇瑋 / 資料科學往前看－從大數據到人工智慧 21
- 22. 陳昇瑋 / 資料科學往前看－從大數據到人工智慧 22
- 23. 陳昇瑋 / 資料科學往前看－從大數據到人工智慧 23
- 24. 陳昇瑋 / 資料科學往前看－從大數據到人工智慧 24
- 25. 陳昇瑋 / 資料科學往前看－從大數據到人工智慧 Word Embedding 25
- 26. 陳昇瑋 / 資料科學往前看－從大數據到人工智慧 Word Embedding 26
- 27. 陳昇瑋 / 資料科學往前看－從大數據到人工智慧 Word Vector Source: http://www.slideshare.net/hustwj/cikm-keynotenov2014 (Slide Credit: Hung-Yi Lee)
- 28. 陳昇瑋 / 資料科學往前看－從大數據到人工智慧 Word Vector Characteristics Solving analogies 𝑉𝑉 ℎ𝑜𝑜𝑜𝑜𝑜𝑜𝑜𝑜𝑜𝑜 − 𝑉𝑉 ℎ𝑜𝑜𝑜𝑜 ≈ 𝑉𝑉 𝑏𝑏𝑏𝑏 𝑏𝑏 𝑏𝑏𝑏𝑏𝑏𝑏 − 𝑉𝑉 𝑏𝑏𝑏𝑏 𝑏𝑏 𝑉𝑉 𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅 − 𝑉𝑉 𝐼𝐼𝐼𝐼𝐼𝐼𝐼𝐼𝐼𝐼 ≈ 𝑉𝑉 𝐵𝐵𝐵𝐵𝐵𝐵𝐵𝐵𝐵𝐵𝐵𝐵 − 𝑉𝑉 𝐺𝐺𝐺𝐺𝐺𝐺𝐺𝐺𝐺𝐺𝐺𝐺𝐺𝐺 𝑉𝑉 𝑘𝑘𝑘𝑘𝑘𝑘𝑘𝑘 − 𝑉𝑉 𝑞𝑞𝑞𝑞𝑞𝑞𝑞𝑞𝑞𝑞 ≈ 𝑉𝑉 𝑢𝑢𝑢𝑢𝑢𝑢𝑢𝑢𝑢𝑢 − 𝑉𝑉 𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎 Rome : Italy = Berlin : ? 𝑉𝑉 𝐺𝐺𝐺𝐺𝐺𝐺𝐺𝐺𝐺𝐺𝐺𝐺𝐺𝐺 ≈ 𝑉𝑉 𝐵𝐵𝐵𝐵𝐵𝐵𝐵𝐵𝐵𝐵𝐵𝐵 − 𝑉𝑉 𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅 + 𝑉𝑉 𝐼𝐼𝐼𝐼𝐼𝐼𝐼𝐼𝐼𝐼 Compute 𝑉𝑉 𝐵𝐵𝐵𝐵𝐵𝐵𝐵𝐵𝐵𝐵𝐵𝐵 − 𝑉𝑉 𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅 + 𝑉𝑉 𝐼𝐼𝐼𝐼𝐼𝐼𝐼𝐼𝐼𝐼 Find the word w with the closestV(w) (Slide Credit: Hung-Yi Lee)
- 29. 陳昇瑋 / 資料科學往前看－從大數據到人工智慧 Machine Reading Machine learn the meaning of words from reading a lot of documents without supervision Machine learns to understand netizens via reading the posts on PTT (Slide Credit: Hung-Yi Lee)
- 30. 陳昇瑋 / 資料科學往前看－從大數據到人工智慧 (Slide Credit: Hung-Yi Lee)
- 31. 陳昇瑋 / 資料科學往前看－從大數據到人工智慧 Big data vs. Machine learning vs. AI Big data: 3Vs Machine learning: “A field of study that gives computers the ability to learn without being explicitly programmed" Artificial intelligence Turing test 31
- 32. 3 Major Trends of Data Science (#3) Q: 如何提高利潤？ #3. Deep Analytics 提升產品品質？ 加強包裝？ 加強行銷？ 降低生產成本？ 提升研發效率？ 提升行政效率？ 提升回頭率？ 技術水準？ Deep Analytics
- 34. 34 x 3,518 in 10.5 years (since May 2003)
- 35. 35
- 36. 37 20 50 80 捐款金額分布 (每戶個案家庭)
- 37. 38
- 38. 39 人工編碼平台 Online
- 39. 40
- 40. 41 Title & picture rating http://mmnet.iis.sinica.edu.tw/~cslin/rating/welcome.php
- 42. 44 Variables we got (290+)
- 43. 45
- 44. 46 捐款意願與時間點 高度相關
- 45. 47 星期幾很重要 日 一 二 三 四 五
- 46. 48 哪個月份也重要 一 二 三 四 五 六 七 八 九 十 十一 十二
- 48. 50
- 49. 52 誰收到較多捐款？
- 51. 55
- 52. 57
- 53. 59 不可抗力因素 較讓人同情
- 55. 62
- 57. 65 捐款者期待能看見 「希望」
- 61. 聰明公益資訊平台 69
- 63. 聰明公益資訊平台 地圖檢視 71
- 64. 聰明公益資訊平台 分析功能 72
- 69. 聰明公益資訊平台 群眾參與 (1/2) 維基百科模式：只要以 Facebook or Google 帳號登入 後，任何人都可以編輯任何 NPO 的任何資訊。 77
- 74. 聰明公益資訊平台 資訊透明度權重與計算方式說明 資訊透明度的計算的重點在於估計每項資訊的權重，我們採用 常見的 IDF (Inverse Document Frequency) 的原則，也就是說， 越常見的資訊，權重越低；反之，越少見的資訊，權重越高。 越多 NPO 填寫的欄位，表示越容易取得／提供，因此權重低 ；反之，越少 NPO 提供的欄位，表示取得成本較高，通常也 表示更有價值，因此權重高。 舉例來說 成立日期有 100% NPO 提供，權重為 1.0 登記財產總額有 64% NPO 提供，權重為 4.19 公開徵信查詢只有 5% NPO 提供，權重為 14.91 82 http://www.smartdonor.tw/transparency.php
- 75. 聰明公益資訊平台 假設共有 N 家 NPO，某個欄位 f 有 n(f) 家 NPO 填寫，那麼欄 位 f 的基本權重就是 sqrt(N/n(f))，基本權重再經過正規化讓所 有欄位的權重加起來為 100，就是最後的權重值。舉例來說， 目前本平台共有 2404 家 NPO，共有 121 家 NPO 提供「公開徵 信查詢」連結，那麼「公開徵信查詢」欄位的基本權重為 sqrt( 2404 / 121)，經過正規化後，此欄位的權重為 14.91。 sqrt (平方根) 的作用是讓欄位之間的權重差異小一點，不要被 少數的重要欄位決定分數。 權重不是固定的值，隨著 NPO 在平台上填寫更多資料，權重 會隨時調整。假設有一天所有的 NPO 都提供公開徵信查詢， 那「公開徵信查詢」的欄位權重就會變成 1.0。 83
- 76. 84
- 78. 聰明公益資訊平台 我們的願景 從捐款人的角度 所有的 NPO 資訊一目瞭然 可以搜尋、排序、比較、分析 不用到每個 NPO 網站慢慢翻找資料，所有資料一頁呈現 成為聰明的捐款人 從公益團體的角度 讓潛在捐款人看到自己的努力 讓大型 NPO 可以量化方式呈現成果 讓小型 NPO 更有機會被看見。 對小型 NPO 來說，即使人力有限，可讓社會善心人士幫忙維護 NPO 公 開資訊。 86
- 82. 陳昇瑋 / 以資料科學進行資料治理 90
- 83. 陳昇瑋 / 以資料科學進行資料治理 美國聯邦政府案例 住宅與都市發展部 + 衛生及公共服務部 連結低收入老人租房補貼或承租公營住宅資料及醫療 資料，評估社福政策及社工到府照護服務是否有所幫 助？ 依分析進行決策：部分住房補貼轉移至照護 政府支出沒有增加，但死亡率降低 25% 85 歲以上有複合性慢性疾病者，死亡率降低 49% 91
- 84. 聰明公益資訊平台 致謝 92