Recommandé
Recommandé
Contenu connexe
Dernier
Dernier (20)
En vedette
En vedette (20)
Elixirで楽してデータクレンジング
- 4. Elixirって？
- 5. Elixirの特徴
- 7. 従来言語とElixirの並行処理比較 従来言語の並行処理 複数のコアで共有データ更新可能 →処理が複雑化、速度低下 Elixirの並行処理 データがimmutableで更新不可 →コア数が増えても処理能力維持 共有データ 3.14 →1.5 Core #1 Core #2 更新 通知 共有データ 3.14 Core #1 Core #2 更新不可
- 8. CPU動作周波数とプロセスルールの変遷 動作周波数の推移 動作周波数とプロセスルールの推移 （出典：Computer Architecture: A Quantitative Approach） →近年はマルチコア化が進んでいるから、並行処理に強いElixirの時代💘
- 9. 最近の動向
- 11. Qiita Advend Calendar 2020 Ranking プログラミング言語カテゴリで3位 目の上のたんこぶ さすがっすね
- 14. 楽してデータクレンジングをする 対象データ 福岡県内の会社一覧.csv(3MB) https://www.houjin-bangou.nta.go.jp/download/zenken/index.html ↑国税庁の法人番号公表サイト 実行環境 Intel® Core™ i7(第8世代) CPU @ 1.80GHz(定格) 4コア8スレッド RAM 16.0 GB Windows 10 Pro (2004) Docker For Windows (Docker Engine v20.10.5) Elixir 1.11.1
- 16. コード書いてみる def enumCount(path) do cleaned_data = File.stream!(path) # ファイル読み込み |> Enum.map( &( String.replace( &1, ",", "t" ) ) ) # CSV→TSV |> Enum.map( &( String.replace( &1, "rn", "n" ) ) ) # 改行除去 |> Enum.map( &( String.replace( &1, """, "" ) ) ) # ダブルクォート除去 |> Enum.map( &( String.replace( &1, "株式会社", "㈱" ) ) ) # [株式会社]を[㈱]に変更 |> Enum.map( &( &1 |> String.split( "t" ) ) ) |> Enum.filter(&(Enum.at( &1, 11 - 1 ) == "福岡市博多区")) # 11番項目が[福岡市博多区]のみ抽出 IO.puts(Enum.count(cleaned_data)) # 件数をカウントして標準出力 end |> を使って処理をパイプライン化できるのが Elixirの特徴
- 17. 結果は・・・ Elixir.CsvOperation, enumCount, ["/workspace/data/fukuoka.csv"] 21298 {23643127, :ok} time: 23.643127 second ---------- →約23.6秒
- 18. 微妙 じゃね？
- 19. じゃあ本気を 出そうじゃないの
- 21. 処理時間をもっと速くする defp deps do [{:flow, "~> 1.1.0" }] end def flowCount(path) do cleaned_data = File.stream!(path) # ファイル読み込み |> Flow.from_enumerable() # Flow開始 |> Flow.map( &( String.replace( &1, ",", "t" ) ) ) # CSV→TSV |> Flow.map( &( String.replace( &1, "rn", "n" ) ) ) # 改行除去 |> Flow.map( &( String.replace( &1, """, "" ) ) ) # ダブルクォート除去 |> Flow.map( &( String.replace( &1, "株式会社", "㈱" ) ) ) # [株式会社]を[㈱]に変更 |> Flow.map( &( &1 |> String.split( "t" ) ) ) |> Flow.filter(&(Enum.at( &1, 11 - 1 ) == “福岡市博多区”)) # 11番項目が[福岡市博多区]のみ抽出 |> Enum.to_list # Flow終了 IO.puts(Enum.count(cleaned_data)) # 件数をカウントして標準出力 end 並行処理を実行するライブラリを使って、速くなる魔法をかける（ライブラリ：Flowを使う）
- 22. 結果は・・・ Elixir.CsvOperation, flowCount, ["/workspace/data/fukuoka.csv"] 21298 {1741931, :ok} time: 1.741931 second ---------- →約1.7秒(爆速)