Let's split text by awk command
•
0 j'aime•233 vues
社内でやったLT大会の資料です。 awkってコマンドが便利なので、エンジニアじゃなくても使っていきませう、という話をしました。 あとは単純に私がawk好きだからです。
Recommandé
Contenu connexe
Tendances
Plus de Yukiya Hayashi
Plus de Yukiya Hayashi (20)
Let's split text by awk command
- 1. テキストを切り刻め！！！ awkコマンドを紹介します オイシックス・ラ・大地（株）@morihaya55 Photo by Alexandr Podvalny on Unsplash: https://unsplash.com/photos/WOxddhzhC1w オイラ大地 社内LT大会 2019-08-20
- 2. take-home message ● awkを使うとテキストを自在に刻める ● awkはWindowsでも使える ● awkは軽量で大容量のテキスト処理も簡単
- 3. 本日の流れ ● What is awk ? ● 実例awk ○ 横に刻む（選択） ○ 縦に刻む（射影） ● Why do you use awk ? ● まとめ
- 4. What is awk ? AWK（オーク）は、プログラミング言語の一つ。 テキス トファイル、特に空白類（スペースの他、タブなど）やカ ンマなどで区切られたデータファイルの処理を念頭に 置いた仕様となっているが、 一般的なプログラミング に用いることも可能である。 UNIX上で開発された。 https://ja.wikipedia.org/wiki/AWK
- 7. 実例awk - 横に刻む 番号 氏名 所属 0001 オイラ太郎 大崎 0002 ORD二郎 大崎 0003 ORD三郎 海老名 0004 JohnSmith ボストン こんなテキストファイルがあるとして (data.txt)
- 8. 実例awk - 横に刻む 番号 氏名 所属 0001 オイラ太郎 大崎 0002 ORD二郎 大崎 0003 ORD三郎 海老名 0004 JohnSmith ボストン “大崎” を含むレコードを選択したい場合
- 9. 実例awk - 横に刻む こんなコマンドを黒い画面で打ちます awk /大崎/'{print $0}' data.txt
- 10. 実例awk - 横に刻む 結果がこうなります bash-3.2$ awk /大崎/'{print $0}' data.txt 0001 オイラ太郎 大崎 0002 ORD二郎 大崎
- 11. 実例awk - 横に刻む こんなコマンドを黒い画面で打ちます awk /大崎/'{print $0}' data.txt “awk” はコマンドなので固定
- 12. 実例awk - 横に刻む こんなコマンドを黒い画面で打ちます awk /大崎/'{print $0}' data.txt “大崎” は横に選択したい文字列
- 13. 実例awk - 横に刻む こんなコマンドを黒い画面で打ちます awk /大崎/'{print $0}' data.txt “print $0” はプログラムを記載 縦に射影する時にも使う
- 14. 実例awk - 横に刻む こんなコマンドを黒い画面で打ちます awk /大崎/'{print $0}' data.txt “data.txt” は処理を行うファイル
- 15. 実例awk - 縦に刻む 番号 氏名 所属 0001 オイラ太郎 大崎 0002 ORD二郎 大崎 0003 ORD三郎 海老名 0004 JohnSmith ボストン “氏名” だけのデータが欲しい場合
- 16. 実例awk - 横に刻む こんなコマンドを黒い画面で打ちます awk '{print $2}' data.txt
- 17. 実例awk - 横に刻む 結果がこうなります bash-3.2$ awk '{print $2}' data.txt 氏名 オイラ太郎 ORD二郎 ORD三郎 JohnSmith
- 18. 実例awk - 縦に刻む 番号 氏名 所属 0001 オイラ太郎 大崎 0002 ORD二郎 大崎 0003 ORD三郎 海老名 0004 JohnSmith ボストン 空白区切りで連番になってる (区切り文字は指定可能) $2$1 $3
- 22. Why do we use awk ? ● どんなに超弩級の大容量なファイルでも ○ 処理できる(1行ずつ処理するから) ○ 極めて高速 ● プログラミングによる値変換&出力制御 ● 別ファイルへ簡単に出力ができる ● 他のコマンドとの組み合わせが可能
- 23. Why do we use awk ? 2,049,062行で339MBの”big.csv” Excelで開くと1分ほどかかるしなんか怪しい
- 24. Why do we use awk ? awkで”09:20:13”のログを出してみる time awk /09:20:13/'{print $0}' big.csv -> real 0m1.056s 約1秒
- 25. Windowsでのawk 以下のような手段でawkはWindowsで使えます ● gawkをインストールする ● WSLを利用する(Windows 10以降) 欲しい ● Cygwinを利用する
- 26. という訳で まとめ
- 27. take-home message ● awkを使うとテキストを自在に刻める ● awkはWindowsでも使える ● awkは軽量で大容量のテキスト処理も簡単 使ってみたくなったらお声がけください！ ご静聴感謝！！ m( _ _ )m