Ccmmutty logo
Commutty IT
0 pv1 min read

ログの加工

https://cdn.magicode.io/media/notebox/f8e3441b-9e88-4027-96cf-f382e6bababa.jpeg
同じ種類のログ(Webサーバのアクセスログ、APサーバのアクセスログ等)を まとめて加工するなんてことはよくあることです。
そんな時に使うコマンドのご紹介です。 ※以下を駆使した後必ず確認は必要ですからね!! しないとまた1からです!!

結合

cat

cat fileA fileB >> fileC
いわずもがな、複数のファイルを結合するときに使います。 結合する前には、どのファイルから出力されたのかがわかる目印を先頭を置換してつけてから結合するといいですね。

抽出

grep

grep <keyword> ./file* > ./keyword_file
grep -v <keyword> ./file* > ./non_keyword_file
必要なログ文字列だけ引っこ抜くときに使います。 複数ファイルのgrepの結果は先頭にファイル名が出てくるので、後で置換してしまえばどのファイルから出力されたかがわかりやすくできます。

分割

cut

cut -f 1-5 -d, fileA > fileB
区切り文字の種類は多く使えないものの、お手軽に必要な項目を出すには重宝します。

置換

sed

sed -e 's/AAAAA/ o /g fileA > fileB
あまり使われないようですが、よく使っています。viなんかでも使えるので、慣れてしまっているのもあります。 社会人2年目の頃に「viで使っている子初めて見た」というようなコメントもらったこともあります。。

Discussion

コメントにはログインが必要です。