FGALTS  6
/RE:04778 RE:データの集計

　こんにちは、のとや さん

》　集計を行いたい環境について，OSやCPUクロック，メモリ量
》などを教えてください。

この集計作業を実行する環境として一番可能性が高いマシンは、以下のようなス
ペックです。

マシン１
ＣＰＵ：不明(x86 Family 6 Model 8 Stepping 6)
メモリ：256MB
ＨＤＤ：40GB
ＯＳ　：Win98SE

あと、以下のようなマシンでも実行するかもしれません。

マシン２
ＣＰＵ：Celeron 433MHz
メモリ：128MB
ＨＤＤ：6GB
ＯＳ　：Win98SE

》　また，実際に集計を行う頻度は，どの程度と推定されますか？

数ヶ月に１度、多くても１ヶ月に１回でしょうか。



とりあえず、マシン１に mawk32 を入れて、できるところまでやってみました。
まず、各時間毎の平均を求めてみました。

-------------------------------------------------------------<dayave.awk
BEGIN{
    FS=OFS=","
}

(FNR==1){
    printf("%s\r",FILENAME) > "/dev/stderr"
    print "装置番号","セクション番号","日時","最大値"
    for (i in snd){
        split(i,separate,SUBSEP)
        average=(snd[i]/cnt[i]>rcv[i]/cnt[i])?snd[i]/cnt[i]:rcv[i]/cnt[i]
        print separate[1],separate[2],separate[3],average
    }
    for (i in snd) delete snd[i]
    for (i in rcv) delete rcv[i]
    for (i in cnt) delete cnt[i]
    next
}

{
    snd[$1,$2,$3]=snd[$1,$2,$3]+$5
    rcv[$1,$2,$3]=rcv[$1,$2,$3]+$6
    cnt[$1,$2,$3]+=1
}

END{
    print "装置番号","セクション番号","日時","最大値"
    for (i in snd){
        split(i,separate,SUBSEP)
        average=(snd[i]/cnt[i]>rcv[i]/cnt[i])?snd[i]/cnt[i]:rcv[i]/cnt[i]
        print separate[1],separate[2],separate[3],average
    }
}
-------------------------------------------------------------<dayave.awk

このスクリプトを

mawk32 -f a:dayave.awk 2001*.csv > ave.csv

というようにして、時間毎・送受信毎の平均を求めました。
今回のテストで使用したデータだと、ave.csv は 40MB 弱になりましたが、これ
が１０分とかからず出力されたときには、awk の威力を見せ付けられた気がし
ました。

次に深夜帯の重複データを除外するために、

sortf -r -u ave.csv > ave2.csv

とやったところ、これも５分とかからずに処理が終わって、ざっと 2MB ほどデー
タ量が小さくなりました。

ところが、次の手順が結構大変でした。
日時毎に合計しようと、次のようなスクリプトを作ってみました。

----------------------------------------------------------------<sum.awk
BEGIN{
    FS=OFS=","
}

(FNR==1){
    next
}

{
    maxvalue[$1,$3]=maxvalue[$1,$3]+$4
}

END{
    print "装置番号","日時","最大値"
    for (i in maxvalue){
        split(i,separate,SUBSEP)
        print separate[1],separate[2],maxvalue[i]
    }
}
----------------------------------------------------------------<sum.awk

テストデータは１３０日分ぐらいだったのですが、配列maxvalueの添え字の量が

１３０日×２４時間×１２装置分=３７７４０

位になってしまうのが悪いのか、２時間たっても終わりませんでした。
もしかしたら、あと５分待てば終わったかもしれませんが、５０時間かかるかも
知れず、どの程度で終わるか見積もれなかったため、途中で止めてしまいました。

結局、MS-Access に読みこませて、クロス集計クエリーを使って集計させました。
このとき、一緒に装置番号毎の集計まで一括して行ってしまいました。どのくら
いの時間がかかったかは席をはずしていたのでわかりませんが、３０分後に戻っ
てきたときには終わっていました。もちろん、１分とかからずに終わっていた、
という可能性もあります。

この、Access の出力結果を sum.csv というファイルに出力しました。
以下のようなファイルになりました。

----------------------------------------------------------------<sum.csv
"日時","0","1","2","3","4","5","6","7","8","9","10","11"
2001/2/4 18:00:00,0.00,4.00,0.00,0.00,4.00,0.00,0.00,0.00,0.00,0.00,0.00,0.00
2001/2/4 19:00:00,0.00,7.00,0.00,0.00,6.00,0.00,2.00,0.00,2.00,0.00,0.00,0.00
（以下略）
----------------------------------------------------------------<sum.csv

最後に、以下のスクリプトで、１日の最大値を求めてみました。

----------------------------------------------------------------<max.csv
BEGIN{
    FS=OFS=","
}

(FNR==1){
    print
    next
}

{
    day=substr($1,1,index($1," "))
    d[day]=day
    if (sig[day,2]<=$2) sig[day,2]=$2
    if (sig[day,3]<=$3) sig[day,3]=$3
    if (sig[day,4]<=$4) sig[day,4]=$4
    if (sig[day,5]<=$5) sig[day,5]=$5
    if (sig[day,6]<=$6) sig[day,6]=$6
    if (sig[day,7]<=$7) sig[day,7]=$7
    if (sig[day,8]<=$8) sig[day,8]=$8
    if (sig[day,9]<=$9) sig[day,9]=$9
    if (sig[day,10]<=$10) sig[day,10]=$10
    if (sig[day,11]<=$11) sig[day,11]=$11
    if (sig[day,12]<=$12) sig[day,12]=$12
    if (sig[day,13]<=$13) sig[day,13]=$13
}

END{
    for (i in d){
        print d[i],sig[i,2],sig[i,3],sig[i,4],sig[i,5],sig[i,6],sig[i,7],
                sig[i,8],sig[i,9],sig[i,10],sig[i,11],sig[i,12],sig[i,13]
    }
}
----------------------------------------------------------------<max.csv

とりあえず、これで目的は達成できましたが、途中で Access が介在するのがど
うも気に入りません。

ということで、どうかお知恵をお借りできればと思います。
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　としき