Log Yönetiminde Gerçek Veriler ve Tutarlı Analiz

1. Log Yönetiminde Gerçek Veriler ve Tutarlı Analiz
Dr. ERTUĞRUL AKBAŞ
eakbas@gmail.com
Log Yönetiminin önemi her geçen gün arttığı gibi yasalar ve çeşitli yönetmelikler de bu konunun öneminin artmasına vesile olmakta. Bu sebeple
çeşitli teknik kapasitede; açık kaynak kodlu ve ticari pek çok yazılım ortaya çıkmakta. Kullanıcılar
 Verinin çokluğu
 Konunun çok teknik olması
 Değerlendirme sürecinin uzun ve hassas
gibi sebeplerden ürün değerlendirmede verilerin gerçekliği ve tutarlılığı konusunu değerlendirmede zorluk çekmekte.
Sistemin ürettiği verinin Log Yönetim yazılımı tarafından karşılanamaması, parsing kabiliyetinin yeteri kadar çeşitliliği karşılayalamaması ve
Sistemin ürettiği verinin yeterli parse mekanizması olmadığından dolayı sistemin içine dahil edilememesi yada eksik dahil edilmesi. Bunun için
built-in parse mekanizmasının, sistemde alınması planlanan log kaynaklarını karşılayacak kadar geniş olması yada yetmediği durumlarda esnek
bir parse mekanizmasının programlamasının mümkün olması gerekmekte.
Log yönetimi genel anlayışın tersine sadece gelen logların tamamını parçalayıp sonra da kolay arama yapabilmek için tasarlanmış bir
veritabanına kaydetmekten ibaret bir işlem değildir.
Loglar analiz edilirken önemli aşamalardan birisi de log üretilme senaryolarının bilinip takip edilerek logların analizi ve sonrasında da hem trafik
analizi hem de sayma yaparken oluşan verilerin doğru ve tutuarlı olması sağlanır.
Ne demek istendiğini bir örnek ile açıklayalım. Aşağıdaki log gelince sistemin bunu hemen bir WEB erişimi olarak kaydetmek yerine bu logu
takip etmeye (trace) başlamalıdır.
(1)
date=DATE time=TIME devname=FG100D devid= FGAAAA logid=0315013317 type=utm subtype=webfilter eventtype=urlfilter level=notice vd="root" policyid=8 identidx=2
sessionid=8774510 user="ERT" srcname="PCNAME" osname="Windows" srcip=SRC srcport=SRC_PORT srcintf="internal" dstip=DST dstport=80 dstintf="wan2" service="http"
hostname="xxx.yyy.com" profile="default" status="passthrough" reqtype="direct" url="/shopping " sentbyte=SENT rcvdbyte=RCVD msg="URL has been visited" method=domain
class=0 cat=0 catdesc="FortiGuard unrated"

2. Ne zaman ki aşagıdaki formatta log gelirse
(2)
date=DATE time=TIME devname=FG100D devid=FGAAAA logid=0315013317 type= traffic subtype= forward eventtype=urlfilter level=notice vd="root" policyid=8 identidx=2
sessionid=8774510 user="ERT" srcname="PCNAME" osname="Windows" srcip=SRC srcport=SRC_PORT srcintf="internal" dstip=DST dstport=80 dstintf="wan2" service="http"
hostname="xxx.yyy.com" profile="default" status="passthrough" reqtype="direct" url="/shopping " sentbyte=SENT rcvdbyte=RCVD msg="URL has been visited" method=domain
class=0 cat=0 catdesc="FortiGuard unrated"
tek bir kayır olarak Web işlemi yapıldı yazılmalı ve hem count hem de trafik hesaplamalarında tek kayıt kullanılmalıdır.
UTM cihazının üzerinde aktive edilen servislere göre logun trace edilip olması gereken sıra ve tipte log oluşunca sisteme kaydı yapılıp gerekli analizlere
sokular.
Benzer şekilde sistemin sağlıklı veriler üretebilmesi için bilmesi gereken yüzlerce benzer senaryo mevcuttur. Yukarıda 1 numaralı formattaki logu pek çok log
yönetimi yazılımına gönderdiğimizde bu logun
 En çok gezilen siteler
 En çok gezen kullanıcılar
 En çok gezen IP ler
gibi pek çok raporda veri olarak işlendiğini görürsünüz.