Telemetri dünyasında veri her zaman göründüğü kadar temiz değildir. Bir elektrikli otobüsün batarya voltajındaki anlık sıçrama gerçekten bir arıza belirtisi mi, yoksa sensör gürültüsü mü? Ya da hızın bir anda sıfıra düşmesi bir kaza mı, yoksa tünelde kaybolan GPS sinyali mi?
Ulaşım platformlarında anomali tespiti sadece hataları bulmak değil, sistemin güvenilirliğini korumaktır. Bu yazıda, en temel ama en güçlü istatistiksel araçlardan biri olan Z-Skoru modelini ulaşım zaman serilerine uyarlarken edindiğimiz tecrübeleri paylaşıyoruz.
1. Verideki "Yabancı": Anomali Nedir?
Ulaşım verileri doğası gereği zaman serisidir. Ancak durağan değildir; trafik yoğunluğu, hava durumu ve sürücü davranışı gibi etkenlerden sürekli etkilenir.
Anomaliyi, verinin geri kalanından belirgin ölçüde ayrışan ve farklı bir mekanizma tarafından üretilmiş olabileceğinden şüphe edilen gözlem olarak tanımlayabiliriz.
Ulaşım tarafında genelde üç tip anomaliyle karşılaşırız:
- Noktasal anomaliler: Sensörün anlık hatalı değer üretmesi (spike).
- Bağlamsal anomaliler: Gece normal olan bir davranışın gündüz anomaliye dönüşmesi.
- Kolektif anomaliler: Bir veri grubunun mantıksal bütünlüğünü kaybetmesi.
2. İstatistiğin Gücü: Z-Skor Modeli
Anomaliyi tespit edebilmek için önce normalin ne olduğunu tanımlamak gerekir. Z-Skoru, bir veri noktasının ortalamadan kaç standart sapma uzaklıkta olduğunu ölçer.
Burada x gözlemlenen değer, mu ortalama, sigma ise standart sapmadır. Genel kabul olarak z değeri +3 veya -3 sınırını aşıyorsa ilgili nokta anomali adayıdır.
3. Ulaşım Verilerinde Z-Skor Tuzakları
Mevsimsellik ve Dinamik Yapı
Ulaşım verilerinde sabit bir ortalamadan söz etmek çoğu zaman mümkün değildir. Sabah saatlerindeki motor sıcaklığı ile akşam saatlerindeki davranış farklıdır. Sabit ortalama kullanımı sahte alarm üretir.
Uç Değerlerin Ortalamayı Bozması
Veri setinde çok büyük hatalar varsa standart sapma şişer. Bu da gerçek anomalilerin görünmez hale gelmesine, yani maskeleme etkisine neden olur.
4. Çözüm: Hareketli Pencereler ve Modifiye Z-Skoru
M4 Core tarafında bu sorunu aşmak için rolling window ve MAD yaklaşımlarını birlikte kullanıyoruz.
Hareketli Z-Skoru
Sabit ortalama yerine son birkaç dakikalık pencere ortalaması kullanılır. Böylece model aracın o anki bağlamına uyum sağlar.
Daha Dayanıklı Yaklaşım: MAD
Ortalama ve standart sapma aykırı değerlere duyarlıdır. Medyan tabanlı modifiye Z-Skoru kirli veride daha dayanıklı sonuç verir.
5. Uygulama Senaryosu: Fren Balata Sıcaklığı
Bir filoda fren balata sıcaklıklarını takip ettiğimizi düşünelim. Sistem her araç için son 1 saatlik medyan değeri hesaplar. Sıcaklık, grup medyanından 3.5 MAD üzeri saparsa alarm üretir.
Böylece yalnızca "sıcaklık arttı" demeyiz; "bu artış sürüş karakteristiğine göre istatistiksel olarak olağandışı" diyebiliriz.
6. Mühendislik Çıkarımları ve Öğrenilenler
- Veri ön işleme şarttır: Eksik veriler temizlenmeden model sağlıklı çalışmaz.
- Eşik değerleri esnek olmalıdır: Her sensör aynı hassasiyetle izlenmemelidir.
- Edge ve bulut dengesi kurulmalıdır: İlk katman tespit edge'de, bağlamsal analiz bulutta yapılmalıdır.
Sonuç
İstatistiksel yöntemler, karmaşık yapay zeka modellerine geçmeden önce kurulması gereken en güçlü savunma hattıdır. Z-Skoru ve MAD, ulaşım verilerindeki gürültüyü azaltıp operasyonel güvenliği artırmak için oldukça verimli araçlardır.
Bir sonraki yazıda, bu anomali sinyallerinin makine öğrenmesi modellerine nasıl beslendiğini ele alacağız.
Bu yaklaşımın projenize entegrasyonu hakkında aklınıza takılan bir nokta varsa, özellikle sahte pozitifleri azaltma yöntemleri üzerinden birlikte değerlendirebiliriz.