Uzun zaman önce çok sevdiğim bir yöneticim artık seni “Veri Kalitesi” konusunda yetiştirmek istiyoruz dediğinde, “çok mutlu olurum” demiştim. Ama sonra aklıma çok güzel bir soru takılmıştı: “Veri Kalitesi ne ola ki”.
Geçen zaman içerisinde gördüm ki, çok büyük kurumsal firmalarda bile bu konunun önemi henüz tam bir olgunluğa ulaşmamış ve üzerinde bu kadar çok problem yaşanmasına rağmen farkındalık daha yeni yeni oluşmaya başlamıştı. Neyse ki bu durum beni biraz rahatlamıştı.
Ve yıllar önce sorduğum bu sorunun cevabını veri kalitesi konusunda yapmış olduğum bir çok proje ve edindiğim deneyimler sonrası bu yazımla vermeye çalışacağım.
Peki Nedir Veri Kalitesi?
Bu soruya bazı kelimelerin altını çizerek ve sonrada bu konuları detaylandıracak şekilde cevap verecek şekilde yanıtlarsam;
Veri Kalitesi, “İlgili birim veya departmanların, iş ihtiyaçları doğrultusunda, kurum içerisinde bulunan veriler üzerinde yapılan analizler ve bu analizler sonrası tanımlanan farklı metrik ve boyutlar yardımıyla gerçekleştirilen süreçler bütünü” olarak adlandırabiliriz.
Biliyorum biraz karmaşık bir tanım oldu ama belirttiğim üzere biraz daha detaylandıracak olursak;
İş ihtiyaçları: Özellikle veri kalitesi konularında ilgili kararların alınması ve yönetimi BT’nin sorumluluğu olarak bilinmektedir. Oysa ki kurum içerisinde veri hakkında alınması gereken bu tür kararlar iş birimlerinin, tüm sürecin doğru yürütülmesi BT’nin sorumluluğunda olmalıdır. Ve bu noktada, ilgili iş birimlerinin ihtiyaçlarını anlamak çok büyük öneme sahiptir.
Analiz: Veri kalitesi konusunda belki de en önemli kısmı, yukarıda belirtmiş olduğum üzere, iş ihtiyaçlarının doğru ve net bir şekilde anlaşıldıktan sonra, veriler üzerinde gerçekleştirilmesi gereken analiz çalışmalarıdır. Bu noktada, veriler üzerinde bir çok farklı analizler (frekans, desen, istatistiksel, ad-hoc analizler v.b.) yardımıyla veri üzerindeki problemlerin tespiti yapılmaktadır.
Metrik ve Boyutlar: Gerçekleştirilen analizler farklı metrikler yardımıyla verinin boyutluca incelenmesini sağlamaktadır.
Süreçler: Verinin kalitesini artırmaya yönelik yapılan her türlü işlemi bu tanıma dahil edebiliriz. Örneğin analiz aşamasında bahsettiğim profillendirmeden tutunda veri üzerindeki gerçekleştirilen standartlaştırma, ayrıştırma, temizleme veya zenginleştirme gibi aşamalar bu sürecin kendisini oluşturur.
Yukarıda yapmış olduğum tanım doğrultusunda birkaç şeyi tekrar vurgulamak ve temel bir takım bilgileri vermek adına aşağıdaki maddeleri de ekleyebiliriz:
- Veri Kalitesi her kurumun PROBLEMİDİR
- Veri Kalitesi sadece bir ÜRÜN veya bir projeden ibaret değildir aynı zamanda bir SÜREÇTİR
- Veri Kalitesinde nihai karar İş Birimlerine aittir
- Veri Kalitesi sağlıklı bir Veri Entegrasyon altyapısı ile anlam ifade eder
Veri Kalitesinin Etkileri
Peki kurumlar açısından bakıldığında veri kalitesinin etkileri nedir diye bakacak olursak;
Veri Kalitesi Metodolojisi
Ve yazının son başlığı olarak da veri kalitesinde uygulanan ve izlenen proje adımlarından bahsedecek olursak:
Yukarıdaki şekilde görüleceği üzere veri kalitesi projeleri bir kaç önemli adımdan oluşmaktadır. Bu her bir başlığı kısaca özetlersem:
- İş İhtiyaçları: Yazımın başında bahsettiğim üzere kurum içerisinde ilgili birim veya departmanların, veri kalitesi konusunda yaşanılan sıkıntıların anlaşılması ve hedeflenen projenin amaç ve kapsamının net bir şekilde anlaşılması önem arz etmektedir.
- Veri Keşfi ve Analizi: Veri üzerinde gerçekleştirilen analizler doğrultusunda veri kalitesi problemlerinin tespitinin gerçekleştirilmesi.
- Metrik Tanımlama : Niha-i olarak varmak istenen hedeflerin belirlenmesi ve bu doğrultuda bahsetmiş olduğum metriklerin tanımlanması.
- Kalite Kuralları : Veri kalitesi tanımında bahsetmiş olduğum üzere veri kalitesi süreçlerinin geliştirilmesi.
- İstisna-i Durumlar : Yapılan çalışmalar ve sonraki süreçlerde meydana gelecek olan istisna-i durumların yönetilmesi.
- İzleme ve Raporlama : Yapılan tüm çalışmaların kontrol edilmesi adına ilgili raporlar üzerinden süreçlerin takibi.
Yukarıda bahsettiğim tüm bu adımlar bir kereye mahsus olmayıp devam eden bir süreç olup, sürekli takibi ve yönetimi büyük öneme sahiptir.
Yazımı burada sonlandırarak bir sonraki yazımda buluşmak üzere.
Saygılarımla,
Evrim AY
