desteklerini eksik etmeyen ve ayrıca yazacağım bu yeni yazı için bana cesaret veren herkese çok teşekkür ederim. Umarım bu yazı dizilerinin devamını bir şekilde getirebilir ve bu konuda kendimi daha çok geliştirebilirim. Öncelikle yazı biraz uzun ve teknik oldu, umarım bu sebeple çok sıkılmazsınız. Ben uyarımı yapmış olayım.
Bir önceki yazımda hatırlayacağınız gibi ana veri yönetimi hakkında temel kavramlardan bahsetmiştim:
- Ana Veri (Master Data)
- Temel Domainler
- Ana Verinin Temel Özellikleri
- Ana Veri Yönetimi (Master Data Management)
- Ana Veri Yönetiminin Temel Özellikleri
- Kurumlara Sağladığı Faydalar
Bu yazımda ise “Ana Veri Yönetimi” nin kurumlardaki yaygın kullanım yöntemlerinden ve buna bağlı olarak deployment yöntemleri ve uygulanan metodoloji adımlarından ve daha bir çok farklı alt başlıklara değiniyor olacağım. Hadi başlayalım.
Yaygın Kullanım Yöntemleri
Kurumlar açısından ana veri yönetiminin yaygın kullanım yöntemlerine baktığımız zaman karşımıza 3 tip kullanım şekli çıkmaktadır. Aslında bu yaygın kullanım şekilleri ana verinin doğrudan nasıl tüketildiği ile ilgilidir.
- Ortaklaşa (Collaborative) MDM
Bu kullanım yönteminde, MDM sistemi, kurum içerisinde aynı veya farklı departmanlar da bulunan aynı veya farklı rol ve sorumluluklara sahip kişilerin, ana veri tanımı üzerinde ortak karar verebilmesini sağlamaktadır. Ve bu yönetim, çeşitli tasklar yardımıyla onay mekanizmaları üzerinden sağlanmaktadır.
Örneğin, yeni bir ürün tanımı yaratılacağı zaman gerek pazarlama gerekse finans departmanında bulunan kişilerin ilgili tanımları yapması sonucu ürün ana verisinin oluşturulması ve ilgili sistemlerin beslenmesini sağlamak.
- Operasyonel MDM
Operasyonel MDM yönteminde, MDM sistemi, operasyonel sistemlerin bir parçası olarak, ana verilerin operasyonel olarak yönetilmesini ayrıca uygulamalar ve kişilerle birlikte kurumsal iş süreçlerinin doğru bir şekilde yönetilmesine katkı sunmaktadır.
Örnek olarak müşteri açılışlarının direk olarak MDM sistemi üzerinde gerçekleştirilmesi verilebilir.
- Analitik MDM
Analitik MDM yönteminde ise, MDM sistemi, önemli bir bilgi kaynağı olarak veri ambarı (DWH) veya CRM gibi analitik sistemlerin beslenmesine katkıda bulunmaktadır.
Yukarıda değinmiş olduğum her üç kullanım yöntemi bir arada kullanılabileceği gibi birbirinden bağımsız şekilde de kullanılabilmektedir. Ve ayrıca her üç kullanım yöntemi bir önceki yazımda ana veriler için tanımlamış olduğumuz “Domainler” den (Party, Product, Account, Location) bağımsızdır.
- Deployment Yöntemleri
Ana veri yönetimi hakkında deployment yöntemlerine bakıldığında karşımıza 4 farklı yöntem çıkmakta:
1. Consolidation
Bu deployment yöntemi, kaynak sistem veya uygulamalarda bulunan ana verilerin yığın (batch) bir şekilde belirli peryotlarda MDM sistemine aktarılması ve veri kalitesi, eşleştirme ve tekilleştirme işlemleri (konsolidasyon) sonrası tekrardan veri ambarı gibi analitik sistemlerin beslenmesi üzerine kurgulanmış tek yönlü bir akıştır.
2. Federation(Registry)
Gerçek zamanlı (real time) bir entegrasyon olup, ana verilerin sadece hangi kaynak sistem veya uygulamalarda bulunduğu bilgisi tutulmaktadır. Herhangi bir konsolidasyon işlemi yapılmamaktadır. Çoğunlukla tek yönlü bir akıştır ama bazen çift yönlü bir akış olarakta yönetilmektedir.
3. Coexistence
Bu deployment yöntemi, uygulamalar arasındaki senkronizasyonun gerçekleştirilmesi üzerine kurgulanmıştır. Çift yönlü bir akış ile hem gerçek zamanlı (real time) hem de yığın (batch) bir entegrasyon sağlanabilmektedir.
4. Transactional (Centralized)
Bu deployment yöntemi, ana verilerin direk olarak MDM uygulaması üzerinde oluşturulması üzerinde kurgulanmıştır. Ör: Müşteri açılışlarının veya yeni ürün tanımlarının MDM üzerinde gerçekleştirilmesi gibi. Tek yönlü bir akış olup gerçek zamanlı bir entegrasyon yöntemidir.
Metodoloji Adımları
Ve son olarak yazımı bitirmeden önce, ana veri yönetimi (MDM) ile ilgili gerçekleştirilen projelerdeki önemli gördüğüm noktalardan ve adımlardan bahsedeceğim:
Öncelikle ana veri yönetimi ile ilgili projeler çok kapsamlı ve uzun süren projeler olduğundan dolayı bu tür projelerde:
- Projenin fazlandırılarak gerçekleştirilmesi
- Projenin amaç ve kapsamın net olarak ortaya konması
- İş ihtiyaçlarının kurum tarafından netleştirilmesi
- Hedeflerin doğru bir şekilde proje çıktılarıyla takvimlendirilmesi
- Tüm kurumu ilgilendirdiği için sadece teknik bir proje olarak görülmemesi ve bu doğrultuda diğer paydaşların da projeye dahil edilmesi gerekmektedir. (Ör: Proje Sponsoru, Projedeki Karar Vericiler, Veri Birimi, Veri Sahibi, İş Analistleri, Mimari Ekibi v.b.)
Yukarıda belirttiklerim önemli noktalar dışında projelerde aşağıdaki proje adımları izlenmektedir:
Erişim
- İş ihtiyaçları doğrultusunda bir çok farklı kaynak sistem veya uygulama üzerinde bulunan farklı formattaki ana verilere erişim
- Ana verilerin istenilen zaman aralıklarında kaynak sistemlerden üzerinden yığın (batch), gerçek zamanlı (real time) veya yarı-zamanlı (Change Data Capture) olarak beslenmesi
- Ana verilere erişimin 7/24 yüksek devamlılık (high availability) ile sağlanması
Keşif ve Analiz
- Veri kalitesi problemlerinin tespiti
- Veri profillendirme
- Tablolar arasında ilişkilerin belirlenmesi
- Hassas verilerin tespiti
- Veri modeli doğrultusunda kaynak ve hedef matrislerinin oluşturulması
Veri Modeli
- Yönetilmesi düşünülen domainlerin belirlenmesi
- Esnek ve genişletilebilir bir veri modelinin tasarlanması
- Veri modeli üzerinde metadata, etki analizi, tarihsel geçmiş ve denetleme altyapısının kurgulanması
Temizlik
- Ana veriler üzerinde veri kalitesi çalışmalarının gerçekleştirilmesi (Standartlaştırma, ayrıştırma veya zenginleştirme)
- İş birimleri ve BT birimleri için uygun izlenebilir bir alt yapının sağlanması
- Referans kütüphanesi hazırlanması ve yönetiminin sağlanması
Eşleştirme
- Eşleştirme de kullanılacak olan veri alanlarının belirlenmesi
- Gerçek zamanlı (real time) veya yığın (batch) olarak bulanık arama ve eşleme (Fuzzy Match) alt yapısı için kuralların belirlenmesi ve uygulanması
Ör: TC Kimlik Numarası aynı ve Ad & Soyad bilgisi benzerlik taşıyan müşterilerin tespitinin yapılması
Tekilleştirme
- Verinin güvenilirliği doğrultusunda kanal bazlı skorlamasının yapılması
- Her bir veri alanı üzerinde tekilleştirme kurallarının belirlenmesi ve uygulanması
İlişkilendirme
- Ana müşteri verisinin, firma, aile (household), ürün, referans data, lokasyon vb. bilgileriyle ilişkilendirilmesini ve yönetilmesini sağlamak
- 360 derece genişletilmiş müşteri görüntüsünü sağlamak
Yönetim
- Veri sahipliği doğrultusunda ilgili birimlerin sürece dahil edilmesini sağlamak
- Kullanıcı ekranları ve onay mekanizması alt yapısının oluşturulması
- İlgili arayüzler üzerinden kolaylıkla izlenebilirlik ve geçmişe yönelik sorgulama imkanı
Paylaşım
- Güvenlik hassasiyetleri doğrultusunda hedef sistemlere ana verilerin paylaştırılması
- Hedef sistemlerle yığın (batch) veya gerçek zamanlı (real time) entegrasyonun sağlanması
Bu yazımı da burada sonlandırarak bir sonraki yazı dizisinde buluşmak üzere diyelim. Konu olarak “Veri Kalitesi” hakkında detaylıca yazmayı düşünüyorum. Umarım faydalı bir çalışma olmuştur sizler için, görüşmek üzere.
Saygılarımla,
Evrim AY
