Damalink olarak yayınladığımız diğer makalelerde veri yönetişiminin temellerinden ve veri yönetişinde yaklaşımından detaylı olarak bahsetmiştik. Bu yazımızda ise Informatica Intelligent Cloud Platformu’nun veri yönetişimi konusunda sunmuş olduğu Cloud Data Governance and Catalog hakkında detaylı bilgi vermeye çalışacağım.
Cloud Data Governance and Catalog konusuna girmeden öncellikle bu servisin bulunduğu platformdan bahsetmek isterim. Servisimiz Informatica Intelligence Cloud Services (IICS) adında bir Cloud platformu içerisinde yer almaktadır. Bu platformda CDGC haricinde Cloud Data Integration, Cloud Data Quality ve Data Profiling gibi birçok farklı işleve hizmet eden servisler bulunmaktadır. IICS bu servisler aracılıyla veri yönetişimi problemlerine uçtan uca bir çözüm sunmayı hedeflemektedir. Veriyle ilgili sorunlara çözümler üreten ve verinin sistem veya kurum içerisindeki sürecini ve yönetişimi kolaylaştıran bu sistemler IICS platformu içerinde birbirleriyle entegre çalışmaktadır.
Bu platformların entegrasyon ve işlevlerinde kısaca bahsetmek gerekirse;
- ETL süreçlerinin yönetildiği, Orchestration yapılarının kurgulandığı, sistem içinde veya dışına veri entegrasyonu veri entegrasyonunu sağlamak için mapping ve mappletlerin geliştirildiği Cloud Data Integration servisi.
- Profillendirme için, kaynağımız içerisinde bulunan alanların pattern, frekans, doluluk, tekillik gibi analizleri çıkartabileceğimiz. CDI servisinde geliştirdiğimiz mappletler ile hazırladığımız veri kalitesi şablonlarıyla da Profiling sürecini detaylandırıp zenginleştirebileceğimiz Profiling servisi.
- Profillendirme sonrası bizim tespit ettiğimiz veya Informatica CLAIRE adlı yapay zekasının tespit ettiği veri kalitesi çözümleri için Cloud Data Quality servisi içerisinde; Cleanse, Parser, Labeler, Dictionary, Verifier, Deduplicate gibi assetler geliştirebiliriz ve bu geliştirdiğimiz assetlerle kaynak sistemlerimize Standartlaştırma, Tekilleştirme, Zenginleştirme gibi işlemleri uygulayabiliriz. Bu assetler, servislerimiz arasında da kullanılabilmektedir. Geliştirilen assetler CDI servisinde mapping ve mappletler içerisinde kullanılabilir veya direkt olarak Profillendirme sırasında sürece dahil edilebilirler. Başta bahsettiğim veri kalitesi şablonları da CDI ve CDQ servislerinin ortak çalışması/entegrasyonu sayesinde geliştirilmektedir. Buna ek olarak geliştirilen kurallar Profillendirme sürecinde önceden tanımlandıkları veri kalitesi metrikleri için skorkartların oluşturulmasında kullanılabilirler ve sonuçları da Cloud Data Governance and Catalog ekranlarında görüntülenebilir.
Kısaca servisler arasındaki görev dağılımından ve entegrasyonundan bahsetmeye çalıştım. Sizlerin de anlayabileceği üzere uçtan uca bir veri yönetişimi için servisler birbirleriyle entegre çalışmaktadırlar. Cloud Data Governance and Catalog tarafına geri dönecek olursak bu servisimizin işlevinin sadece skorkart oluşturmak olmadığını daha iyi anlayacağız.
Cloud Data Governance and Catalog, veri yönetişimi projelerinde kullanılan diğer teknolojilerin üzerinde konumlanır. Ana odak noktası kurum içerisinde bulunan iş sözlüğü, metadata, süreç ve politikaların kurum genelinde yaygınlaştırmak ve iş birimlerinin veri yönetişimi süreçlerine hâkim olmasını ve böylelikle kurum içerisinde veri yönetişiminin uygulanması açısından katkı sağlamaktır. Verinin anlamlandırılması ve veri sahipliğinin yönetimi sayesinde kurum içerisindeki verinin yönetimine katkı sağlar. Bu sayede veri yönetişimi projelerinde BT ve İş birimi arasındaki iş birliğinin en üst düzeyde olmasını sağlamayı amaçlamaktadır.
Veri Yönetişimi Modülleri (Assets)
Arama Özellikleri (Search Capabilities)
Tanımlanmış olan modüllere erişebileceğimiz Browse ekranı her ne kadar bize basit ve detaylı sonuçlar sunuyor olsa da tanımlanan/oluşturulan modül/asset sayısı artıkça istediğimiz sonuca ulaşmak zorlaşacaktır. Bu nedenle Artan kayıt sayısı göze alındığında veya özelleştirilmiş dinamik bir arama yapmak istiyorsak Cloud Data Governance and Catolog’un arama özelliklerinden faydalanabilirsiniz.
Arama yapmak için yazmaya başladığınız anda sistem içerisinde aramanızla alakalı sonuçlar listelenir.
Listelenen sonuçlar arasında sistemin size yönlendirdiği bazı tavsiyeler de bulunabilir. Aşağıda da gördünüz gibi listelenen sonuçlardan birini tıklayarak aramanızı gerçekleştirebilir veya Query yazar gibi aramanızı değiştirerek istediğiniz sonuçları listeleyebilirsiniz.
Raporlama
Cloud Data Governance and Catalog, raporlama için özelleştirilebilir ekranlara sahiptir. Bu ekranlarda iş birimleri, sorumlu oldukları alanlar için hazır şablonlar/widgetlar kullanarak kişileştirilmiş raporlar/alanlar hazırlayabilirler.
İş Sözlükleri (Glossary)
Veri yönetişiminin temellerinden biri olan kurum içerisindeki metadataya anlam katmamızı sağlayan iş sözlüklerini, Glossary adı altında Cloud Data Governace and Catalog sistemimizde tanımlayabiliriz.
- Hiyerarşik bir yapı oluşturabiliriz (Domain -> Subdomain -> Business Term)
- Diğer assetlerimiz/modüllerimiz ile ilişkilendirme yapabiliriz
- Sorumlu kişi ataması, rol bazlı bir yönetim sağlayabiliriz (Stakeholder)
- İş terimine uygulanmış olan veri kalitesi kurallarının raporlanmasını ve takibini yapabiliriz
- İş terimi tanımladıktan sonra değişiklik talebinde bulunabilir ve bu talebi bir workflow senaryosunda gerçekleştirebiliriz.
- Tarihçe (History) alanında is sözlüğü özelinde yapılan değişiklikleri görebiliriz.
Politikalar (Policy)
Policy modülü altında, veri yönetişimi için önemli olan politikalarımızı tanımlayabiliriz.
Bu modül içerisinde, organizasyon prensipleri, regülasyon gereksinimleri, maskeleme veya keşif kuralları, kurum standartları ve verinin işlenme amacı gibi politikalarımızın tanımlanmasını ve yönetilmesini sağlamayı amaçlıyoruz. İş Sözlüklerinde (Glossary) olduğu gibi politikalarımızı da hiyerarşik bir yapı altında tanımlayabilir ve bu politikalarla ilişkilendirilmiş olan iş terimlerinin veri kalitesi raporlarının takibini yapabilmekteyiz.
Süreçler (Process)
Cloud Data Governance and Catalog içerisinde, her bir süreç ve sürecin her bir alt basamağı dökümante edilir. Tanımlanan Süreçlere sistem, iş sözlükleri, politikalar, veri kalitesi kuralları ve roller ilişkilendirilir ve bütünsel bir görünüm sağlanır. Bu sayede sistemlerin içerisinde ne gibi süreçlerin olduğu takip edilebilir.
Veri Kalitesi (Data Quality)
Cloud Data Governance and Catalog, veri kalitesi kurallarının modüllerle ilişkilendirilmesine/uygulanmasına olanak sağlar ve ilişkilendirilen modüller özelinde uygulanan veri kalitesi kurallarının raporlanması ve takibi yapılabilir. Örneğin; iş terimi bazında veri kalitesi, veya politika bazında veri kalitesi gibi sonuçlar hazır raporlar sayesinde kolaylıkla görüntülenebilir.
Etki Analizi (Data Lineage)
Cloud Data Governance and Catalog, kaynak taraması yapılan sitemlerin etki analizi çıkarabilir ve bunu veri varlıkları (Tablolar, Raporlar vb.) özelinde bu veri varlıklarının kurum içindeki akışını, ilişkilerini ve sistemler bazında soyağacını (Lineage) çıkarabilir, ayrıca Veri kaynakları ile ilişkilendirilmiş olan diğer modüller/assetler ve veri kalitesi metrik skorlarının sonuçlarının takibi bu şemalar üzerinde yapılabilir.
Değişiklik Yönetimi
Cloud Data Governance and Catalog, değişiklik yönetimi mekanizması (Tickets) ile değişikliklerin izlenmesini ve kontrol edilmesini sağlar. Değişiklik talepleri iş birimlerini de sürece dahil edilerek bir iş akışı(workflow) üzerinden gerçekleştirilir. İş birimleri değişiklik talebi doğrultusunda bir uyarı mesajı alırlar ve rollerinin gerektirdiği işlemi gerçekleştirerek iş akışının tanımlanmasını sağlarlar.
Özet
Özetleyecek olursak, Cloud Data Governance and Catalog veri çözümü olarak; kurumunuzun, İş Terimlerini, Politika/Standartlarını, Süreçlerini, Veri Kalitesi sonuçlarını, kurumdaki kaynakların iş etki analizini v.b. gibi detaylarının kayıt altına alınmasını ve ilişkilendirilmesi sağlar. Bu sayede, BT-İş Birimi arasındaki iş birliğinin sağlanmasını ve kurum içerisindeki verinin bütünsel görünümünü elde etmeniz için sizlere uçtan uca bir veri yönetişimi çözümü sunar.
Enes Gülce
Presales Solution Engineer
