Veri Dünyasının Geleceği : Büyük Veri (Big Data)

Büyük veri; sosyal medya paylaşımları, ağ günlükleri ,bloglar, fotoğraf, video, log dosyaları vb. gibi değişik kaynaklardan toparlanan tüm verinin, anlamlı ve işlenebilir biçime dönüştürülmüş biçimine denir. Özetlemek gerekirse herhangi İlişkisel veritabanları ile yönetilemeyecek büyüklükte olup  büyümeye devamlı devam eden verilerdir. İlişkisel veritabanları yapılandırılmış verilerle ilgilendiğindiği için günümüzdeki kısıtlı veriyi işleyebilir. Ancak buz dağının görünmeyen yüzü olan yapılandırılmamış data ise big data’nın alanına girer.  İlişkisel veritabanları terabyte seviyesinde veri tutabilirken, büyük data ile petabyte seviyelerinde veriler saklayabiliriz.  Büyük veri veriyi bir defa yazıp sonrasında defalarca ve paralel şekilde okuyup işleyebilir. Dünya çapında yıllık veri hacmindeki büyüme %59 ve büyümenin artarak devam etmesi bekleniyor. Bu büyümenin merkezinde hem geleneksel hem de yeni veri kaynakları yatıyor. IDC önümüzdeki on sene içinde de şu anki verinin 44 katına çıkacağını tahmin ediyor. Twitterda her gün 7 TB, Facebook ise 10 TB’dan fazla data saklıyor.  Ve bu datanın büyük bir kısmı yapısal olmayan veriden oluşuyor. Big data bu datanın çöplük olmasını engeller. İlişkisle veri tabanlarında yapısal olmayan data işlenemediği için faydalı olamıyordu. Ancak yapısal olmayan datanın sürekli artışı bu tablonun değerlendirilmesini zorunlu hale getirdi.  Çöplük kelimesinden çağrışımla bir nevi çöplükten enerji elde edilmeye başlandı. Ve bu enerji çok kıymetli.

Big data bu yapısal olmayan veri ile yapısal verinin işlenmesiyle çok değerli bir hal almasını sağlıyor. Buradan bu verinin neden bu kadar değerli olduğuna –CRM deki kullanımına-   geçmek istiyorum.   Bu veriler işlenip analiz edilerek geleceğe dair stratejiler, yapılacak kampanyalardan çıkarılacak ürünlere kadar bir çok konuda kullanılıyor. Eskiden ürün çıkartılır ve bu müşteriye sunulurdu. Ancak artık e-ticaret sitelerindeki alışverişler sosyal medyadaki paylaşımlar ile artık müşterinin taleplerine göre ürün çıkartılıyor.  Hükümetler bu işlenmiş verilere göre yönetim stratejilerine yön veriyor. Büyük veriye en çok önem veren ülkeler: ABD, Hindistan ve Birleşik Krallık

Big Data’yı üç formda sınıflandırabiliriz. Yapılandırılmış(Structured), Yarı Yapılandırılmış (Semi Structureed) ve Yapılandırılmamış(Un-structured)

Yapılandırılmış (Structured)  : Belli bir yapıda(formatta) depolanabilen, işlenebilirliği ve erişilebilirliği olan veridir.  İlişkisel veri tabanlarındaki datalar buna örnektir. Belirli yapıdaki veriler tablolar aracılığıyla ilişkilendirilerek sistemli bir şekilde işlenir.

Yarı Yapılandırılmış (Semi- Structured) : Tablolar ile kesin bir sistemle düzenlenmemiş verilerdir. Veriler arasında bir ilişkilendirme yapısı yoktur. XML dataları buna örnektir. Özellikle internet kullanımının da artmasıyla 2000’lerden sonra yapılandırılmamış veriler log ya da history tablolarıyla yapılandırılmış dataya çevriliyor.

Yapılandırılmamış(Un-Structured) :  Bilinmeyen bir formda –standart olmayan- yazılmış verilerdir. Standart olmamamasının bir sebebi de bu dataların büyük hacimli ve karmaşık olması.  Dosyalar, videolar, resimler, metin dosyaları gibi farklı yapıları içinde barındırır. Bunun en bilinen örneği google’dır.

Big Data Nitelikleri (5 V)

  • Hacim (Volume): Big data ‘ya adını veren big (büyük) sıfatı çok büyük boyutları barındırabilmesidir. Big dataya olan ihtiyaç datanın hacmi ile doğru orantılıdır. Bir işte big dataya gereksinim olup olmadığı o projedeki data hacmine bağlıdır.
  • Çeşitlilik (Variety): Hacimden sonra big datayı öne çıkaran bir başka niteliği ise farklı türde heterojen datayı birlikte işleyebilmesi. Eskiden veri tabanları benzer kaynaklardan beslendiği için çeşitlilik büyük bir sorun değildi. Ancak gün geçtikçe veri tipi daha çok çeşitleniyor. Email, ses, resim,fotoğraf ve akıllı sistemler ile sağlanan çeşitli yapılardaki dataları işleyebilir.
  • Hız (Velocity) : Veriyi tanımlama, bağımlılıklarına göre hızlıca genelleştirip kullanılabilir potensiyel bir data haline gelir.
  • Değişkenlik (Variability) : Bu sayede tutarsız verileri etkili yönetebilir.  Farklı sistemlerin farklı yerlerdeki datalarını kombine eder. Bir çok kaynaktan gelen veriler birbirinden farklı türlerde olacağı karmaşık bir veri büyüklüğüne sebep olur. Big data bu karmaşık  verinin yönetimini hızlı bir şekilde sağlar.
  • Değer (Value ): Verilerimiz yukarıdaki veri bileşenlerinden filtrelendikten sonra büyük verinin üretimi ve işlenmesi katmanlarında elde edilen verilerin geleceğe yönelik stratejilerde belirleyici oluyor.

Big Data Avantajları

Büyük verinin avantajlarını dört başlıkta toplayabiliriz : Doğruluk, zaman yönetimi , müşteri talep yönetimi, gerçek zamanlı etkileşim.

 

Daha önce konuyla ilgili olarak blogtaki bir yazım : Big Data

Leave a Reply