big data

Posts Tagged ‘big data’

03
Feb
2016

Nesnelerin İnterneti -Internet Of Things (IoT)

Nesnelerin İnternet’I (Bilinen adıyla IoT – Internet of Things) birbirleri ile veya daha büyük sistemlerle iletişim halinde olan nesnelerin oluşturduğu ağdır. Amerikan Federal Ticaret Komisyonu Nesnelerin İnterneti için “ Günlük kullanımımızda olan nesnelerin İnternet’e bağlanıp veri gönderip alması kabiliyeti” şeklinde bir tanımlama yapmıştır. Nesne kavramı Nesnelerin İnternet’i açısından geniş kapsamlı bir ifadedir. Sensörler, izleme cihazları, tekil tanımlayıcılarla(unique identifier) veri transferi gerçekleştirebilen insan ve hayvanları da kapsar. IoT açısından nesne kavramı bu kadar geniş olduğu için kimileri Internet of Things ifadesini Türkçe’ye Şeylerin İnternet’i olarak çevirir. Şeylerin İnternet’i ifadesi net bir ifade gibi görünmediğinden Nesnelerin İnternet’i ifadesinin daha doğru olduğu düşüncesindeyim.

Nesneler üzerindeki sensörler aracılığıyla wireless teknolojileri, mikroelektromekanik sistemler ve internet aracılığıyla oluşan bilgi Nesnelerin İnternet’ini oluşturur. Nesnelerin İnternet’inde esas önemli kısım nesnelerdir. Önemli aşama etkileşim halinde olduğumuz nesnelerin sensörlerle akıllı (smart) hale getirilmesi sonucu birbirleri ile iletişimi, veri alışverişi ve bu işlemler sonucunda işlemler yapabilecek hale gelmesidir. Cihazlardan elde edilen veriler değerlendirilerek bilgi haline gelir ve bu bilgi işlenerek kullanılır. İlk zamanlarda Nesnelerin İnterneti M2M(Machine-to-Machine) haberleşme ile ifade edilmeye başlamıştır. M2M haberleşme ile birbiriyle veri alış-verişinde bulunabilen sistemlere akıllı sistemler denildi. Bu çerçevede akıllı ev, akıllı ofis, akıllı şehir gibi ifadeleri duymaya başladık. Akıllı sistemler konusu da bir yazıyı hakedecek kadar önemli bir konu. O da başka yazıya kalsın 🙂 Tekil tanımlayıcılarla (unique identifier) tanımlanmış nesneler İnternet aracılığıyla entegre bir şekilde beraber çalışır. Nesnelerin beraber çalışmasından doğan verilerin değerlendirilmesi sonucunda bir çözüm üretilir. Çözüm bulma hedefi Internet of Things kavramının tarihçesine baktığımızda ilk olarak bir kahve makinesinin kamera ile gözetlenmesi karşımıza çıkıyor. 1991 yılında Cambridge Üniversitesi’ndeki yaklaşık 15 akademisyenin kahve makinesini görebilmek için kurduğu sistem sayesinde kahve makinesinin görüntüsünü dakikada üç kez bilgisayar ekranlarına gönderiyordu. Bu şekilde gerektiğinde kahve makinesine müdahele ediliyordu. Bu sistem 2001 yılına kadar kullanılmıştır. Internet of Things ifadesinin ilk kullanımı ise 1999 yılında İngiliz Girişimci Kevin Ashton tarafından kullanılmıştır. RFID(Radyo Frekans Tanımlama) teknolojilerin şirketine getireceği faydaları anlattığı sunumda “Internet of Things ” ifadesini kullanmıştır. RFID teknolojisinin IoT’nin vazgeçilmesi olacağı ifade ediliyordu aynı sene.

Birbiriyle ilişkili cihazların sayısının yıllar geçtikçe daha da artması başka sorunları da beraberinde getirdi. Şu an 10 Milyar olan Internet bağlantılı cihazların sayısının 2020 yılında 21 milyar cihaz seviyesine çıkacağı tahmin ediliyor. Bu cihazların ortaya çıkaracağı büyük verinin yönetilmesi bir problem olarak karşımıza çıkıyor. Yakın zamanda İnternet’in yaygınlaşması ve bu şekilde cihazların hayatımıza girmesi sebebiyle hızlı şekilde ortaya çıkan ve sürekli artagelen verinin kaydedilmesi, yönetilmesi önem kazanıyor. Bunların sonucunda da big data (büyük veri), veri analizi gibi kavramlar ortaya çıkıyor. Bu sebeple Nesnelerin İnterneti ve Büyük Veri kavramları ve uygulamaları birbirleri iç içedir. Büyük veri ile ilgili blogtaki yazıyı bu linkten okuyabilirsiniz : Veri Dünyasının Geleceği : Büyük Veri (Big Data)

Ipv6 protokolüne geçiş de cihaz IP çakışmalarının önüne geçmesi bakımından önemli bir adım olmuştur.

Nesnelerin İnterneti Projelerine Dair Dikkat Edilmesi Gereken Konular

Verinin Güvenliği ve Gizliliği : İnternetin Nesneleri etkileşim halinde olduğumuz cihazlardan veriyi temin ettiği için bu verinin herkesten tarafından kullanılabilir mi yoksa kişisel veri olarak mı kullanılacağı konusu gizlilik bakımından önemlidir. Verilerin gizliliği için güvenlik algoritmaları ile şifrelenme işlemi gerçekleştirilmelidir.

Cihaz (Sensörler) : Nesnelerin İnternet’inde esas olan datayı sağlayan cihazlardır. Nesnelerin İnterneti kavramının ortaya atıldığı toplantıda RFID teknolojisinin Nesnelerin İnterneti’nin vazgeçilmezi olduğu ifade edilmiştir. Daha sonra NFC, QR kodlar, barkod teknolojileri de Nesnelerin İnterneti projelerinde kullanılmaya başlandı.

Verinin Toplanması ve Analizi : Nesnelerin İnternet’i projelerinde hangi sensörlerden hangi verilerin alınacağı, alınan verinin nasıl değerli bir bilgi haline getirilebileceği belirlenmelidir. Cihazdan gelen çok miktarda verinin analizi sonucunda elde edilen değerli verinin nasıl kullanılacağı sistemler ile belirtilmelidir.

Bu yazıda sadece Nesnelerin İnterneti’nin ne olduğundan bahsedebildim. Bir sonraki yazıda Nesnelerin İnterneti hayatımızda neyi değiştirecek, hayatımıza yansımalarını nasıl olacak bunlara değinmeye çalışacağım.

16
Oct
2015

Veri Dünyasının Geleceği : Büyük Veri (Big Data)

categories: Teknoloji

Büyük veri; sosyal medya paylaşımları, ağ günlükleri ,bloglar, fotoğraf, video, log dosyaları vb. gibi değişik kaynaklardan toparlanan tüm verinin, anlamlı ve işlenebilir biçime dönüştürülmüş biçimine denir. Özetlemek gerekirse herhangi İlişkisel veritabanları ile yönetilemeyecek büyüklükte olup büyümeye devamlı devam eden verilerdir. İlişkisel veritabanları yapılandırılmış verilerle ilgilendiğindiği için günümüzdeki kısıtlı veriyi işleyebilir. Ancak buz dağının görünmeyen yüzü olan yapılandırılmamış data ise big data’nın alanına girer. İlişkisel veritabanları terabyte seviyesinde veri tutabilirken, büyük data ile petabyte seviyelerinde veriler saklayabiliriz. Büyük veri veriyi bir defa yazıp sonrasında defalarca ve paralel şekilde okuyup işleyebilir. Dünya çapında yıllık veri hacmindeki büyüme %59 ve büyümenin artarak devam etmesi bekleniyor. Bu büyümenin merkezinde hem geleneksel hem de yeni veri kaynakları yatıyor. IDC önümüzdeki on sene içinde de şu anki verinin 44 katına çıkacağını tahmin ediyor. Twitterda her gün 7 TB, Facebook ise 10 TB’dan fazla data saklıyor. Ve bu datanın büyük bir kısmı yapısal olmayan veriden oluşuyor. Big data bu datanın çöplük olmasını engeller. İlişkisle veri tabanlarında yapısal olmayan data işlenemediği için faydalı olamıyordu. Ancak yapısal olmayan datanın sürekli artışı bu tablonun değerlendirilmesini zorunlu hale getirdi. Çöplük kelimesinden çağrışımla bir nevi çöplükten enerji elde edilmeye başlandı. Ve bu enerji çok kıymetli.

Big data bu yapısal olmayan veri ile yapısal verinin işlenmesiyle çok değerli bir hal almasını sağlıyor. Buradan bu verinin neden bu kadar değerli olduğuna –CRM deki kullanımına- geçmek istiyorum. Bu veriler işlenip analiz edilerek geleceğe dair stratejiler, yapılacak kampanyalardan çıkarılacak ürünlere kadar bir çok konuda kullanılıyor. Eskiden ürün çıkartılır ve bu müşteriye sunulurdu. Ancak artık e-ticaret sitelerindeki alışverişler sosyal medyadaki paylaşımlar ile artık müşterinin taleplerine göre ürün çıkartılıyor. Hükümetler bu işlenmiş verilere göre yönetim stratejilerine yön veriyor. Büyük veriye en çok önem veren ülkeler: ABD, Hindistan ve Birleşik Krallık

Big Data’yı üç formda sınıflandırabiliriz. Yapılandırılmış(Structured), Yarı Yapılandırılmış (Semi Structureed) ve Yapılandırılmamış(Un-structured)

Yapılandırılmış (Structured) : Belli bir yapıda(formatta) depolanabilen, işlenebilirliği ve erişilebilirliği olan veridir. İlişkisel veri tabanlarındaki datalar buna örnektir. Belirli yapıdaki veriler tablolar aracılığıyla ilişkilendirilerek sistemli bir şekilde işlenir.

Yarı Yapılandırılmış (Semi- Structured) : Tablolar ile kesin bir sistemle düzenlenmemiş verilerdir. Veriler arasında bir ilişkilendirme yapısı yoktur. XML dataları buna örnektir. Özellikle internet kullanımının da artmasıyla 2000’lerden sonra yapılandırılmamış veriler log ya da history tablolarıyla yapılandırılmış dataya çevriliyor.

Yapılandırılmamış(Un-Structured) : Bilinmeyen bir formda –standart olmayan- yazılmış verilerdir. Standart olmamamasının bir sebebi de bu dataların büyük hacimli ve karmaşık olması. Dosyalar, videolar, resimler, metin dosyaları gibi farklı yapıları içinde barındırır. Bunun en bilinen örneği google’dır.

Big Data Nitelikleri (5 V)

Hacim (Volume): Big data ‘ya adını veren big (büyük) sıfatı çok büyük boyutları barındırabilmesidir. Big dataya olan ihtiyaç datanın hacmi ile doğru orantılıdır. Bir işte big dataya gereksinim olup olmadığı o projedeki data hacmine bağlıdır.
Çeşitlilik (Variety): Hacimden sonra big datayı öne çıkaran bir başka niteliği ise farklı türde heterojen datayı birlikte işleyebilmesi. Eskiden veri tabanları benzer kaynaklardan beslendiği için çeşitlilik büyük bir sorun değildi. Ancak gün geçtikçe veri tipi daha çok çeşitleniyor. Email, ses, resim,fotoğraf ve akıllı sistemler ile sağlanan çeşitli yapılardaki dataları işleyebilir.
Hız (Velocity) : Veriyi tanımlama, bağımlılıklarına göre hızlıca genelleştirip kullanılabilir potensiyel bir data haline gelir.
Değişkenlik (Variability) : Bu sayede tutarsız verileri etkili yönetebilir. Farklı sistemlerin farklı yerlerdeki datalarını kombine eder. Bir çok kaynaktan gelen veriler birbirinden farklı türlerde olacağı karmaşık bir veri büyüklüğüne sebep olur. Big data bu karmaşık verinin yönetimini hızlı bir şekilde sağlar.
Değer (Value ): Verilerimiz yukarıdaki veri bileşenlerinden filtrelendikten sonra büyük verinin üretimi ve işlenmesi katmanlarında elde edilen verilerin geleceğe yönelik stratejilerde belirleyici oluyor.

Big Data Avantajları

Büyük verinin avantajlarını dört başlıkta toplayabiliriz : Doğruluk, zaman yönetimi , müşteri talep yönetimi, gerçek zamanlı etkileşim.

Daha önce konuyla ilgili olarak blogtaki bir yazım : Big Data

07
Oct
2014

categories: Teknoloji

Bir önceki yazıda artan datanın işlenmesindeki performansı yüzünde popülerleşen Teradatadan bahsetmiştim. Bu yazıda da verinin eskiye oranla daha büyük bir ivmeyle artışını ve bu artış sebebiyle ortaya çıkmış olan bir kavramdan, big datadan bahsedeceğin. Türkçeye “Büyük Veri” olarak çevrilen bu ifade, özellikle sosyal medya ve benzeri ortamların ortaya çıkmasıyla günden güne artan ve büyük miktarda yer kaplayan, haliyle işlenmesi zorlaşan veriye karşılık gelmektedir. Bir önceki yazıda değindiğim üzre Teradata, bu verinin işlenmesinde çok iyi bir performans sergiliyor.

Günden güne artan bilgi sebebiyle veri tabanları “bilgi çöplüğü” halini almaya başlamıştır. Sürekli artan data sebebiyle sürekli data silinmesi veya kapasitenin arttırılması gibi çözümler akla geliyor. Bu ihtiyaçlara binaen yapılan Ar-Ge çalışmaları neticesinde Big Data kavramı ortaya çıkmıştır. Big Data; sosyal medyadan, fotoğraf,video, oyun, log dosyaları, ağ dataları vb. değişik ortamlardan toplanan verinin anlaşılır bir şekilde işlenmesiyle elde edilen veridir. Bu dataların çoğunluğu ilişkisel olmayan veri yığınıdır. Bu sebeple ilişkisel veri tabanlarında tutulması zordur. Eskiden olsa bu veriler değersiz olduğu için gözardı edilebilirdi. Ancak günümüzde her bilginin değerli olduğu ve ufacık bir bilgiyle –kişisel bazda baktığımızda-bir kişinin eğilimlerine –sektörel- şirketten beklentilerine dair önemli sonuçlar çıkarabileceğimizi görüyoruz. Büyük Veri; internet gezdiğimiz yerlerin logları, internet istatistiklerimizi, blogları, GSM operatörleri yağtığımız alışverişleri, sosyal medya paylaşımları vb. ortamlardan elde edilen büyük kapasitedeki bilgiden oluşur. Bu bilgileri doğru analiz metotları ile yorumlandığında şirketin vizyonuna yön verebilir, pazarlama stratejilerinin gözden geçirilmesine sebep olabilir. Ar-Ge’de kullanılarak Büyük Veri’den nasıl yararlanılacağı üzerine çalışmalar yapılabilir.

Platformlardan toplanan veriler geleneksel veritabanlarının işleyemeceği büyüklükte olduğu gibi geleneksel yapıda artan verinin büyüme hızını barındırabilecek bir veri depolama ünitesi de yoktur. Bu çapta büyük veriyi işleme, transfer etme gibi işlerin tümüne Büyük veri (Big Data) denilmektedir. İlişkisel VT’larında GB seviyesinde veri tutalabiliyorken, Big Data ile PB(PetaByte) seviyesinde veri saklanabiliyor. Ancak Big Data Batch işlemleri için uygundur. Transaction işlemleri için ilişkisel veritabanları uygun olacaktır. Big Data’da batch ile işlem bir defa işlenip özet hale getirildikten sonra okunması çok kısa süre alacaktır. Teradata’da bahsettiğimiz konularla ne kadar da benzer 🙂

Büyük veri platformunun oluşumunda beş bileşen vardır.

Bunlar 5V olarak kısaltabileceğimiz Variety(Çeşitlilik), Velocity(Hız), Volume(Veri Büyüklüğü), Verification(Doğrulama) ve Value(Değer) ‘dir.

Variety (Çeşitlilik): Üretilen veri farklı ortamlardan farklı dillerle farklı şekillerde bir araya getirilmiş olabilir.
Velocity (Hız): Big Data’da verinin işlenip üretimi çok hızlıdır.
Volume (Veri Büyüklüğü): Günden güne artan ve geometrik bir artışla katlanan verinin büyüklüğü Big Data için önemli bir bileşendir. 2010’lu yıllarda dünyadaki toplam bilişim harcamaları yılda %5 artmakta, ancak üretine veri miktarı %40 artmaktadır.
Verification (Doğrulama): Elde edilen verinin doğruluğu, doğrulanabilir olması Big Data’nın kendi içerisinde algoritması açısından önemli bir bileşendir.
Value (Değer): Veri işlendikten sonra en önemli hususlardan birisi bu verinin değeri. İşe yarar bir verinin şirket veya kişinin kullanımı için oluşturulan verinin değeri önemlidir.

Büyük Verinin Uygulandığı Örnekler

Son dönemlerde işletmeler; kişiye özel hizmet için müşterilerini daha iyi tanıyıp, onlara “bireyselleştirilmiş – kişiye özel” hizmetleri sunabilmek için onlarla ilgili çok sayıda bireysel bilgiyi saklıyor.

Hastaneler; hastalarına yönelik etkili, bireysel, kişiselleştirilmiş, tıbbi hizmetler sunabilmek için, bireysel bazdaki verileri kendi sayısal ortamlarında depolamaktalar.
Hükümetler; yurttaşlarına yönelik bilgi ve hizmetleri işleyip, saklama konusunda oluşan çok büyük ölçekli veri ile çalışmak zorundadırlar. Örneğin, RTÜK kararları gereği, ülkemizdeki televizyon kanallarının son bir yıllık yayınlarını saklama zorunluluğu var. Saklanacak bilgiler, “Büyük Veri” olarak tanımladığımız türden.
İnternet üzerindeki üretici ve tüketicilerin veri üretimini hızlandırması, başta servis sağlayıcı firmalara olmak üzere, büyüyen bilgiyi harmanlayıp, anlamlı biçime dönüştürerek kullanıma yeniden sunma görevi yüklüyor.
Bankalar, müşterileriyle ilgili olarak toplayıp sakladıkları bilgiler yoluyla, kullanıcısını tanıyan, internet şubesine o gün ne için girdiğini bilen ve buna göre ana sayfayı, menüyü en etkin hale getiren, müşterisine hatırlatmalar yapan, özelleştirilebilir arayüzler sunan, zengin içerikli, hızlı ve kullanışlı bir 7/24 şube haline geldi.
Enerji firmaları, akıllı şebeke ve sayaçlar kullanarak, abonelerinin bireysel kullanımlarıyla ilgili oluşan verileri, saklayıp, işlemek durumundalar.
İlaç sanayisinde; örneğin “kanser araştırmaları” için oluşturulan büyük genomik veritabanları, araştırmacıların sürekli erişimine açık olmak durumundadır.

Eskiden şirketlerin amacı belirli bir ürünü üretmek ve müşteriye ulaşımını sağlamaktı. Bu yıllarda ERP(Enterprise Resource Planning) sistemlerinin geliştirilmesiyle müşteri, dağıtım merkezi, tedarikçiler ve üretimi bir platformda toplanıp üretilen ürünün satılması amaçlanıyordu.Ancak bu anlayış “müşterim ne ister ?” sorusuyla yer değiştirdi. CRM sistemleri bu sebeple önemli bir hale gelmiştir., CRM (Customer Relationship Management-Müşteri ilişkileri Yönetimi)’in amacı “Doğru ürün ya da hizmeti, doğru müşteriye, doğru fiyatla, doğru kanalda, doğru yerde ve zamanda sunmaktır.“ Yani artık ürüne göre müşteri değil, müşteriye göre ürün devri başlamıştır.

Kaynaklar : http://tr.wikipedia.org/wiki/Ana_Sayfa