Big Data, isminden de anlaşılacağı üzere, çok fazla veriyi ifade eder. Ancak burada bahsedilen sadece veri miktarı değildir ve yalnızca verinin büyük boyutlarda olmasını da ifade etmez. Aslında büyük ile küçük veri arasında kesin bir sınır yoktur. Aynı zamanda verinin üretim hızı, yapısı ve doğruluğu gibi faktörleri de kapsar. Bu veriler, genellikle bulut sistemleri üzerinden dünya çapındaki milyonlarca kullanıcıdan toplanır.
Geleneksel veri tabanları belirli bir büyüklüğe kadar olan veriyi işlerken, sosyal medya, sensörler, mobil uygulamalar, akıllı cihazlar ve dijital etkileşimler gibi modern kaynaklar, petabaytlarca veriyi kısa süre içinde oluşturabilir. Bu veriler metin, ses, video, sensör verisi gibi birçok farklı biçimde olabilir. Büyük veri tek bir projeye ait olmak zorunda da değildir. Toplanan verilerin herhangi bir konuda belirli bir anlam ifade etmesi ya da bir sonuca varması beklenmez. Elde edilen karmaşık ve devasa veri kümeleri BigData olarak adlandırılır.
Big Data sistemleri, verinin sadece depolanmasıyla ilgilenmez. Aynı zamanda toplanan verilerin anlamlı bilgilere dönüştürülmesi de gerekir. Bu işlem, klasik veri tabanı yönetim sistemlerinin ötesine geçen yöntemler gerektirir. Hadoop, Apache Spark gibi dağıtık işlem sistemleri, veriyi farklı parçalara bölerek paralel şekilde işler. Bu sayede milyonlarca veri satırı saniyeler içinde analiz edilebilir. Büyük veri analitiği karar verme süreçlerine güç kazandırır.
Tüm bu verinin işlenmesi noktasında, veri madenciliği devreye girer. Veri madenciliği, büyük ölçekli veriler arasından faydalı bilgiye ulaşma, bilgiyi madenleme işidir. Veri kümelerini keşfetme, veri kümelerini algılama ve veri kümelerinden potansiyel örüntüler tespit etme gibi aşamaları kapsar. Veri madenciliği, ham verinin içinde açıkça görünmeyen ama tekrarlayan yapılar, istatistiksel ilişkiler veya tahmin edilebilir davranış biçimlerini keşfetmeyi hedefler. Veri madenciliğinin amacı verinin kendisini çıkarmak veya madencilik yapmak değildir. Büyük miktarda veri zaten mevcuttur ve veri madenciliği bu verilerden anlam veya değerli bilgi çıkarır.
Makine öğrenmesi, bilgisayarların açıkça programlanmadan, veri yoluyla öğrenmesini sağlayan bir yapay zekâ dalıdır. Yani makinelere komut verip sonuç istemek yerine çok sayıda örnek vererek ve bu örneklerden yola çıkarak deneyim yoluyla nasıl davranması gerektiğini kendi kendine öğrenmesi sağlanır. Buradaki “öğrenme” kavramı, toplanan verilerde bulunan örüntüleri tanıma ve bu örüntülere göre tahmin yapma anlamına gelir.
Makine öğrenmesi ile çalışan sistemler, belirli modellere sahip olan matematiksel yapılar üzerinden çalışır. Bu modeller, geçmiş verileri analiz ederek bir fonksiyon oluşturur; bu fonksiyon, yeni gelen verilere karşılık tahmin üretir. Makine öğrenimi algoritmaları, bilgisayarların belirli bağlamlarda stratejileri ve davranışları öğrenmek için verileri nasıl kullanabileceğine odaklanır.
Makine öğrenmesinin en yaygın türlerinden biri denetimli öğrenmedir. Bu yöntemde, sistem geçmişteki veriler ve bu verilere ait etiketler ile eğitilir. Eğitim süreci boyunda, toplanılan verideki istatistiksel örüntüler keşfedilir ve bunlara karşılık gelen matematiksel fonksiyonlar oluşturulur. Daha sonra yeni veriler geldiğinde bu fonksiyona dayanarak sınıflandırma, regresyon veya tahmin gibi işlemler yapılır.
Eğer şemada değiştirilmesi gereken fonksiyonel bir değer varsa bu değer düzenlenir ve böyle sistem iyileştirilir. Diğer bir tür olan denetimsiz öğrenmede ise veriler etiketlenmemiştir ve model, veriler arasındaki benzerlikleri daha önceden sunulan veriler ile eşleştirerek keşfetmeye çalışır.
Örnek vermek gerekirse, veri tabanının bir elma görselinin veri kümesine sahip olduğunu düşünelim. Elma görsellerini çoğunun açıklamasında, görsel isminde, görsel içerisinde “elma” etiketinin bulunduğu sistem tarafından analiz edilir. Toplamış olduğu veri kümesi içerisinde bu etiket çoğunlukta ise, sistem sahip olduğu görselleri ve bundan sonra karşılaşacağı benzer görselleri elma olarak tanımlar.
Bu aşamada yapay zekâ devreye girer. Yapay Zekâ, makinelerin insan benzeri görevleri yerine getirmesini sağlayan geniş bir alandır. Görme, konuşma, anlama, karar verme gibi insanlara özgü becerilerin yazılıma kazandırılması yapay zekânın genel hedefidir. Yapay zekâ, makine öğrenmesi tekniklerini kullanarak bu hedefe ulaşır. Ancak makine öğrenmesinin ötesinde, mantıksal çıkarım, kural tabanlı sistemler, optimizasyon algoritmaları gibi başka teknikler de yapay zekâ kapsamına girer. Yapay zekâ karar mekanizması için büyük miktarda veriye ihtiyaç duyar. Dolayısıyla bu üç kavram bir zincirin halkaları gibi birbirine bağlıdır.
Büyük veri, yapay zekâ ve makine öğrenmesinin yakıtıdır. Veriler olmadan öğrenme olamaz. Makine öğrenmesi, bu verilerden öğrenme yapar ve istatistiksel çıkarımlarda bulunur. Yapay zekâ ise bu öğrenilen bilgileri bir amaç doğrultusunda, çevresiyle etkileşime geçerek kullanır.
Sonuç olarak, bu üç alan birbirinden ayrı düşünülemez. Büyük veri olmadan öğrenme yetersiz kalır, makine öğrenmesi olmadan yapay zekâ kördür, yapay zekâ olmadan bu sistemler yalnızca veri gösteren araçlar olur. Her biri, diğerine güç verir ve birlikte çalıştıklarında gerçek anlamda akıllı sistemler ortaya çıkar. Teknolojinin bugünkü noktasında, sağlık hizmetlerinden finans analizine, şehir güvenliğinden kişisel asistanlara kadar pek çok alanda bu üçlünün birlikte çalıştığını görmekteyiz. Bu uyumlu yapının derinleşmesi, yapay zekâ sistemlerinin kalitesi, bu katmanların ne kadar iyi entegre edildiğiyle doğrudan orantılı ilerler.
