MapReduce Nedir ? - What is MapReduce?

önce bir örnek verelim: Depomuz var bi tane.İçinde raflar var.Raflarda farklı ürünler. Her rafı sayması için bir adam yolluyoruz.Bu sayma işlemi mapping oluyor. Sonra işlem bitince geri geliyorlar ve her üründen ne kadar olduğunu söylüyorlar. Ve aynı olanlar toplanıyor, bu şekilde reduce işlemi yapılıyor.

Kişiler:    x  y  z A Ürünü: 5 4  9

Reduce işlemi sonucunda A = 5 + 4 + 9 = 18 Reduce işlemi ile elimizdeki değerlerle bir değer üretmeye çalışıyoruz.

*bidirectional ya da cycle işlemi olmamalı -> direct olmalı ki map reduce çalışsın

-map(k,v) -> anahtar değer ikilisi üret bizim için raf örneğinde key : ürün_id , value : ürün_adeti

-reduce(k,v) -> bir keyin ona karşılık gelen listesini oluşturuyoruz. sonra aynı anahtara sahip olanları düşürüyoruz, yani azaltıyoruz. her key için bir defa bu işlem yapılıyor. raf örneğinde key : ürün_id , value : bu id deki tüm ürünlerin toplamı

-in memory computing -> verileri RAM de saklama. Sadece RAM de çalışıyor. -SPARK -> memoryde çalışıyor sadece, buyüzden HADOOPdan hızlı, diske yazdırmaz.

*map ve reduce işlemini biz yapıyoruz, gruplara ayırma vs. işlemlerini framework yapıyor. *verdiğimiz dosyayı parçalayıp HDFS ye yazdırıyor.hangi makinaya yazdıracağına kendi karar veriyor.