Büyük Veri İşleme - Big Data

Dağıtık Sistemler: birden fazla bilgisayarın aynı anda birlikte çalışabilmesi. Oluşabilecek sorunlar : latency(gecikme), conflict(çakışma)

Dağıtık sistemlerde yapılabilecek hatalar:

1) latency yok saymak 2) bandwidth sınırsız sayılması 3) network un homojen olduğunu varsaymak 4) sistemin başında admin olduğunu düşünmek

CAP Theorem

Consistiency: tüm makinalarda aynı kuralların uygulanması Availability: Sistemin tepki verebilmesi Partition Tolerance: Sistemde partition oluştuğunda buna nasıl tepki verecek(networkumuz ayrıldı, partitionlar oluştu)

*herhangi bir dağıtık sistem aynı anda bu üç özelliğe sahip olamaz

GFS : Google File Systems -> okuma yoğunluku, yazma az HDFS: Hadoop Distributed File System -> opensource

Apache Hadoop HBase -> Big Table Map Reduce -> Big Query