Apache spark چیست

در این مقاله قصد داریم تا در مورد Apache spark صحبت کنیم و بگوییم که Apache spark چیست. همراه ما باشید.

Apache spark یک موتور قدرتمند برای پردازش داده های بزرگ می باشد و این داده ها که به صورت توزیع شده هستند. منظور از داده های توزیع شده، داده هایی می باشد که بر روی چندین کامپیوتر قرار دارند و نیاز هست تا پردازش شوند در مورد داده های بزرگ قبلا صحبت کردیم و مقاله ای برای داده های بزرگ  یا به عبارتی Big Data داشتیم که برای درک بهتر این مقاله میتوانید ابتدا به مقاله ی مربوط به Big Data رجوع کنید.

 به عبارت کلی منظور از داده های بزرگ داده هایی هستند که معمولا با یک کامپیوتر پردازش نمی شوند.

Apache spark برای پردازش Big Data و یا به عبارتی داده های بزرگ ( کلان داده ) راه حل مناسبی می باشد همچنین در مقاله ی قبل نیز درباره ی frame work هدوپ صحبت کردیم که کار Hadoop نیز پردازش داده های بزرگ می باشد و تفاوتی که بین  Hadoop  با Apache spark وجود دارد در سرعت پردازش آنها هست به این صورت که  Apache spark در مقایسه با Hadoop بسیار سریع تر می باشد.

اگر چندین کامپیوتر متوسط در اختیار داشته باشید میتوانید با Apache spark موارد پردازش داده ها را به صورت موازی بر روی کامپیوتر های مختلف اجراکنید  نتیجه را به صورت تجمیع شده بر روی یک کامپیوتر قرار دهید. Apache spark می تواند از سیستم های مختلف ذخیره سازی توزیع شده استفاده کند.

Apache spark از کتابخانه های مختلفی ایجاد شده است که در این مقاله به بخشی از آنها اشاره میکنیم:

Machin learning: توانایی پردازش الگوریتم های مختلف Data Mining (داده کاوی) بر روی spark فراهم میکند.

Graphx: این کتابخانه از Apache spark توانایی پردازش داده هایی که به صورت گراف هستند را دارد.

همچنین Apache spark از زبان های مختلفی پشتیبانی می کند از جمله: Java و Pyhon

با دیگر مقالات ما در server.ir همراه باشید.