استفاده از یادگیری ماشین برای بهینه‌سازی موازی‌سازی در برنامه‌های کاربردی کلان داده‌ها
واتساپ:09141077352 همراه: 09141077352 ثابت: 35250068-041 سفارش سمینار و مقاله سفارش ترجمه تخصصی
 

دانلود فایل با شمار فاکتور

لطفا شماره فاکتور خود را درج نمایید


جدیدترین لغات واژه‌نامه

آمار بازدیدکنندگان

بازدید امروز :65
بازدید روز گذشته :53
بازدید این هفته :191
بازدید این ماه :274
مجموع آمار بازدید ها :797018

عنوان محصول: استفاده از یادگیری ماشین برای بهینه‌سازی موازی‌سازی در برنامه‌های کاربردی کلان داده‌ها

دسته‌بندی: مقالات ترجمه شده رشته کامپیوتر
تاریخ انتشار: سه شنبه 17 مهر 1398
استفاده از یادگیری ماشین برای بهینه‌سازی موازی‌سازی در برنامه‌های کاربردی کلان داده‌ها استفاده از یادگیری ماشین برای بهینه‌سازی موازی‌سازی در برنامه‌های کاربردی کلان داده‌ها
توضیحات مختصر: در سال‌های اخیر، چارچوب‌های محاسبات خوشه‌ای حافظه به دلیل توانایی بالایشان در تجزیه‌وتحلیل موازی حجم بزرگی از داده‌ها، توجهات زیادی را به خود جلب کرده‌اند. این چارچوب‌ها بسیار پیچیده بوده و استفاده از آن‌ها برای مدیریت محیط اطراف دشوار است. علاوه بر این، کمبودهایی در راستای درک بهتر و بهینه‌سازی چنی...
استفاده از یادگیری ماشین برای بهینه‌سازی موازی‌سازی در برنامه‌های کاربردی کلان داده‌ها استفاده از یادگیری ماشین برای بهینه‌سازی موازی‌سازی در برنامه‌های کاربردی کلان داده‌ها


قیمت قیمت : 50000 تومان
تخفیف تخفیف: 5000 تومان
تخفیف تخفیف ویژه : 10 درصد
قیمت نهایی قیمت نهایی: 40000 تومان
345 بازدید
کد مقاله: TTC- 3795
نوع فایل : docx
لینک دانلود فایل خریداری شده بلافاصله بعد از خرید موفق فعال خواهد شد.
Journal: Elsevier 2017,

Using machine learning to optimize parallelism in big data applications
Abstract
In-memory cluster computing platforms have gained momentum in the last years, due to their ability to analyse big amounts of data in parallel. These platforms are complex and difficult-to-manage environments. In addition, there is a lack of tools to better understand and optimize such platforms that consequently form the backbone of big data infrastructure and technologies. This directly leads to underutilization of available resources and application failures in such environment. One of the key aspects that can address this problem is optimization of the task parallelism of application in such environments. In this paper, we propose a machine learning based method that recommends optimal parameters for task parallelization in big data workloads. By monitoring and gathering metrics at system and application level, we are able to find statistical correlations that allow us to characterize and predict the effect of different parallelism settings on performance. These predictions are used to recommend an optimal configuration to users before launching their workloads in the cluster, avoiding possible failures, performance degradation and wastage of resources. We evaluate our method with a benchmark of 15 Spark applications on the Grid5000 testbed. We observe up to a 51% gain on performance when using the recommended parallelism settings. The model is also interpretable and can give insights to the user into how different metrics and parameters affect the performance.
Keywords: Machine learning, Spark, Parallelism, Big data

چکیده
در سال‌های اخیر، چارچوب‌های محاسبات خوشه‌ای حافظه به دلیل توانایی بالایشان در تجزیه‌وتحلیل موازی حجم بزرگی از داده‌ها، توجهات زیادی را به خود جلب کرده‌اند. این چارچوب‌ها بسیار پیچیده بوده و استفاده از آن‌ها برای مدیریت محیط اطراف دشوار است. علاوه بر این، کمبودهایی در راستای درک بهتر و بهینه‌سازی چنین چارچوب‌هایی که درنهایت منجر به ایجاد ستون فقرات تکنولوژی‌ها و زیر ساخت‌های کلان داده‌ها می‌شوند، وجود دارد. این روند به‌صورت مستقیم منجر به کمبود توانایی استفاده از منابع در دسترس و ایجاد خطاهای برنامه‌های کاربردی در چنین محیط‌هایی می‌شود. یکی از جنبه‌های مهمی که باید در این مسئله ارزیابی نمود، بهینه‌سازی فرآیند موازی‌سازی برنامه‌های کاربردی در چنین محیط‌هایی است. در این مقاله، ما یک روش مبتنی بر یادگیری ماشین پیشنهاد می‌دهیم که پارامترهای بهینه‌ای را برای روند موازی‌سازی وظایف در بارهای کاری کلان داده‌ها پیشنهاد می‌دهد. با نظارت و جمع‌آوری پارامترهای موجود در سطح سیستم و کاربرد، قادر به یافتن یک همبستگی آماری خواهیم بود که به ما امکان می‌دهد تا تأثیرات تنظیمات مختلف موازی‌سازی در کارایی و عملکرد را مشخص و پیش‌بینی نماییم. این پیش‌بینی‌ها به‌منظور ارائه توصیه‌ها و پیکربندی‌های بهینه برای کاربران قبل از شروع جریان‌های کاری آن‌ها در خوشه‌ها استفاده می‌شود و درنتیجه از ایجاد خطاهای ممکن، کاهش کارایی و هدر رفت منابع جلوگیری به عمل می‌آید. ما روش پیشنهادی خود را با استفاده از یک نمونه 15 موردی از برنامه‌های کاربردی اسپارک بر روی گرید 5000 گرهی ارزیابی کرده‌ایم. مشاهدات نشان داده‌اند که با استفاده از تنظیمات پیشنهادی برای روند موازی‌سازی، کارایی به میزان 51 درصد افزایش یافته است. این مدل پیشنهادی قابلیت تفسیر بالایی داشته و می‌تواند بصیرت روشنی برای کاربران به‌منظور ارزیابی تأثیرات پارامترها و معیارهای مختلف بر روری کارایی ارائه دهد.
کلمات کلیدی: یادگیری ماشین، اسپارک، موازی‌سازی، کلان داده‌ها.

تعداد صفحات انگلیسی تعداد صفحات انگلیسی:17 صفحه
تعداد صفحات فارسی تعداد صفحات فـارسـی:41 صفحه

  • آدرس: تبریز، آبرسان، مهرگان چهارم
  • تلفن  تماس: 09016347107
  • تلفن  ثابت : 35250068-041
  •  Mailttcenterاین آدرس ایمیل توسط spambots حفاظت می شود. برای دیدن شما نیاز به جاوا اسکریپت دارید : آدرس  ایمیل
  • @zoodyab :آدرس تلگرام
مرکز  تخصصی  تلاش ترجمه از  سال  1385 شروع به کار نموده است  و تا کنون بیش از ده هزار ترجمه در رشته ها و زمینه های مختلف توسط متخصصین این مرکز انجام  شده  است.

تمامی ترجمه‌های انجام شده توسط موسسه تخصصی تلاش ترجمه، به صورت دستی (غیرماشینی) بوده و توسط مترجمین با سابقه انجام می‌شوند. ترجمه‌های انجام شده توسط موسسه تلاش ترجمه در قالب فایل Word و به صورت کاملا روان و بازخوانی شده و با ضمانت بازگشت وجه 72 ساعته (در صورت عدم رضایت از ترجمه) خدمت مشتریان محترم ارائه می‌شود.