دانلود فایل با شمار فاکتور
لطفا شماره فاکتور خود را درج نمایید
جدیدترین لغات واژه‌نامه
کشورهای شمال اروپا
آتش سوزی های جنگلی
دوسویه
نادیده گرفتن، دست انداخ
اجتناب ناپذیر، بی شفقت،
آمار بازدیدکنندگان
بازدید امروز :62
بازدید روز گذشته :80
بازدید این هفته :555
بازدید این ماه :1692
مجموع آمار بازدید ها :785666
بازدید روز گذشته :80
بازدید این هفته :555
بازدید این ماه :1692
مجموع آمار بازدید ها :785666
عنوان محصول: استفاده از یادگیری ماشین برای بهینه‌سازی موازی‌سازی در برنامه‌های کاربردی کلان داده‌ها
|
توضیحات مختصر:
در سال‌های اخیر، چارچوب‌های محاسبات خوشه‌ای حافظه به دلیل توانایی بالایشان در تجزیه‌وتحلیل موازی حجم بزرگی از داده‌ها، توجهات زیادی را به خود جلب کرده‌اند. این چارچوب‌ها بسیار پیچیده بوده و استفاده از آن‌ها برای مدیریت محیط اطراف دشوار است. علاوه بر این، کمبودهایی در راستای درک بهتر و بهینه‌سازی چنی...
|
| استفاده از یادگیری ماشین برای بهینه‌سازی موازی‌سازی در برنامه‌های کاربردی کلان داده‌ها |
قیمت : 50000 تومان
تخفیف: 5000 تومان
تخفیف ویژه : 10 درصد
قیمت نهایی: 40000 تومان
314 بازدید
کد مقاله: TTC-
3795
نوع فایل : docx
خرید و دانلود
لینک دانلود فایل خریداری شده بلافاصله بعد از خرید موفق فعال خواهد شد.
Abstract
In-memory cluster computing platforms have gained momentum in the last years, due to their ability to analyse big amounts of data in parallel. These platforms are complex and difficult-to-manage environments. In addition, there is a lack of tools to better understand and optimize such platforms that consequently form the backbone of big data infrastructure and technologies. This directly leads to underutilization of available resources and application failures in such environment. One of the key aspects that can address this problem is optimization of the task parallelism of application in such environments. In this paper, we propose a machine learning based method that recommends optimal parameters for task parallelization in big data workloads. By monitoring and gathering metrics at system and application level, we are able to find statistical correlations that allow us to characterize and predict the effect of different parallelism settings on performance. These predictions are used to recommend an optimal configuration to users before launching their workloads in the cluster, avoiding possible failures, performance degradation and wastage of resources. We evaluate our method with a benchmark of 15 Spark applications on the Grid5000 testbed. We observe up to a 51% gain on performance when using the recommended parallelism settings. The model is also interpretable and can give insights to the user into how different metrics and parameters affect the performance.
چکیده
در سال‌های اخیر، چارچوب‌های محاسبات خوشه‌ای حافظه به دلیل توانایی بالایشان در تجزیه‌وتحلیل موازی حجم بزرگی از داده‌ها، توجهات زیادی را به خود جلب کرده‌اند. این چارچوب‌ها بسیار پیچیده بوده و استفاده از آن‌ها برای مدیریت محیط اطراف دشوار است. علاوه بر این، کمبودهایی در راستای درک بهتر و بهینه‌سازی چنین چارچوب‌هایی که درنهایت منجر به ایجاد ستون فقرات تکنولوژی‌ها و زیر ساخت‌های کلان داده‌ها می‌شوند، وجود دارد. این روند به‌صورت مستقیم منجر به کمبود توانایی استفاده از منابع در دسترس و ایجاد خطاهای برنامه‌های کاربردی در چنین محیط‌هایی می‌شود. یکی از جنبه‌های مهمی که باید در این مسئله ارزیابی نمود، بهینه‌سازی فرآیند موازی‌سازی برنامه‌های کاربردی در چنین محیط‌هایی است. در این مقاله، ما یک روش مبتنی بر یادگیری ماشین پیشنهاد می‌دهیم که پارامترهای بهینه‌ای را برای روند موازی‌سازی وظایف در بارهای کاری کلان داده‌ها پیشنهاد می‌دهد. با نظارت و جمع‌آوری پارامترهای موجود در سطح سیستم و کاربرد، قادر به یافتن یک همبستگی آماری خواهیم بود که به ما امکان می‌دهد تا تأثیرات تنظیمات مختلف موازی‌سازی در کارایی و عملکرد را مشخص و پیش‌بینی نماییم. این پیش‌بینی‌ها به‌منظور ارائه توصیه‌ها و پیکربندی‌های بهینه برای کاربران قبل از شروع جریان‌های کاری آن‌ها در خوشه‌ها استفاده می‌شود و درنتیجه از ایجاد خطاهای ممکن، کاهش کارایی و هدر رفت منابع جلوگیری به عمل می‌آید. ما روش پیشنهادی خود را با استفاده از یک نمونه 15 موردی از برنامه‌های کاربردی اسپارک بر روی گرید 5000 گرهی ارزیابی کرده‌ایم. مشاهدات نشان داده‌اند که با استفاده از تنظیمات پیشنهادی برای روند موازی‌سازی، کارایی به میزان 51 درصد افزایش یافته است. این مدل پیشنهادی قابلیت تفسیر بالایی داشته و می‌تواند بصیرت روشنی برای کاربران به‌منظور ارزیابی تأثیرات پارامترها و معیارهای مختلف بر روری کارایی ارائه دهد.
تعداد صفحات انگلیسی:
تعداد صفحات فـارسـی:
- آدرس: تبریز، آبرسان، مهرگان چهارم
- تلفن تماس: 09016347107
- تلفن ثابت : 35250068-041
- Mailttcenterاین آدرس ایمیل توسط spambots حفاظت می شود. برای دیدن شما نیاز به جاوا اسکریپت دارید : آدرس ایمیل
- @zoodyab :آدرس تلگرام
مرکز تخصصی تلاش ترجمه از سال 1385 شروع به کار نموده است و تا کنون بیش از ده هزار ترجمه در رشته ها و زمینه های مختلف توسط متخصصین این مرکز انجام شده است.
تمامی ترجمه‌های انجام شده توسط موسسه تخصصی تلاش ترجمه، به صورت دستی (غیرماشینی) بوده و توسط مترجمین با سابقه انجام می‌شوند. ترجمه‌های انجام شده توسط موسسه تلاش ترجمه در قالب فایل Word و به صورت کاملا روان و بازخوانی شده و با ضمانت بازگشت وجه 72 ساعته (در صورت عدم رضایت از ترجمه) خدمت مشتریان محترم ارائه می‌شود.