تحقیق رایگان درمورد سرعت پردازش، قابلیت اطمینان، اجرای برنامه، مطالعه موردی

No Comments
دانلود پایان نامه

کلاستر
2:34:17
2:35:19
2:38:24
2:29:08
6
1:48:25
1:49:16
1:48:21
1:47:38
12
1:37:22
1:38:09
1:37:31
1:36:25
18
1:33:08
1:32:58
1:33:50
1:32:35
24
1:41:07
1:41:15
1:45:09
1:36:56
30
2:18:07
2:17:08
2:19:37
2:17:37
36

شکل ‏49: تاثیر تعداد Map Task های مختلف بر زمان پردازش در روش دوم
• تحلیل:
تعداد Map Taskهایی که هر ماشین می تواند بطور همزمان اجرا کند تاثیر بسیار زیادی بر سرعت اجرای برنامه ها دارد. لذا در هر آزمایش تعداد متفاوتی Map Task را اجرا کردیم که با افزایش تعداد Map Taskهای کلاستر، ابتدا زمان پردازش کاهش یافته اما بعد از مقدار خاصی، این زمان شروع به افزایش می‌کند. افزایش زمان پردازش به دلیل افزایش فشار و سربار بوده که نشان می دهد نباید از مقدار خاصی تعداد Map Taskها افزایش دهیم. نتایج فوق نشان می دهد با افزایش تعدا Map Taskها، زمان پردازش بصورت یک سهمی (معادله درجه دو) دارای مینیمم تغییر می‌کند. بنابراین افزایش یا کاهش غیرمنطقی این پارامتر، زمان پردازش را افزایش خواهد داد. لذا برای افزایش سرعت پردازش باید این تعداد را طوری انتخاب کرد تا زمان پردازش تا حد امکان نزدیک به مینیمم نمودار باشد. در شرایط این مساله این مقدار برابر با 2 عدد Map Task به ازای هر هسته پردازنده می‌باشد. بنابراین انتخاب مقدار مناسب برای این پارامتر، تاثیر بسیاری بر سرعت پردازش دارد و سرعت پردازش در مطالعه موردی این پژوهش 1.6 برابر افزایش یافت
4-4-5- سناریو پنجم: بررسی تاثیر تعداد تکرار تصاویر بر زمان پردازش
• شرح سناریو:
در پردازش توزیع شده براساس مدل برنامه نویسی نگاشت‌کاهش، کلاستری از ماشین‌ها را داریم که داده ها روی این ماشین‌ها توزیع شده اند. به دلایلی همچون قابلیت اطمینان، افزایش سرعت و … ما نیاز داریم که داده ها را بصورت تکراری روی کلاستر ذخیره کنیم.
ذخیره تکراری داده ها روی کلاستر باعث افزایش حجم داده روی دیسک می شود اما همانطور که پیشتر بیان شد مزایای بسیاری نیز دارد. یکی دیگر از مزایای این روش، کاهش ترافیک شبکه هنگام پردازش داده‌هاست. بطوریکه هر ماشین سعی می کند داده های روی خودش را پردازش کند و اگر ماشینی به هر دلیلی نتواند داده ای را پردازش کند، این وظیفه به ماشینی که کپی دیگری از آن داده را دارد، محول می شود. لذا انتقال داده ها روی شبکه به شدت کاهش می یابد.
همانطور که در ابتدای این بخش بیان شد، یکی دیگر از مزایای ذخیره تکراری داده ها روی کلاستر این است که در صورتی که به هر دلیلی یکی از ماشین‌ها از چرخه پردازش خارج شود داده‌های ما از بین نمی رود. چون کپی های دیگری از داده در ماشین های دیگر کلاستر وجود دارد. بنابراین ناگزیر به ذخیره سازی تکراری داده ها روی کلاستر هستیم. اما اینکه تعداد تکرار به چه اندازه باشد پارامتر مهم دیگری است که در این سناریو به بررسی آن می‌پردازیم.
در بررسی این پارامتر نیز از کلاستر جدول ‏46 استفاده می‌کنیم. علاوه‌براین در بررسی این پارامتر، از نتیجه‌ی بررسی پارامتر قبل نیز استفاده کرده و در بررسی این پارامتر برنامه را روی تصاویر با حجم MB6 اجرا و نتایج را بررسی کرده ایم. در اینصورت می توان نتایج این بررسی را در کنار نتایج بررسی قبلی قرار داده و با هم مقایسه کرد. همچنین حجم کل تصاویر 50 گیگابایت و تعداد تصاویر برابر با 8655 عدد می‌باشد.
با توجه به اینکه در کلاستر مورد استفاده، شش ماشین پردازشگر داریم و ماشین هفتم وظیفه مدیریت و کنترل پردازش ها را بر عهده دارد، لذا تعداد تکرار مورد بررسی در این سناریو از یک تا شش می باشد. در حالت یک، داده ها فقط یکبار در کلاستر ذخیره شده اند و در حالت شش، یک کپی از کل داده‌ی مورد بررسی در هر یک از ماشین‌ها ذخیره شده است.
• مشاهدات:
همانند سناریوی قبل، هر یک از تست‌ها شش بار اجرا شده است که نتایج آن در جدول ‏49 بر حسب دقیقه نشان داده شده است. ستون آخر حاوی میانگین تمامی اجراهاست که در بررسی ها مورد استفاده قرار گرفته است.
جدول ‏49: نتایج بررسی پارامتر تعداد تکرار
حجم هر تصویر
حجم داده
تعداد تکرار
اجرای اول
اجرای دوم
اجرای سوم
اجرای چهارم
اجرای پنجم
اجرای ششم
میانگین زمان اجرا
6 MB
50 GB
1
1:23:32
1:24:25
1:25:12
1:27:39
1:27:17
1:27:44
1:25:58
6 MB
50 GB
2
1:30:53
1:27:04
1:21:54
1:23:30
1:26:35
1:27:00
1:26:09
6 MB
50 GB
3
1:37:20
1:34:37
1:33:48
1:33:52
1:33:51
1:37:46
1:35:12
6 MB
50 GB
4
1:44:49
1:31:24
1:29:52
1:31:17
1:32:19
1:33:35
1:33:53
6 MB
50 GB
5
1:28:04
1:25:40
1:24:41
1:24:46
1:24:56
1:24:17
1:25:24
6 MB
50 GB
6
1:21:19
1:18:24
1:19:21
1:19:25
1:20:02
1:20:45
1:19:53

  پایان نامه ارشد درمورداوقات فراغت، ابراز وجود، عزت نفس، امام رضا (ع)

نمودار مربوط به جدول ‏49 در شکل ‏410شکل ‏48 نشان داده شده است.

شکل ‏410: نمودار تاثیر تعداد تکرار بر زمان پردازش
• تحلیل:
همانطور که در شکل ‏410 مشاهده می شود با افزایش تعداد تکرار داده ها سرعت پردازش ابتدا قدری افزایش و سپس کاهش می یابد. بطوریکه کمترین زمان پردازش مربوط به حالتی است که بیشترین تکرار داده‌ها را داریم. لذا در این بررسی، با توجه به اینکه شش نود پردازشگر داریم بهترین زمان پردازش مربوط به حالتی است که تعداد تکرار داده ها برابر با شش است. این نتیجه به این علت است که در این حالت تبادل تصاویر ورودی روی شبکه حداقل است و برای پردازش هر تصویر توسط هر ماشینی، نیازی به انتقال تصویر روی شبکه ند
اریم زیرا هر ماشین تمامی تصاویر را بصورت محلی روی خود در اختیار دارد.
همچنین همانطور که مشاهده می شود با در نظر گرفتن میانگین زمان پردازش ها، در حالتی که تعداد تکرار برابر با سه است شاهد بیشترین زمان پردازش هستیم و در حالتی که تکرار برابر با یک و دو است، زمان پردازش کمتر از حالتی است که تعداد تکرار برابر با سه و چهار است. این نتیجه می تواند دلایل بسیاری داشته باشد و پارامترهای زیادی و با درجه اهمیت مختلف ممکن است در این نتیجه موثر باشند. برای مثال زمانی که مستر به دنبال نزدیکترین ماشینی است که حاوی یک تصویر خاص است در حالتی که تعداد تکرار برابر با شش باشد آن داده در همه‌ی ماشین‌ها قرار دارد لذا نزدیکترین ماشین را یافته و یک نسخه از داده را برمی‌دارد. همچنین در حالتی که تعداد تکرار برابر یک است وقتی اولین نسخه از داده را یافت به دنبال نسخه دیگری نمی گردد و اگر تکرار دو باشد نیز نهایتا دو بار تلاش میکند تا دو نسخه ممکن را بیابد ولی در حالتی که تکرار 3 یا 4 است، نیمی از کلاستر داده را دارند و مستر مجبور است کلاستر را پیمایش کرده و نسخه های مختلف تصویر را بیابد و نزدیکترین ماشینی که داده در آن قرار دارد را تعیین کند. بنابراین تعداد تکرار تصاویر به این صورت می تواند بر حجم کاری ماشین Master و بطور کلی بر زمان پردازش تاثیر بگذارد.
علاوه براین هنگام تخصیص یک کار به یک ماشین مستر سعی می کند تا حد ممکن از ویژگی محلی بودن استفاده کند. لذا در حالت Replication=1 سعی می کند کاررا به همان ماشین بسپارد و Replication=2 سعی می کند کار را به یکی از دو ماشین بسپارد اما در حالت‌هایی که تعداد تکرار 3 یا 4 است، مستر به دنبال ماشینی است که اولا حاوی داده مربوطه باشد و ثانیا کارش تمام شده باشد تا کار را به آن بدهد. لذا ممکن است قدری اتلاف وقت داشته باشیم. لازم به ذکر است که گاهی هم داده توسط ماشینی که روی آن قرار دارد پردازش نمی‌شود و روی شبکه ارسال می شود تا توسط ماشین دیگری پردازش شود.
ضمنا وقتی تعداد تکرار برابر با سه است علاوه بر اینکه تصاویر ورودی باید سه بار روی کلاستر تکرار شوند، تصاویر خروجی از پردازش نیز باید سه بار روی کلاستر توزیع شوند100 که این عمل نیز زمانبر بوده و با ایجاد ترافیک در شبکه می تواند بر زمان پردازش تاثیر بگذارد. اما در حالت آخر با وجود اینکه که تصاویر خروجی نیز روی تمام ماشین ها ذخیره می شوند همچنان بهترین زمان پردازش را داریم و این نشان می دهد این پارامتر تاثیر کمتری بر زمان پردازش دارد. لذا میزان تاثیر عوامل مختلف بر زمان پردازش متفاوت است.
همانطور که مشاهده می شود میزان کاهش زمان پردازش در حالتی که تعداد تکرار برابر با شش است نسبت به حالتی که تعداد تکرار یک است، تقریبا 7% است. علی رغم کاهش 7 درصدی زمان پردازش، حجم بسیار بالایی از داده که شش برابر داده اصلی است باید روی فایل سیستم ذخیره شود. گاهی به صرفه نیست که چنین حجمی را روی دیسک ذخیره کنیم تا فقط 7% زمان پردازش کاهش بیابد. هر چه حجم داده اصلی افزایش یابد، حجم حاصل از تکرار آن نیز افزایش یافته و حجم نتایج نیز افزایش می یابد و این مشکل بیشتر نمایان می‌شود. برای مثال در برنامه ای که در این پژوهش بررسی شده است به صرفه نیست GB50 داده را شش بار ذخیره کنیم تا زمان پردازش نسبت به حالتی که هر تصویر فقط یکبار ذخیره شده است، شش دقیقه سریعتر پردازش شود.
همچنین با افزایش تعداد تکرار داده‌ها و به تبع آن افزایش میزان دسترسی به تصاویر، نحوه تاثیر تعداد تکرار بر توان عملیاتی را نیز می توان بررسی کرد که نتیجه بررسی در شکل ‏411 نشان داده شده است. همانطور که در شکل دیده می شود میانگین تعداد تصاویر پردازش شده در هر ثانیه در بهترین حالت 1.81 و در بدترین حالت 1.53 است که تفاوت چندانی با هم ندارند.

  تحقیق رایگان درموردبخش بهداشت و درمان، پرستاران شاغل، منابع سازمان

شکل ‏411: تاثیر تعداد تکرار تصاویر بر توان عملیاتی
بنابراین همانطور که بررسی این پارامتر نشان می دهد، برخی از پارامترها مثل تعداد تکرار داده‌ها روی دیسک، تاثیر چندانی بر سرعت پردازش ندارند. لذا بهتر است تعداد تکرار را برابر مقداری در نظر گرفت که زیاد نباشد چون زمان پردازش‌ها تفاوت چندانی با هم ندارند.
4-4-6- سناریو ششم: بررسی پارامتر حجم داده‌ها
• شرح سناریو:
در این قسمت با افزایش حجم تصاویر ورودی در هر مرحله، قصد داریم نحوه تغییر زمان پردازش با افزایش حجم تصاویر ورودی را بررسی کنیم. در بررسی این پارامتر نیز از کلاستر جدول ‏46 مشخص شده است، استفاده کرده ایم. علاوه‌براین در بررسی این پارامتر نیز همانند پارامتر قبل، برنامه را روی تصاویر با حجم MB6 اجرا کرده ایم. هر تست سه بار تکرار شده است و میانگین آن ها در بررسی ها استفاده شده است.
• مشاهدات:
حجم داده ها در ابتدا برابر با GB10 در نظر گرفته شده است و در هر مرحله GB10 به آن افزوده شده است. نتایج بدست آمده در جدول ‏410 نشان داده شده است. همچنین ستون میانگین جدول نیز در شکل ‏412 نشان داده شده است.
جدول ‏410: تغییر زمان پردازش با افزایش حجم تصاویر ورودی
حجم هر تصویر
حجم داده
تعداد تکرار
اجرای اول
اجرای دوم
اجرای سوم
میانگین زمان اجرا
6 MB
10 GB
3
0:18:27
0:17:24
0:17:47
0:17:53
6 MB
20 GB
3
0:36:06
0:35:24
0:34:46
0:35:25
6 MB
30 GB
3
0:53:27
0:52:21
0:51:26
0:52:25
6 MB
40 GB
3
1:07:57
1:07:36
1:08:36
1:08:03
6 MB
50 GB
3
1:35:29
1:28:02
1:26:19
1:29:57
6 MB
60 GB
3
1:52:55
1:47:
30
1:49:30
1:49:58
6 MB
70 GB
3
2:17:43
2:09:05
2:09:46
2:12:11
6 MB
80 GB
3
2:33:10
2:36:42
2:29:46
2:33:13
6 MB
90 GB
3
2:56:14
2:54:13
2:59:12
2:56:33

  پایان نامه با کلمات کلیدیعملکرد سازمان، بر عملکرد سازمان، عملکرد شرکت، مسئله پژوهش

شکل ‏412: نحوه تغییر زمان پردازش با افزایش حجم تصاویر ورودی
• تحلیل:
در شکل ‏412 خط چین قرمز به خط مستقیم سیر می‌کند و انحراف نمودار از آن نشان دهنده سربار می‌باشد. همانطور که مشاهده می‌شود با افزایش حجم کل تصاویر ورودی، زمان پردازش ابتدا قدری به زیر خط‌چین میل کرده و سپس به سمت بالا برگشته و با افزایش حجم کل تصاویر، کم کم از خط چین فاصله می‌گیرد. با افزایش حجم تصاویر ورودی، در ابتدا سیستم به شکل بهینه‌تری از منابع خود استفاده کرده و زمان صرف شده برای پردازش هر تصویر کاهش می‌یابد. اما با ادامه‌ی افزایش حجم داده ورودی، از مرحله ای به بعد با افزایش پیچیدگی مدیریت داده‌های ورودی و خروجی و نیز افزایش سربار بوجود آمده، زمان پردازش افزایش می یابد. لذا در شرایط این مساله بهترین زمان مربوط به حالتی است که حجم تصاویر ورودی GB40 باشد. زیرا سربار در این مرحله حداقل است.
مقایسه مقدار زمان پردازش در بهترین حالت که مربوط به G40 تصویر است با حالتی که GB80 تصویر داریم نشان می‌دهد که دو برابر شدن حجم تصاویر ورودی، تقریبا 12% سربار به زمان پردازش اضافه می‌کند. گاهی افزوده شدن این مقدار سربار قابل چشم پوشی بوده و نیازی به تقویت کلاستر نیست. لذا بسته به شرایط مساله باید دید که آیا هزینه بیشتر برای ارتقای کلاستر یا اجاره کلاستر در ابر به صرفه است یا هزینه زمان بیشتر برای اجاره کلاستر کوچکتر، که بسته به شرایط تصمیم گیری می‌شود.
4-4-7- سناریو هفتم: تاثیر مقیاس پذیری افقی(Scale Out) بر زمان پردازش
• شرح سناریو:
در بررسی تاثیر مقیاس‌پذیری افقی، همانطور که در شکل ‏413 نشان داده شده است با افزودن نودهای پردازشگر به کلاستر، نحوه اثرگذاری افزایش نود بر سرعت پردازش را بررسی می‌کنیم. اینکه افزودن نود جدید به کلاستر چگونه بر زمان پردازش تاثیر می گذارد. آیا با افزایش تعداد نودهای پردازشگر، زمان پردازش لزوما افزایش می یابد یا خیر. همچنین افزایش یا کاهش سرعت به چه میزان خواهد بود.
حجم داده‌های مورد بررسی GB50 و تعداد تکرار داده‌ها در این آزمایش برابر با دو است. همچنین کلاستر مورد استفاده در ابتدا از یک ماشین مستر و دو ماشین کارگر تشکیل شده است و در هر مرحله یک ماشین کارگر به کلاستر افزوده می شود. در مرحله آخر کلاستر از پانزده ماشین کارگر و یک ماشین مستر تشکیل شده است. مشخصات سخت‌افزاری ماشین‌ها نیز در جدول ‏46 نشان داده‌شده‌است.

شکل ‏413: تغییر مقیاس افقی
[منبع [50]]
• مشاهدات:
هریک از تست ها سه بار اجرا شده اند که در جدول ‏411 نشان داده شده است. میانگین اجراهای مختلف در شکل ‏414 نشان داده شده است.
جدول ‏411: نتایج بررسی تاثیر مقیاس پذیری افقی برزمان پردازش
تعداد ماشین‌های کارگر
حجم هر تصویر
حجم کل تصاویر
تعداد تکرار تصاویر روی کلاستر
اجرای اول
اجرای دوم
اجرای سوم
میانگین زمان اجرا
2
6 MB
50

دیدگاهتان را بنویسید