با جايگذاري، با استفاده از کرنل، مسئله دوگان در فضاي ويژگيها به صورت زير داده شده است.

بردارهاي پشتيبان الگوهايي هستند که ضرايب لاگرانژ متناظر آنها در رابطهصدق کند.تعدادي از بردارهاي پشتيبان که ضرايب لاگرانژ متناظر آنها در رابطهصدق کند و تعداد آنهااست که براي محاسبه b استفاده ميشود.

تابع تصميم گيري به صورت زير خواهد بود :

2-8-9 انواع کرنل ها
همان طور که بيان شد تابع کرنل براي نگاشت فضاي ورودي به يک فضاي ويژگي با ابعاد بالاتر به کار مي رود(H بعد فضاي ويژگي ها و N بعد فضاي ورودي ميباشد)، که اين نگاشت باعث افزايش ظرفيت تصميم گيري در آموزش SVM ميگردد.کرنل هاي متفاوتي براي اين موضوع وجود دارند که تفاوت آنها در بعد VC، خاصيت هموارسازي و توان تعميم پذيري بر روي مجموعه داده است.در ادامه به معرفي برخي از کرنل ها ميپردازيم.
2-8-9-1 کرنل چند جمله اي72
فرم کلي اين کرنل ها در فضاي به صورت زير ميباشد:

براي اين کرنل بعد فضاي ويژگي ها برابر با و در نتيجه بعد VC مربوط به SVM هايي که توسط اين کرنل ها ساخته ميشوند برابر با است.
با استفاده از اين کرنل ها، سطح تصميم گيري در فضاي وروديبه شکل منحني چند جمله اي از درجه d در ميآيد.
2-8-9-2 کرنل هاي شبکه عصبي73
استفاده از طبقه بندي کنندههاي شبکه عصبي نياز به تعريف خاص معماري، تعداد لايه ها و واحدهاي تشکيلدهنده هر لايه دارد.وقتي از کرنلهاي هلالي شکل(S مانند) به فرم براي يک خاص استفاده ميکنيم، SVM ميتواند به عنوان يک لايه مخفي طبقه بندي کننده شبکه عصبي با تعداد واحدهاي برابر با تعداد sv ها در نظر گرفته شود. در اين حالت وزن هاي اتصالات از ورودي به لايه مخفي برابر با مقدار sv ها ميباشند و به همين ترتيب وزن هاي اتصالات از لايه مخفي به خروجي برابر با پارامترهاي آموزش هستند.
2-8-9-3 کرنل هاي گوسي74
فرم اين کرنل ها مطابق زير مي باشد :

اين کرنل ها يک ضرب نقطه اي در فضايي با ابعاد نامحدود بوده و جداپذيري دو مجموعه با برچسب هاي متفاوت را تضمين ميکنند.اگرچه بعد VC يک مجموعه از SVM اموزش ديده شده با استفاده از کرنل گوسي نامحدود است ولي عملکرد اين کرنل در عمل وقتي که درست انتخاب شود بسيار خوب است. اگر خيلي بزرک انتخاب شود فرم نمايي کرنل تقريبا به صورت خطي عمل ميکند و ميتواند بيانگر يک نگاشت خطي به فضاي ويژگي ها با ابعاد بالاتر باشد که بي فايده به نظر ميرسد.(شکل د- با=1000 )
از طرف ديگر اگر خيلي کوچک انتخاب شود تابع کرنل انعطاف پذير نميباشد و در نتيجه مرز تصميم گيري ناهموار و نسبت به داده هاي نويزي داراي حساسيت بالا ميباشد]11[. (شکل ج- با 10=)
بنابراين با انتخاب مناسب ميتوان مشکلات بالا را حل کرد. (شکل ب- با=50 )

معمولا انتخاباينگونه انجام ميشود که ابتدا طبقه بندي کننده SVM را با هاي مختلف آموزش داده، سپس اي را براي طبقه بندي کننده انتخاب ميکنيم که کمترين نرخ خطا را روي يک مجموعه معتبر داشته باشد(شکل 2-16).

2-9 تکنيک هاي پيش پردازش نامتوازن
مشکل عدم توازن در بسياري از حوزه هاي نرم افزار وجود دارد که از آنها ميتوان به اين موارد اشاره کرد: تشخيص نشت نفت در تصاوير ماهواره اي، طبقه بندي متن، مديريت ريسک، بازيابي اطلاعات و وظايف فيلترينگ، تشخيص پزشکي(مانند بيماري نادر و تشخيص جهش ژنتيکي نادر)، تشخيص نفوذ، تشخيص تقلب و .. از ديدگاه برنامه هاي کاربردي، ماهيت عدم تعادل در دو مورد اتفاق ميافتد: داده ها به طور طبيعي نامتعادل هستند (مانند تقلب در کارت هاي اعتباري و بيماري هاي نادر) و يا اينکه داده ها به طور طبيعي نامتعادل نيستند اما به دست آوردن اطلاعات مربوط به کلاس اقليت هزينه زيادي را در بردارد]34[.
ماشين بردارپشتيبان يک تکنيک يادگيري ماشين است.اين تکنيک به دليل تمام مزيت هاي نظري و عملي آن، مانند قابليت تعميم بالا و توانايي پيداکردن راه حل هاي غيرخطي و عمومي طبقه بندي در ميان محققان داده کاوي و يادگيري ماشين بسيار محبوب شده است. اگرچه SVM در برخورد با مجموعه داده هاي متوازن به خوبي عمل ميکند اما در مواجهه با مجموعه داده هاي نامتوازن، نتايج کمتر از حد مطلوب توليد ميکند.به همين دليل کلاسه بند SVM مدل هايي با بهينگي کمتر از حد مطلوب توليد مينمايد که به سمت کلاس اکثريت گرايش داشته و مانند بسياري از پارادايمهاي طبقهبندي در ارتباط با کلاس اقليت کارايي پاييني دارد.براي کاهش اين مشکل SVM، تکنيک هاي الگوريتمي و روش هاي متفاوت پيش پردازش داده ارائه شده است.در اين بخش به بررسي و تشريح اين تکنيک ها ميپردازيم.

2-9-1 ماشين بردار پشتيبان و مشکل عدم توازن کلاس
اگرچه SVMها براي مجموعه داده هاي متوازن، نتايج موثري را توليد ميکنند اما آنها به عدم توازن در مجموعه داده ها حساس هستند و مدلهايي با بهينگي کمتر75 را توليد ميکنند. مطالعاتي در اين زمينه صورت گرفت و دلايلي در ارتباط با اينکه چرا ماشين بردار پشتيبان ميتواند به عدم توازن کلاس حساس باشد، ارائه شد.اين دلايل در زير مورد بحث قرار ميگيرد.
2-9-1-1 عيب مشکل بهينه سازي با ناحيه مرزي نرم
استفاده از مدل SVM براي مجموعه داده نامتوازن، باعث ميشود که ابرصفحه جدا کننده به سمت کلاس اقليت منحرف شود و اين عدم تقارن ميتواند کارايي مدل را در ارتباط با کلاس اقليت کاهش دهد]16[.اين پديده را ميتوان به صورت زير تشريح کرد :
فرمول تابع هدف براي بهينه سازي ناحيه مرزي نرم SVM را در نظر بگيريد :

بخش اول تابع هدف بر به حداکثر رساندن حاشيه تمرکز ميکند، در حالي که بخش دوم تلاش ميکند تا جريمه طبقه بندي اشتباه را کاهش دهد.پارامتر تنظيمC 76 نيز ميتواند به عنوان هزينه طبقهبندي اشتباه تخصيص داده شده، در نظر گرفته شود. از اين رو، ما براي تمام نمونه هاي اموزشي، يک هزينه طبقه بندي اشتباه يکسان را درنظر ميگيريم(يک مقدار يکسان براي همه نمونه هاي مثبت و منفي).به منظور کاهش جريمه، تعداد کل طبقه بنديهاي اشتباه را بايد کاهش داد.
وقتي که مجموعه داده نامتوازن است، تراکم نمونه هاي کلاس اکثريت، حتي در اطراف ناحيه مرزي کلاس77(جايي که ابرصفحه مطلوب عبور ميکند)، بيشتر از نمونه هاي کلاس اقليت است. در اينجا کلاس اکثريت را به عنوان کلاس منفي، و کلاس اقليت را به عنوان کلاس مثبت در نظر ميگيريم.براي اينکه تعداد طبقه بندي اشتباه در يادگيري SVM کاهش يابد، ابرصفحه جداکننده ميتواند به سمت کلاس اقليت شيفت يابد(منحرف شود78). اين تغيير مکان/مورب بودن، باعث توليد پيشگوييهاي منفي غلط79 بيشتري ميشود و کارايي مدل را براي کلاس مثبت اقليت80 کاهش ميدهد.زماني که عدم توازن کلاس زياد باشد، SVM ميتواند مدل هايي را توليد کند که ابرصفحه ي آنها به شدت مورب است و حتي ممکن است تمام نمونه ها را به عنوان نمونه هاي منفي تشخيص دهد]18[.
2-9-1-2 نسبت بردار پشتيبان نامتوازن81
افزايش عدم توازن داده هاي اموزشي باعث ميشود که نسبت بردارهاي پشتيبان مثبت و منفي نيز نامتقارنتر شود]18[. فرض بر اين بود که در نتيجه اين عدم توازن، همسايگي يک نمونه تست که نزديک به مرز قرار دارد، به احتمال زياد تحت تسلط بردارهاي پشتيبان منفي قرار ميگيرد و از اين رو، بيشتر احتمال دارد که تابع تصميم گيري، نقطه مرزي را به عنوان منفي طبقه بندي کند.اما اين تصور بدين صورت مورد بحث قرار گرفت که با توجه به محدوديت?_(i=1)^l??y_i ?_i ?=0 ، ? ??_i مربوط به هر بردار پشتيبان مثبت بايد از نظر مقدار از بردارهاي پشتيبان منفي بيشتر باشد.در واقع اين مقادير به عنوان وزن در تابع تصميم نهايي عمل ميکنند (فرمول 2-33). و از اين رو، ?_i بزرگتر در بردارهاي پشتيبان مثبت، وزن بيشتري را از بردارهاي پشتيبان منفي دريافت ميکنند، که باعث کاهش تاثير عدم توازن در بردارهاي پشتيبان ميشود.اين ميتواند دليل بر اين موضوع باشد که چرا SVM در مقايسه با ساير الگوريتم هاي يادگيري ماشين براي مجموعه داده نسبتا مورب، خيلي بد عمل نميکند]18[.
در ادامه اين فصل به بررسي روش هاي موجود ميپردازيم.اين روش ها مسئوليت رسيدگي به مشکل عدم توازن کلاس براي SVM را دارند.اين روش ها به دو بخش روشهاي پيش پردازش داده (روشهاي خارجي) و روشهاي اصلاح الگوريتمي SVM (روشهاي داخلي) تقسيم ميشوند.

2-9-2 روشهاي يادگيري عدم توازن خارجي82 براي SVM (روشهاي پيش پردازش داده)
2-9-2-1 روشهاي نمونه برداري دوباره83
روشهاي نمونه برداري در يادگيري نامتوازن باعث اصلاحات مجموعه داده نامتوازن ميشوند.اين اصلاحات به منظور ارائه يک توزيع متعادل صورت ميگيرد.مطالعات نشان ميدهد که کلاسهبندهاي پايه براي مجموعه داده متوازن، عملکرد طبقه بندي بهتري را نسبت به مجموعه داده نامتوازن فراهم ميکنند.اين موضوع استفاده از روشهاي نمونه برداري براي مجموعه داده هاي نامتوازن را توجيه ميکند.اما کلاسه بندها نميتوانند از مجموعه داده هاي نامتوازن ياد بگيرند.
برخي روشهاي پيش پردازش داده براي متعادل کردن مجموعه داده که ميتوانند قبل از آموزش مدل SVM بکار رود عبارتند از : زير نمونه برداري تصادفي و متمرکز84 ، بيش نمونه برداري تصادفي و متمرکز85 و همچنين روشهاي توليد داده هاي مصنوعي مانند SMOTE. از اين روشها در حوزه هاي مختلفي براي آموزش SVM با مجموعه داده هاي نامتوازن استفاده شده است.
توزيع متوازن را ميتوان از طريق زيرنمونه برداري کلاس اکثريت، بيش نمونه برداري کلاس اقليت، ترکيب اين روش ها و روش هاي نمونه برداري پيشرفته بدست آورد که در ادامه به توضيح برخي از آنها ميپردازيم.
2-9-2-1-1زير نمونه برداري86
در اين روش زيرمجموعه اي از مجموعه داده اصلي از طريق حذف برخي از نمونه ها انتخاب ميشود.معمولا کلاس اکثريت تحت زيرنمونه برداري قرار ميگيرد. يکي از روش هاي زيرنمونه برداري غير اکتشافي، زيرنمونه برداري تصادفي است. در اين روش سعي ميشود تا از طريق حذف تصادفي نمونه هاي کلاس اکثريت به تعادل در کلاس دست يابيم.اين روش منجر به دور انداختن اطلاعات بالقوه مفيدي ميشود که ممکن است براي کلاسه بندها مهم باشند.چندين روش اکتشافي نيز وجود دارد که در آن روشها از فرضيه هاي مختلفي براي انتخاب نمونه هاي نويز استفاده ميشود. در برخي از اين روش ها، نمونه هايي که نزديک به مرز طبقه بندي دو کلاس قرار دارند به عنوان نويز در نظر گرفته ميشوند و در برخي از روش هاي ديگر نمونه هايي که بيشتر همسايگان آنها داده هايي با برچسب هاي گوناگون هستند به عنوان نويز در نظر گرفته ميشوند]38[.
2-9-2-1-2بيش نمونه برداري
در بيش نمونه برداري، نمونه هايي به مجموعه داده اصلي اضافه ميشود.اين کار از طريق کپي کردن نمونه هاي موجود و يا ايجاد نمونه هاي جديد صورت ميگيرد. بيش نمونه برداري تکراري روشي غيراکتشافي است که از طريق کپي کردن و تکثير نمونه هاي کلاس اقليت، منجر به ايجاد تعادل در توزيع کلاس ميشود.اين روش داراي کمبودهايي است. نخست آنکه احتمال وقوع بيش برازش را افزايش ميدهد. زيرا در اين روش نمونه هاي کلاس اقليت دقيقا کپي ميشوند. دوم آنکه اين روش باعث افزايش زمان فرايند يادگيري ميشود.
چندين روش اکتشافي بيش نمونه برداري بر مبناي روش بيش نمونه برداري اقليت مصنوعي(SMOTE)87 وجود دارد.در اين روش براي بيش نمونه برداري کلاس اقليت، نمونه هاي مصنوعي ساخته ميشود و از کپي کردن نمونه ها استفاده نميشود.در واقع از طريق درون يابي نقاط داده اي

دسته بندی : No category

دیدگاهتان را بنویسید