“آیا تا به حال فکر کرده‌اید که چگونه ایمیل‌های اسپم شما را تشخیص می‌دهند؟ یا چگونه یک سرویس استریم موسیقی می‌تواند با دقت بالایی آهنگ‌هایی را پیشنهاد دهد که دقیقاً به سلیقه شما می‌خورد؟ پشت این تکنولوژی‌های پیچیده، یک فرایند ساده و جذاب وجود دارد که نام آن ‘یادگیری نظارت شده’ است. در این مقاله، در مورد چگونگی کارکرد یادگیری نظارت شده، انواع آن، مزایا و محدودیت‌ها و حتی یک مطالعه موردی جذاب در مورد پیش‌بینی دیابت خواهیم صحبت کرد. اگر همیشه تمایل داشته‌اید بدانید چگونه ماشین‌ها می‌توانند یاد بگیرند و پیش‌بینی‌های دقیق ارائه دهند، این مقاله می‌تواند نقطه شروع شگفت‌انگیزی برای شما باشد.”

یادگیری نظارت شده چیست؟

یادگیری نظارت شده (Supervised Learning) یکی از روش‌های پایه‌ای در حوزه یادگیری ماشین است. در این روش، مدل به کمک داده‌های ورودی (features) و خروجی متناظر (labels) آموزش می‌بیند. داده‌های ورودی می‌توانند هر نوع اطلاعاتی باشند، از تصاویر و متن تا اعداد و داده‌های آماری. خروجی‌ها هم می‌توانند کلاس‌های مختلف (برای مسائل دسته‌بندی) یا اعداد واقعی (برای مسائل پیش‌بینی) باشند.

روند یادگیری به این شکل است که مدل تلاش می‌کند تابعی را یاد بگیرد که بتواند ارتباطی معنادار بین داده‌های ورودی و خروجی را شناسایی کند. این تابع سپس برای پیش‌بینی خروجی برای داده‌های ورودی جدید بدون برچسب استفاده می‌شود.

بیایید یک مثال ساده بزنیم. فرض کنید می‌خواهیم یک مدل یادگیری ماشین برای پیش‌بینی قیمت خانه بر اساس متراژ و سال ساخت آن آموزش ببینیم. در اینجا، متراژ و سال ساخت خانه ویژگی‌های ورودی (features) و قیمت خانه خروجی (label) است. مدل ما در طول فرایند آموزش تلاش می‌کند تا تابعی را یاد بگیرد که بتواند بر اساس متراژ و سال ساخت، قیمت خانه را پیش‌بینی کند. در نهایت، این مدل می‌تواند برای پیش‌بینی قیمت خانه‌های جدید بدون برچسب قیمت استفاده شود.

یادگیری نظارت شده چگونه کار می‌کند؟

یادگیری نظارت شده از دو مرحله کلی تشکیل شده است: آموزش (Training) و تست (Testing).

مرحله آموزش (Training):

در این مرحله، یک مدل یادگیری ماشین با استفاده از داده‌های آموزشی (Training Data) آموزش می‌بیند. این داده‌ها شامل ویژگی‌ها (Features) و برچسب‌های متناظر با آنها (Labels) هستند. به عنوان مثال، اگر ما قصد داریم مدلی برای تشخیص ایمیل‌های هرزنامه (spam) از ایمیل‌های معمولی آموزش دهیم، ویژگی‌ها می‌توانند متن ایمیل و برچسب‌ها می‌توانند نوع ایمیل (هرزنامه یا معمولی) باشند.

مدل در حین فرآیند آموزش تلاش می‌کند تابعی را یاد بگیرد که بتواند برچسب‌ها را بر اساس ویژگی‌ها پیش‌بینی کند. برای این کار، مدل ابتدا یک پیش‌بینی انجام می‌دهد و سپس خطای این پیش‌بینی را با استفاده از یک تابع خطا (Loss Function) محاسبه می‌کند. این خطا نشان‌دهنده فاصله بین پیش‌بینی مدل و برچسب واقعی است.

سپس با استفاده از الگوریتم‌های بهینه‌سازی مثل گرادیان کاهشی (Gradient Descent)، پارامترهای مدل به‌گونه‌ای تنظیم می‌شوند که خطای پیش‌بینی کمینه شود. این فرایند تکرار می‌شود تا مدل بتواند تابعی را یاد بگیرد که برچسب‌ها را با دقت بالا پیش‌بینی کند.

مرحله تست (Testing):

پس از آموزش مدل، وارد مرحله تست یا ارزیابی می‌شویم. در این مرحله، ما از داده‌های تست (Test Data) که مدل قبلاً آن‌ها را ندیده است، استفاده می‌کنیم. این داده‌ها نیز شامل ویژگی‌ها و برچسب‌ها هستند. مدل بر اساس ویژگی‌ها پیش‌بینی می‌کند و پیش‌بینی‌ها با برچسب‌های واقعی مقایسه می‌شوند تا دقت مدل ارزیابی شود.

به طور کلی، هدف از یادگیری نظارت شده این است که مدلی بسازیم که بتواند به صورت دقیق و عمومی تابعی را یاد بگیرد که ویژگی‌ها را به برچسب‌ها تبدیل کند. این توانایی به مدل اجازه می‌دهد تا برچسب‌های داده‌های جدید و دیده نشده را پیش‌بینی کند.

زیرمجموعه‌های یادگیری نظارت شده چیست؟

یادگیری نظارت شده از دیدگاه مختلفی می‌تواند به دو زیر مجموعه اصلی تقسیم شود: یادگیری رگرسیون و یادگیری دسته‌بندی.

1. یادگیری رگرسیون (Regression Learning): در یادگیری رگرسیون، ما می‌خواهیم یک مقدار پیوسته را پیش‌بینی کنیم. برای مثال، فرض کنید شما می‌خواهید قیمت خانه‌ای را بر اساس ویژگی‌های مختلف مثل مساحت زمین، تعداد اتاق‌ها و سن ساختمان پیش‌بینی کنید. در این موارد، شما از یادگیری رگرسیون استفاده می‌کنید. برخی از الگوریتم‌های معروف برای این نوع یادگیری شامل رگرسیون خطی، رگرسیون لاجیت، رگرسیون ریدج، و رگرسیون لاسو هستند.
2. یادگیری دسته‌بندی (Classification Learning): در یادگیری دسته‌بندی، هدف ما تعیین کلاس یا دسته‌ای است که یک نمونه متعلق به آن است. برای مثال، می‌توانید می‌خواهید تصمیم بگیرید که یک ایمیل یک ایمیل هرزنامه است یا نه، یا شاید شما می‌خواهید تصمیم بگیرید که یک تصویر یک گربه را نشان می‌دهد یا سگ. در این موارد، شما از یادگیری دسته‌بندی استفاده می‌کنید. برخی از الگوریتم‌های معروف برای این نوع یادگیری شامل درخت تصمیم، شبکه‌های عصبی، ماشین‌های بردار پشتیبان (SVM)، و رگرسیون لجستیک هستند.

در هر دو زیرمجموعه یادگیری نظارت شده، هدف اصلی یادگیری تابعی است که می‌تواند خروجی مورد نظر را برای ورودی‌های جدید با دقت بالا پیش‌بینی کند.

انواع الگوریتم های یادگیری تحت نظارت (Supervised Learning)

در یادگیری تحت نظارت، ما با دو دسته از الگوریتم‌ها مواجه هستیم: رگرسیون و دسته‌بندی.

الگوریتم‌های رگرسیون:

1. رگرسیون خطی (Linear Regression): این الگوریتم یک رابطه خطی را بین ویژگی‌های ورودی و خروجی مدل می‌سازد. برای مثال، شما می‌توانید از رگرسیون خطی برای پیش‌بینی قیمت یک خانه بر اساس ویژگی‌هایی مانند اندازه و سن استفاده کنید.
2. رگرسیون لاسو (Lasso Regression) و رگرسیون ریدج (Ridge Regression): این دو روش از تکنیک‌های منظم‌سازی استفاده می‌کنند تا مدل را از بیش‌برازش (overfitting) جلوگیری کنند و برای مسائل با داده‌های بزرگ و پیچیده بسیار مفید هستند.

الگوریتم‌های دسته‌بندی:

1. رگرسیون لجستیک (Logistic Regression): رگرسیون لجستیک الگوریتمی است برای دسته‌بندی دوتایی. به عنوان مثال، این الگوریتم می‌تواند برای تشخیص ایمیل هرزنامه استفاده شود، که در اینجا خروجی دو کلاس “هرزنامه” و “غیر هرزنامه” است.
2. درخت تصمیم (Decision Trees) و جنگل تصادفی (Random Forests): این الگوریتم‌ها از ساختار درختی برای دسته‌بندی استفاده می‌کنند. برای مثال، شما می‌توانید یک درخت تصمیم را برای تشخیص آیا یک تراکنش مالی فرود است یا خیر، استفاده کنید.
3. شبکه‌های عصبی (Neural Networks): این الگوریتم‌ها قادر به مدل کردن مسائل پیچیده و غیر خطی هستند. به عنوان مثال، یک شبکه عصبی کانولوشنال (CNN) می‌تواند برای تشخیص تصاویر دسته‌بندی شود، مانند تشخیص تصاویر گربه از تصاویر سگ.

هر یک از این الگوریتم‌ها نقاط قوت و ضعف خاص خود را دارد و انتخاب بهترین الگوریتم بستگی به نوع مسئله، داده‌ها و منابع موجود دارد.

مزایای یادگیری با ناظر چیست؟

1. دقت بالا: با توجه به اینکه در یادگیری نظارت شده از برچسب‌های واقعی (target labels) استفاده می‌شود، می‌تواند با دقت بسیار بالا پیش‌بینی‌هایی انجام دهد. در بسیاری از مسائل پیچیده، یادگیری نظارت شده بهترین عملکرد را نسبت به سایر روش‌ها ارائه می‌دهد.
2. بازخورد واضح: در یادگیری نظارت شده، مدل با توجه به اینکه برچسب‌های واقعی موجود هستند، می‌تواند بازخورد مستقیم و واضح دریافت کند. این امکان را به مدل می‌دهد که خطاهای خود را بفهمد و از آن‌ها یاد بگیرد.
3. پیاده‌سازی ساده: الگوریتم‌های یادگیری نظارت شده اغلب بسیار مستقیم و روشن هستند و درک و پیاده‌سازی آن‌ها نسبتاً آسان است.
4. استفاده از داده‌های برچسب‌دار: یادگیری نظارت شده از داده‌های برچسب‌دار استفاده می‌کند، که در بسیاری از موارد، برچسب‌ها از کارشناسان در زمینه مربوطه به دست آمده و اطلاعات قابل اعتماد و دقیقی را ارائه می‌دهند. این برچسب‌ها می‌توانند به مدل کمک کنند تا الگوهای معنی‌دارتری را در داده‌ها کشف کند.
5. مسائل مختلف: یادگیری نظارت شده در مجموعه وسیعی از مسائل، از تشخیص ایمیل‌های هرزنامه گرفته تا پیش‌بینی قیمت خانه‌ها و تشخیص سرطان، کاربرد دارد.

به طور کلی، یادگیری نظارت شده روشی قدرتمند برای پیش‌بینی و تشخیص الگوها در داده‌ها است.

معایب و محدودیت‌ های یادگیری با ناظر چیست؟

با وجود تمامی مزایای یادگیری نظارت شده، همچنان محدودیت‌ها و چالش‌هایی وجود دارد:

1. نیاز به داده‌های برچسب‌دار: یکی از بزرگترین چالش‌های یادگیری نظارت شده نیاز به مجموعه داده‌های بزرگ با برچسب است. در بسیاری از موارد، برچسب‌زنی داده‌ها می‌تواند زمان‌بر، گران و یا حتی غیرممکن باشد.
2. بیش‌برازش (Overfitting): یادگیری نظارت شده ممکن است منجر به بیش‌برازش شود، به این معنی که مدل بیش از حد به داده‌های آموزشی توجه کرده و در نتیجه عملکرد ضعیفی روی داده‌های تست داشته باشد.
3. بایاس و واریانس: مانند سایر الگوریتم‌های یادگیری ماشین، یادگیری نظارت شده نیز با مشکل بایاس-واریانس (Bias-Variance Tradeoff) مواجه است. اگر مدل بسیار ساده باشد (بایاس بالا، واریانس پایین)، از یادگیری الگوهای پیچیده داده‌ها باز می‌ماند و اگر مدل بسیار پیچیده باشد (بایاس پایین، واریانس بالا)، ممکن است به نویزها و خطاهای خاص داده‌های آموزشی یاد بدهد، که باعث بیش‌برازش می‌شود.
4. مسائل با برچسب‌های نامتعادل: در برخی موارد، مجموعه داده‌ها ممکن است برچسب‌های نامتعادل داشته باشد – یعنی یک کلاس نمونه‌های بسیار بیشتری نسبت به دیگری دارد. در این موارد، الگوریتم‌های یادگیری نظارت شده ممکن است به کلاس اکثریت سوق پیدا کنند و عملکرد ضعیفی در تشخیص نمونه‌های کلاس کمتر داشته باشند.
5. عدم توانایی در یادگیری بدون ناظر: یادگیری نظارت شده توانایی یادگیری بدون ناظر را ندارد. این محدودیت در مواردی که داده‌های برچسب‌دار کم هستند یا امکان استخراج برچسب از داده‌ها وجود ندارد، مشکل‌ساز است.

تشریح مراحل یک پروژه آموزشی با یادگیری نظارت شده

مرحله 1: ایده و هدف

هدف اصلی این پروژه، پیش‌بینی احتمال مبتلا شدن به دیابت است با استفاده از داده‌های پزشکی و شخصی بیماران. این مدل قادر خواهد بود به پزشکان کمک کند تا ریسک ابتلا به دیابت را در آینده تشخیص دهند و بتوانند با ارائه رژیم و راهکارهای پیشگیری، به بیماران کمک کنند.

مرحله 2: انتخاب دیتاست

دیتاست “Pima Indians Diabetes Database” از UCI Machine Learning Repository انتخاب شده است. این دیتاست شامل 8 ویژگی پزشکی (مانند سن، فشار خون، ضخامت پوست، سطح انسولین، و …) و یک برچسب که نشان می‌دهد فرد مبتلا به دیابت است یا خیر.

مرحله 3: پیش‌پردازش داده‌ها

پیش از آموزش مدل، داده‌ها باید پاکسازی شوند. هرگونه داده‌های گمشده باید تشخیص داده و جایگزین شوند (به وسیله میانگین ویژگی یا حذف رکوردها). همچنین، داده‌ها باید به صورت عددی باشند و برای الگوریتم‌های خاصی، داده‌ها باید نرمال شوند.

مرحله 4: انتخاب الگوریتم

با توجه به ماهیت مسئله (یعنی کلاسیفیکیشن باینری – بیمار یا سالم)، الگوریتم “Random Forest” انتخاب شده است. این الگوریتم با ساخت چندین درخت تصمیم و انتخاب پیش‌بینی با بیشترین رأی، عملکرد خوبی در مسائل کلاسیفیکیشن دارد.

مرحله 5: آموزش و تست مدل

بعد از آماده‌سازی داده‌ها و انتخاب الگوریتم، داده‌ها به دو مجموعه آموزش و تست تقسیم شده و مدل با استفاده از داده‌های آموزش آموزش داده می‌شود. سپس، عملکرد مدل با استفاده از داده‌های تست ارزیابی می‌شود. اگر عملکرد مدل قابل قبول باشد، مدل برای استفاده در پیش‌بینی دیابت در آینده آماده است.

مرحله 6: به‌کارگیری و ارزیابی

مدل نهایی می‌تواند به بیمارانی که در معرض خطر ابتلا به دیابت هستند، شناسایی کند و به پزشکان کمک کند تا درمان مناسب و به موقع ارائه دهند. با استفاده از فیدبک بالینی، می‌توان عملکرد مدل را در زمان واقعی ارزیابی و بهبود بخشید.

جمع بندی

یادگیری نظارت شده یکی از پرکاربردترین شاخه‌های یادگیری ماشین است. در این متد، ماشین یک مجموعه داده آموزشی با برچسب‌ها را می‌بیند و سعی می‌کند الگوهایی را یاد بگیرد تا بتواند برچسب‌های جدید را پیش‌بینی کند.

یادگیری نظارت شده دو زیرشاخه اصلی دارد: رگرسیون و دسته‌بندی. رگرسیون زمانی استفاده می‌شود که برچسب هدف یک متغیر پیوسته است، مانند قیمت خانه. دسته‌بندی زمانی استفاده می‌شود که برچسب هدف یک متغیر غیرپیوسته یا دسته‌ای است، مانند اینکه یک ایمیل اسپم است یا خیر.

یادگیری نظارت شده مزایایی دارد مانند دقت بالا در پیش‌بینی، اما همچنین معایب و محدودیت‌هایی دارد، مانند نیاز به داده‌های برچسب‌دار بسیار و زمان زیاد برای آموزش.

ما مطالعه موردی یک پروژه یادگیری نظارت شده را بررسی کردیم که در آن با استفاده از الگوریتم Random Forest، ریسک ابتلا به دیابت را بر اساس داده‌های پزشکی بیماران پیش‌بینی کردیم.

در کل، یادگیری نظارت شده ابزار قدرتمندی است که با استفاده مناسب، می‌تواند به حل چالش‌های مختلف کمک کند، از پیش‌بینی بیماری‌ها تا تشخیص اسپم و بسیاری موارد دیگر.