مقدمه: انقلابی به نام ChatGPT
مدلهای زبانی بزرگ مانند ChatGPT از مجموعهای پیچیده از معادلات برای درک و پاسخ به درخواستهای شما استفاده میکنند. این سیستمها توانستهاند در آزمونهای مدرسه کسبوکار قبول شوند، معلمان را در تشخیص تقلب گیج کنند و به افراد در نوشتن ایمیلهای کاری و شخصی کمک کنند.
اما نکته جالب اینجاست که دقت در پاسخدهی هدف اصلی ChatGPT نیست، بلکه این دقت بیشتر یک محصول جانبی از هدف اصلی آن یعنی تولید متن طبیعی و انسانی است.
در این مقاله قصد داریم نحوه عملکرد ChatGPT را به زبانی ساده بیاموزیم.
فناوری پشت پرده مدلهای زبانی بزرگ
فناوری مورد استفاده در مدلهایی مانند ChatGPT شبیه به پیشبینی متن در تلفن همراه شماست. وقتی در حال تایپ پیامی هستید، تلفن شما با بررسی متن تایپ شده و الگوهای یادگرفته از رفتارهای قبلی شما، احتمالات بعدی را محاسبه میکند.
اما برخلاف سیستم پیشبینی متن تلفن، ChatGPT یک مدل تولیدی (Generative) است. این مدل نه تنها یک پیشبینی واحد انجام میدهد، بلکه میتواند رشتههای متنی معنادار در چندین جمله و پاراگراف تولید کند.
چگونه ChatGPT کلمات را انتخاب میکند؟
درون این سیستم هیچ پایگاه داده یا فرهنگ لغتی برای “درک” کلمات وجود ندارد. در عوض، کلمات به صورت ریاضی و به عنوان مجموعهای از مقادیر پردازش میشوند. این مقادیر میتوانند ویژگیهای مختلف کلمه را نشان دهند، مثلاً:
– آیا کلمه مثبت است یا منفی؟
– شیرین است یا تلخ؟
– پایین است یا بالا؟
این تکنیک که تعبیه کلمه (Word Embedding) نام دارد، از دهه ۱۹۵۰ در زبانشناسی استفاده میشده است. در مدلهای زبانی بزرگ، هر کلمه با صدها ویژگی نمایش داده میشود که دقت بالایی در شناسایی کلمات ایجاد میکند.
فرآیند آموزش مدل
وقتی مدل جدید است، ویژگیهای مرتبط با هر کلمه به صورت تصادفی تنظیم میشوند. برای بهبود این تنظیمات، مدل باید روی حجم عظیمی از داده آموزش ببیند. اینجاست که بخش “بزرگ” در مدل زبانی بزرگ معنا پیدا میکند.
یک سیستم مانند ChatGPT ممکن است روی میلیونها صفحه وب و اسناد دیجیتال آموزش ببیند (مثل ویکیپدیا، سایتهای خبری بزرگ، وبلاگها و کتابهای دیجیتال). مدل با بررسی این دادهها، کلمات را پیشبینی و تنظیمات خود را اصلاح میکند.
زمان و هزینه آموزش
– آموزش مدل GPT-3 (نسخه قبلی ChatGPT) با استفاده از ۱,۰۲۴ واحد پردازش گرافیکی، حدود ۳۴ روز زمان برده است.
– هزینه منابع محاسباتی برای آموزش و اجرای مدلهای زبانی بزرگ ممکن است به میلیونها دلار برسد.
آموزش اضافی: یادگیری تقویتی از بازخورد انسانی
ChatGPT یک لایه آموزش اضافی دارد که یادگیری تقویتی از بازخورد انسانی نامیده میشود. در این مرحله، افراد پاسخهای مدل را ارزیابی و موارد نادرست یا بیربط را علامتگذاری میکنند. این بازخوردها به مدل کمک میکنند تا پاسخهایی منسجم، دقیق و مکالمهای تولید کند.
محدودیتهای ChatGPT
– عدم تضمین دقت: این ابزارها برای مواقعی که به دقت بالا نیاز دارید، توصیه نمیشوند.
– تاریخ قطع دانش: برخی مدلها مانند ChatGPT به اینترنت متصل نیستند و اطلاعات جدید را یاد نمیگیرند.
– وابستگی به دادههای آموزشی: اگر دادههای آموزشی حاوی مطالب خطرناک یا نژادپرستانه باشند، مدل نیز این الگوها را یاد میگیرد.
کاربردهای مفید ChatGPT
– نوشتن نامههای cover
– خلاصهنویسی جلسات
– برنامهریزی وعدههای غذایی
سوال بزرگ آینده
آیا پیشرفتهای آینده میتوانند بر برخی از نقاط ضعف این فناوری غلبه کنند و آن را به ابزاری واقعاً قابل اعتماد تبدیل کنند؟