پاسخ کوتاه: RLHF روشی است که رفتار مدل زبانی را با ترجیحات انسانی همراستا میکند: انسانها پاسخهای مختلف مدل را رتبهبندی میکنند، از این رتبهبندیها یک «مدل پاداش» ساخته میشود و سپس مدل اصلی با یادگیری تقویتی طوری تنظیم میشود که پاسخهای محبوبتر تولید کند. همین فرایند است که مدل خام پیشبینی متن را به دستیار مؤدب، مفید و پیرو دستورالعمل تبدیل میکند؛ ChatGPT اولین محصول بزرگی بود که قدرت این روش را نشان داد.
معادل انگلیسی: RLHF
پرسشهای پرتکرار درباره یادگیری تقویتی با بازخورد انسانی
چرا RLHF لازم است؟
چون مدل خام فقط ادامهدادن متن را بلد است؛ نه دستور را دنبال میکند و نه ملاحظات ایمنی دارد. RLHF این شکاف بین «پیشبینی متن» و «دستیار مفید» را پر میکند.
عیب RLHF چیست؟
گران و کند است و ممکن است مدل را بیش از حد محافظهکار یا چاپلوس کند — یعنی مدل چیزی را بگوید که ارزیابها میپسندند، نه لزوماً درستترین پاسخ را.
جایگزینهای RLHF چیست؟
روشهایی مانند DPO که بدون مدل پاداش جداگانه مستقیماً از داده ترجیحات یاد میگیرند، و RLAIF که بازخورد را بهجای انسان از یک مدل قوی میگیرد؛ هر دو ارزانتر و سادهترند.