پاسخ کوتاه: تقطیر مدل فرایندی است که دانش یک مدل بزرگ و قوی («معلم») به مدلی بسیار کوچکتر («شاگرد») منتقل میشود: شاگرد بهجای داده خام، روی خروجیها و الگوهای پاسخ معلم آموزش میبیند و بخش عمده کیفیت او را با کسری از اندازه و هزینه به دست میآورد. تقریباً همه مدلهای کوچک و سریع تجاری ۲۰۲۶ محصول تقطیرند؛ همین تکنیک اجرای هوش مصنوعی روی موبایل و لپتاپ را ممکن کرده است.
معادل انگلیسی: Model Distillation
پرسشهای پرتکرار درباره تقطیر مدل
تفاوت تقطیر و کوانتیزیشن چیست؟
کوانتیزیشن همان مدل را با دقت عددی کمتر فشرده میکند؛ تقطیر مدل جدید و کوچکتری میسازد که رفتار مدل بزرگ را تقلید میکند. این دو اغلب با هم ترکیب میشوند.
آیا مدل تقطیرشده بهخوبی معلم است؟
در حوزههای تمرکز آموزش به آن نزدیک میشود، اما معمولاً در استدلالهای پیچیده و موارد نادر ضعیفتر است؛ معاملهای آگاهانه بین کیفیت و هزینه/سرعت.
آیا تقطیر از مدل رقیب مجاز است؟
شرایط استفاده اکثر ارائهدهندگان بزرگ، آموزش مدل رقیب با خروجیهایشان را ممنوع میکند؛ این موضوع در سالهای اخیر به مناقشات حقوقی و ژئوپلیتیکی جدی تبدیل شده است.