پاسخ کوتاه: ترکیب متخصصان معماریای است که مدل را از دهها زیرشبکه «متخصص» میسازد و برای هر توکن فقط چند متخصص مرتبط را فعال میکند. نتیجه، مدلی با ظرفیت کل عظیم اما هزینه اجرای بسیار کمتر است: مثلاً مدلی با صدها میلیارد پارامتر کل که در هر لحظه تنها کسری از آنها محاسبه میشود. DeepSeek و بسیاری از مدلهای پیشتاز ۲۰۲۶ با همین معماری، کیفیت بالا را با هزینه پایین ممکن کردهاند.
معادل انگلیسی: Mixture of Experts (MoE)
پرسشهای پرتکرار درباره ترکیب متخصصان
MoE چگونه هزینه را کم میکند؟
چون در هر گام تولید فقط متخصصهای انتخابشده (مثلاً ۸ از ۲۵۶) محاسبه میشوند، هزینه پردازش متناسب با «پارامترهای فعال» است نه کل پارامترها؛ ظرفیت دانش بالا میماند و هزینه پایین.
چه کسی متخصصها را انتخاب میکند؟
شبکه کوچکی به نام روتر (Router) که همراه مدل آموزش دیده، برای هر توکن تصمیم میگیرد کدام متخصصها فعال شوند؛ این انتخاب خودکار است و از بیرون تعیین نمیشود.
عیب معماری MoE چیست؟
کل وزنها باید در حافظه باشند حتی اگر بخش کوچکی فعال شود؛ بنابراین MoE هزینه محاسبه را کم میکند اما نیاز به VRAM را نه — چالش اصلی اجرای محلی این مدلها همین است.