پاسخ کوتاه: کوانتیزیشن تکنیک فشردهسازی مدلهای هوش مصنوعی است که دقت عددی وزنها را کاهش میدهد — مثلاً از اعداد ۱۶بیتی به ۴بیتی — تا مدل حافظه بسیار کمتری مصرف کند و روی سختافزار ضعیفتر اجرا شود. یک مدل ۱۲ میلیارد پارامتری که در حالت عادی بیش از ۲۴ گیگابایت حافظه میخواهد، پس از کوانتیزیشن ۴بیتی در حدود ۷ گیگابایت جا میگیرد و روی لپتاپ معمولی اجرا میشود؛ بهایش افت جزئی و معمولاً قابلقبول کیفیت است.
معادل انگلیسی: Quantization
پرسشهای پرتکرار درباره کوانتیزیشن
فرمت GGUF چیست؟
قالب رایج ذخیره مدلهای کوانتیزهشده برای اجرای محلی است که ابزارهایی مانند llama.cpp و Ollama از آن استفاده میکنند. پسوندهایی مثل Q4_K_M سطح و روش کوانتیزیشن را نشان میدهند.
کوانتیزیشن چقدر کیفیت را کم میکند؟
در سطح ۸بیت افت تقریباً نامحسوس است و در ۴بیت معمولاً چند درصد در بنچمارکها؛ در سطوح تهاجمیتر مانند ۲بیت، افت کیفیت محسوس میشود و برای کارهای دقیق توصیه نمیشود.
آیا کوانتیزیشن فقط برای اجرای محلی است؟
خیر؛ ارائهدهندگان ابری هم برای کاهش هزینه سرویسدهی از آن استفاده میکنند، اما بیشترین اثرش دموکراتیزهکردن اجرای مدل روی سختافزار شخصی بوده است.