پاسخ کوتاه: VRAM حافظه اختصاصی کارت گرافیک است و در دنیای هوش مصنوعی، مهمترین عدد سختافزاری: تعیین میکند چه مدلی اصلاً روی دستگاه شما جا میشود. وزنهای مدل باید تماماً در VRAM بارگذاری شوند؛ مدلی ۱۲ میلیارد پارامتری با کوانتیزیشن ۴بیتی حدود ۷ تا ۸ گیگابایت VRAM میخواهد. کمبود VRAM — نه سرعت پردازنده — گلوگاه اصلی اجرای محلی مدلهاست و معماری «حافظه یکپارچه» پاسخ تازه سازندگان به همین محدودیت است.
معادل انگلیسی: VRAM
پرسشهای پرتکرار درباره حافظه ویدیویی
برای اجرای مدل زبانی چقدر VRAM لازم است؟
قاعده سرانگشتی با کوانتیزیشن ۴بیتی: هر میلیارد پارامتر حدود ۰٫۶ گیگابایت. مدل ۸ میلیاردی ۵ گیگابایت، ۱۲ میلیاردی ۷ تا ۸ گیگابایت و ۷۰ میلیاردی بیش از ۴۰ گیگابایت میخواهد.
اگر VRAM کم بیاید چه میشود؟
بخشی از مدل به RAM معمولی منتقل میشود و سرعت تولید بهشدت — گاهی دهها برابر — افت میکند؛ یا اجرا کلاً شکست میخورد. به همین دلیل انتخاب سطح کوانتیزیشن متناسب با VRAM حیاتی است.
حافظه یکپارچه چیست؟
معماریای که CPU و GPU از یک استخر حافظه مشترک استفاده میکنند (مثل تراشههای اپل)؛ به مدلهای بزرگ اجازه میدهد از کل حافظه سیستم بهره ببرند و جایگزین VRAM مجزا میشود.