DeepSeek-V4: پایان انحصار با معماری Engram و حافظه شرطی

در اردیبهشت ۱۴۰۵، شرکت DeepSeek با معرفی DeepSeek-V4، بار دیگر قوانین حاکم بر اقتصاد هوش مصنوعی و طراحی معماری مدل‌های زبانی را بازنویسی کرد. در حالی که رقبای بزرگ غربی همچنان بر افزایش تعداد پارامترها و تکیه بر قدرت محاسباتی خام تمرکز داشتند، تیم DeepSeek با معرفی معماری انقلابی Engram (حافظه شرطی) و ارتقای چشمگیر مکانیزم MLA، موفق شد عملکردی در سطح مدل‌های پیشرو (مانند GPT-5 و Claude 4.7) را با هزینه‌ی استنتاجی معادل یک‌دهم آن‌ها ارائه دهد. این تحول نشان‌دهنده بلوغ استراتژی «کارایی برتر از مقیاس» است که DeepSeek از سال ۲۰۲۴ با جدیت دنبال کرده است.

در این مقاله تحلیلی و فنی، به کالبدشکافی عمیق V4، نقش Engram در کاهش بار پردازشی، نحوه حل بحران حافظه با مکانیزم MLA و تاثیر پروتکل CXL 3.1 در مدیریت مدل‌های تریلیون پارامتری در سال ۲۰۲۶ می‌پردازیم.

۱. معماری Engram: وقتی مدل به یاد می‌آورد، دیگر فکر نمی‌کند

بزرگترین نوآوری در DeepSeek-V4، جداسازی هوشمندانه استدلال (Reasoning) از دانش (Knowledge) است. در مدل‌های ترنسفورمر سنتی، برای بازیابی یک فاکت ساده (مثلاً "پایتخت ایران کجاست؟" یا "فرمول شیمیایی بنزن چیست؟")، مدل مجبور بود تمام لایه‌های عمیق شبکه عصبی خود را فعال کند. این فرآیند نه تنها کند و پرهزینه بود، بلکه بخش بزرگی از ظرفیت پردازشی مدل را صرف بازسازی اطلاعاتی می‌کرد که به صورت ایستا در داده‌های آموزشی وجود داشتند.

در DeepSeek-V4، یک لایه جدید و مجزا به نام Engram (Conditional Memory) اضافه شده است. این لایه شامل یک پایگاه داده برداری متراکم و یک مکانیزم جست‌وجوی مستقیم (Lookup) است که با لایه‌های MoE (Mixture-of-Experts) در هم تنیده شده است. وقتی مدل تشخیص می‌دهد که توکن ورودی مربوط به یک موجودیت شناخته شده است، به جای استفاده از لایه‌های سنگین توجه (Attention)، مستقیماً بازنمایی آن را از حافظه Engram فراخوانی می‌کند.

«ما متوجه شدیم که بخش بزرگی از لایه‌های ترنسفورمر صرف بازسازی حقایق ایستا می‌شود. با Engram، ما این دانش را به یک جدول جست‌وجوی $O(1)$ منتقل کردیم تا لایه‌های MoE فقط روی استدلال منطقی و حل مسئله تمرکز کنند. این کار باعث شده تا عمق موثر مدل برای مسائل پیچیده مهندسی تا ۳۰٪ افزایش یابد.» – تیم فنی DeepSeek, می ۲۰۲۶

در نمودار تعاملی زیر، نحوه توزیع بودجه پارامتری بین لایه‌های استدلال MoE و حافظه Engram را در معماری V4 مشاهده می‌کنید. توجه داشته باشید که Engram حدود ۲۵٪ از وزن‌های مدل را به خود اختصاص داده است اما هزینه محاسباتی آن در زمان اجرا نزدیک به صفر است.

MLA: پایانِ بحرانِ حافظه KV Cache

در سال ۱۴۰۵، Multi-head Latent Attention (MLA) به استاندارد طلایی صنعت هوش مصنوعی تبدیل شده است. یکی از بزرگترین موانع در مدل‌های با پنجره زمینه طولانی (Context Window)، حجم عظیم KV Cache بود که حافظه گرافیکی (VRAM) را به سرعت پر می‌کرد. برای مثال، یک مدل سنتی ۱ تریلیون پارامتری برای مدیریت ۱ میلیون توکن زمینه به صدها گیگابایت حافظه فقط برای ذخیره کلیدها و مقادیر نیاز داشت.

MLA این مشکل را با فشرده‌سازی بردارهای کلید (Key) و مقدار (Value) به یک فضای نهان (Latent Space) کم‌بعد حل می‌کند. در زمان استنتاج، مدل به جای ذخیره کامل بردارها، نسخه فشرده آن‌ها را نگه می‌دارد و در لحظه محاسبه توجه، آن‌ها را بازسازی می‌کند. این مکانیزم با استفاده از تکنیک Decoupled RoPE، اطلاعات موقعیتی را نیز بدون از دست دادن دقت حفظ می‌کند، که منجر به کاهش ۱۶ برابری حجم حافظه مورد نیاز شده است.

۲. استراتژی Prefetching و عبور از سد HBM با پروتکل CXL 3.1

یکی از چالش‌های مدل‌های ۱ تریلیون پارامتری در سال ۲۰۲۶، محدودیت فیزیکی حافظه گرافیکی (HBM) است. حتی تراشه‌های Blackwell نیز فضای محدودی برای بارگذاری کامل مدل دارند. DeepSeek-V4 این بن‌بست را با استفاده از پروتکل CXL 3.1 حل کرده است.

در این معماری، بخش عظیم حافظه Engram که شامل دانش ایستا است، در حافظه DRAM سیستم (که بسیار ارزان‌تر و پرحجم‌تر است) میزبانی می‌شود. به لطف پیش‌بینی‌ پذیری توکن‌های ورودی، مدل می‌تواند پیش از رسیدن پردازش به لایه‌های مربوطه، بردارهای مورد نیاز را از رم سیستم به حافظه گرافیکی فراخوانی (Prefetch) کند. این کار باعث می‌شود مدل تریلیونی با سرعتی معادل مدل‌های کوچک‌تر اجرا شود، چرا که گلوگاه پهنای باند حافظه با این جداسازی هوشمندانه دور زده شده است.

۳. بنچمارک‌ها: نبرد در قله استدلال منطقی

در بنچمارک‌های منتشر شده در اردیبهشت ۱۴۰۵، DeepSeek-V4 موفق شد در آزمون HumanEval (تولید کد) امتیاز خیره‌کننده ۹۲٪ و در SWE-bench (حل باگ‌های واقعی پروژه‌های نرم‌افزاری پیچیده) امتیاز ۸۱٪ را کسب کند. این نتایج نشان‌دهنده برتری مطلق این مدل در کدنویسی و حل مسائل مهندسی است.

نکته جالب اینجاست که در آزمون‌های استدلال ریاضی (MATH)، نسخه V4 توانست به دقتی معادل o3-high شرکت OpenAI دست یابد، اما با زمان تاخیر (Latency) بسیار کمتر. این سرعت بالا به دلیل همان معماری Engram است که اجازه می‌دهد مدل بدون مکث‌های طولانی برای «تأمل» (Chain of Thought)، مستقیماً به حقایق پایه و فرمول‌های تثبیت شده دسترسی داشته باشد.

مقایسه رویکردهای مختلف در آموزش مدل‌های زبانی بزرگ

موفقیت DeepSeek-V4 نشان داد که مسیرهای مختلفی برای رسیدن به قله هوش مصنوعی وجود دارد. جدول زیر سه رویکرد اصلی در توسعه مدل‌های زبانی بزرگ را از منظر هزینه، معماری و عملکرد مقایسه می‌کند و نشان می‌دهد که نوآوری در معماری می‌تواند جایگزین قدرت محاسباتی خام شود.

تفاوت اصلی در فلسفه طراحی است: رویکرد غربی بر سرمایه‌گذاری عظیم و قدرت محاسباتی متکی است، در حالی که رویکرد DeepSeek بر نوآوری معماری و بهینه‌سازی هوشمند تمرکز دارد.

این مقایسه نشان می‌دهد که DeepSeek-V4 نه تنها از نظر فنی یک دستاورد بزرگ است، بلکه از منظر ژئوپلیتیک نیز معادلات قدرت در صنعت هوش مصنوعی را تغییر داده و عصر جدیدی از رقابت جهانی را آغاز کرده است.

نتیجه‌گیری: دموکراسیِ هوش در عصر Engram

DeepSeek-V4 ثابت کرد که آینده هوش مصنوعی در گروی «بزرگ‌تر شدن» به معنای سنتی نیست، بلکه در گروی «هوشمندانه‌تر شدنِ معماری» است. با تفکیک حافظه از استدلال، عصر جدیدی آغاز شده که در آن قدرت مدل‌های تریلیون پارامتری دیگر در انحصار ابرشرکت‌های ابری نیست و هر سازمانی می‌تواند مغز دیجیتال اختصاصی خود را داشته باشد.

ما اکنون در جهانی زندگی می‌کنیم که دانش بشری در یک فایل چند صد گیگابایتی به صورت فشرده و با سرعت دسترسی آنی در اختیار همگان است. DeepSeek-V4 نه تنها یک پیروزی فنی، بلکه یک پیروزی فرهنگی برای جنبش متن‌باز است که هوش مصنوعی پیشرفته را برای همه دموکراتیزه کرده است. تکناو به عنوان همراه شما در این مسیر، آخرین نسخه‌های این مدل را برای استفاده در پروژه‌های داخلی ایران بهینه و عرضه خواهد کرد.