DeepSeek-V4: پایان انحصار با معماری Engram و حافظه شرطی

آرسام صباغ · ۱۴۰۵/۰۲/۱۵ · 14 دقیقه

در اردیبهشت ۱۴۰۵، شرکت DeepSeek با معرفی DeepSeek-V4 ، بار دیگر قوانین حاکم بر اقتصاد هوش مصنوعی و طراحی معماری مدل‌های زبانی را بازنویسی کرد. در حالی که رقبای بزرگ غربی همچنان بر افزایش تعداد پارامترها و تکیه بر قدرت م…

۱. معماری Engram: وقتی مدل به یاد می‌آورد، دیگر فکر نمی‌کند

بزرگترین نوآوری در DeepSeek-V4، جداسازی هوشمندانه استدلال (Reasoning) از دانش (Knowledge) است. در مدل‌های ترنسفورمر سنتی، برای بازیابی یک فاکت ساده (مثلاً "پایتخت ایران کجاست؟" یا "فرمول شیمیایی بنزن…

۲. استراتژی Prefetching و عبور از سد HBM با پروتکل CXL 3.1

یکی از چالش‌های مدل‌های ۱ تریلیون پارامتری در سال ۲۰۲۶، محدودیت فیزیکی حافظه گرافیکی (HBM) است. حتی تراشه‌های Blackwell نیز فضای محدودی برای بارگذاری کامل مدل دارند. DeepSeek-V4 این بن‌بست را با استف…

۳. بنچمارک‌ها: نبرد در قله استدلال منطقی

در بنچمارک‌های منتشر شده در اردیبهشت ۱۴۰۵، DeepSeek-V4 موفق شد در آزمون HumanEval (تولید کد) امتیاز خیره‌کننده ۹۲٪ و در SWE-bench (حل باگ‌های واقعی پروژه‌های نرم‌افزاری پیچیده) امتیاز ۸۱٪ را کسب کند.…

مقایسه رویکردهای مختلف در آموزش مدل‌های زبانی بزرگ

موفقیت DeepSeek-V4 نشان داد که مسیرهای مختلفی برای رسیدن به قله هوش مصنوعی وجود دارد. جدول زیر سه رویکرد اصلی در توسعه مدل‌های زبانی بزرگ را از منظر هزینه، معماری و عملکرد مقایسه می‌کند و نشان می‌دهد…