پاسخ کوتاه: ترنسفورمر معماری شبکه عصبی است که در سال ۲۰۱۷ با مقاله «Attention Is All You Need» گوگل معرفی شد و بنیان تقریباً همه مدلهای زبانی مدرن — از GPT تا Claude و Gemini — است. نوآوری کلیدی آن مکانیزم «توجه» (Attention) است که به مدل اجازه میدهد رابطه هر کلمه با همه کلمات دیگر متن را همزمان بسنجد؛ برخلاف معماریهای قدیمی که متن را کلمهبهکلمه و ترتیبی پردازش میکردند و همین، آموزش موازی در مقیاس عظیم را ممکن کرد.
معادل انگلیسی: Transformer Architecture
پرسشهای پرتکرار درباره ترنسفورمر
مکانیزم Attention چیست؟
روشی که برای هر توکن محاسبه میکند به کدام توکنهای دیگر متن باید «توجه» کند و چقدر. همین امکان درک وابستگیهای دور در متن — مثل مرجع ضمیر در چند پاراگراف قبل — را فراهم میکند.
چرا ترنسفورمر انقلاب ایجاد کرد؟
چون پردازش موازی را ممکن کرد: کل متن یکجا وارد GPU میشود و آموزش روی هزاران کارت گرافیک مقیاسپذیر است. مدلهای غولپیکر امروزی بدون این ویژگی عملاً قابل آموزش نبودند.
آیا جایگزینی برای ترنسفورمر وجود دارد؟
معماریهایی مانند Mamba (مدلهای فضای حالت) برای متنهای بسیار طولانی مزیت سرعت دارند و در حال آزمایشاند، اما تا ۲۰۲۶ هیچکدام در کیفیت عمومی جای ترنسفورمر را نگرفتهاند.