پاسخ کوتاه: توکن کوچکترین واحد متنی است که مدل زبانی میفهمد و پردازش میکند؛ چیزی بین یک حرف و یک کلمه. متن ورودی پیش از رسیدن به مدل توسط «توکنایزر» به این قطعات شکسته میشود و هزینه استفاده از مدلها، اندازه پنجره زمینه و سرعت تولید همگی بر حسب توکن سنجیده میشوند. در زبان فارسی هر کلمه معمولاً به توکنهای بیشتری نسبت به انگلیسی شکسته میشود و همین، هزینه پردازش متن فارسی را بالاتر میبرد.
معادل انگلیسی: Token (LLM)
پرسشهای پرتکرار درباره توکن
هر توکن چند کلمه است؟
در انگلیسی بهطور میانگین هر توکن حدود سهچهارم یک کلمه است، اما در فارسی به دلیل ساختار توکنایزرها هر کلمه ممکن است دو تا چهار توکن شود؛ یعنی متن فارسی معمولاً «گرانتر» پردازش میشود.
چرا قیمت مدلها بر اساس توکن است؟
چون هزینه محاسباتی واقعی مدل به تعداد توکنهای پردازششده بستگی دارد، نه تعداد کلمات یا کاراکترها. ارائهدهندگان به ازای هر میلیون توکن ورودی و خروجی قیمت جداگانه اعلام میکنند.
توکنایزر چیست؟
الگوریتمی که متن خام را به توکن تبدیل میکند. هر خانواده مدل توکنایزر خاص خودش را دارد و همین باعث میشود یک متن ثابت در مدلهای مختلف تعداد توکن متفاوتی داشته باشد.
تحلیلهای مرتبط در تکناو
- جریمه توکنایزر Claude Opus 4.7: چرا صورتحساب API شما ۳۵٪ جهش کرد
- چطور Context کدبیس را بهینه کنیم تا از مالیات AI Credits کاپیلوت فرار کنیم
- پایان اشتراک ثابت: چرا صورتحساب توکنی GitHub Copilot یک زنگ خطر برای توسعهدهندگان است