تکناو
TEKNAV

تکناو

توکن چیست؟

توکن کوچک‌ترین واحد متنی است که مدل زبانی می‌فهمد و پردازش می‌کند؛ چیزی بین یک حرف و یک کلمه. متن ورودی پیش از رسیدن به مدل توسط «توکنایزر» به این قطعات ش…

پاسخ کوتاه: توکن کوچک‌ترین واحد متنی است که مدل زبانی می‌فهمد و پردازش می‌کند؛ چیزی بین یک حرف و یک کلمه. متن ورودی پیش از رسیدن به مدل توسط «توکنایزر» به این قطعات شکسته می‌شود و هزینه استفاده از مدل‌ها، اندازه پنجره زمینه و سرعت تولید همگی بر حسب توکن سنجیده می‌شوند. در زبان فارسی هر کلمه معمولاً به توکن‌های بیشتری نسبت به انگلیسی شکسته می‌شود و همین، هزینه پردازش متن فارسی را بالاتر می‌برد.

معادل انگلیسی: Token (LLM)

پرسش‌های پرتکرار درباره توکن

هر توکن چند کلمه است؟

در انگلیسی به‌طور میانگین هر توکن حدود سه‌چهارم یک کلمه است، اما در فارسی به دلیل ساختار توکنایزرها هر کلمه ممکن است دو تا چهار توکن شود؛ یعنی متن فارسی معمولاً «گران‌تر» پردازش می‌شود.

چرا قیمت مدل‌ها بر اساس توکن است؟

چون هزینه محاسباتی واقعی مدل به تعداد توکن‌های پردازش‌شده بستگی دارد، نه تعداد کلمات یا کاراکترها. ارائه‌دهندگان به ازای هر میلیون توکن ورودی و خروجی قیمت جداگانه اعلام می‌کنند.

توکنایزر چیست؟

الگوریتمی که متن خام را به توکن تبدیل می‌کند. هر خانواده مدل توکنایزر خاص خودش را دارد و همین باعث می‌شود یک متن ثابت در مدل‌های مختلف تعداد توکن متفاوتی داشته باشد.

تحلیل‌های مرتبط در تکناو

واژه‌های مرتبط