مبانی
توکنهای هوش مصنوعی چیستند؟
توکنها واحدهایی هستند که مدل زبانی واقعاً میخواند و مینویسد، نه واژه و نه نویسه. توکنسازی چگونه کار میکند، ورودی و خروجی چگونه شمرده میشوند، و چرا فقط توکنساز خودِ مدل عدد دقیق میدهد.
همهٔ توضیحها · آخرین بازبینی:
توکن نه واژه است و نه نویسه
توکنساز متن را به تکههایی از واژگان ثابتی که هنگام آموزش یاد گرفته تقسیم میکند. یک واژهٔ کوتاه و رایج اغلب دقیقاً یک توکن است؛ واژهای بلندتر یا کمیابتر میتواند به دو یا سه تکه تقسیم شود؛ یک نماد غیرمعمول بهتنهایی میتواند بیش از یک توکن بگیرد. نشانهگذاری، فاصله و خط جدید هم توکناند و رایگان نیستند.
به همین دلیل شمار توکن، شمار واژه و شمار نویسه مستقل از هم تغییر میکنند. دو جمله با شمار واژهٔ یکسان میتوانند شمار توکن متفاوتی داشته باشند، و بازنویسی جملهای با واژههای کوتاهتر و رایجتر میتواند شمار توکن آن را کم کند بیآنکه بهعنوان متن کوتاهتر شود.
توکنسازی بسته به زبان و مدل فرق میکند
هر مدل با توکنساز و واژگان ثابت خودش میآید، که از متنی که با آن آموزش دیده ساخته شده است. عبارتهایی که در آن متن آموزشی رایج بودند به توکنهایی کمتر و بلندتر فشرده میشوند؛ عبارتهای کمیاب معمولاً به تکههایی بیشتر و کوتاهتر تقسیم میشوند.
از این دو نتیجهٔ مستقیم پیش میآید. نخست، جملهٔ یکسان بسته به زبانی که با آن نوشته شده میتواند شمار توکن بهطور محسوس متفاوتی داشته باشد، چون هیچ واژگانی دو زبان را به یک اندازه خوب نشان نمیدهد. دوم، جملهٔ یکسان روی دو مدل متفاوت میتواند شمار توکن متفاوتی داشته باشد، چون هر کدام واژگان خودش را دارد — شمارش توکنساز یک مدل برآورد قابلاعتمادی برای مدل دیگر نیست.
یک درخواست توکن ورودی و توکن خروجی مصرف میکند
هر درخواست دو دستهٔ توکن دارد که جدا شمرده و معمولاً جدا قیمتگذاری میشوند. توکنهای ورودی هر آنچه به مدل فرستاده میشود است: دستورها، گفتوگوی قابلمشاهده، اسناد پیوستشده و نتیجهٔ ابزارها. توکنهای خروجی هر آنچه مدل در پاسخ تولید میکند است.
توکنهای ورودی در گفتوگوی چنددورهای هزینهای یکباره نیستند. چون هر درخواست تازه گفتوگوی تا آن نقطه را دوباره میفرستد، پیامهای پیشین و هر مادهٔ پیوستشده در هر دور دوباره بهعنوان ورودی شمرده میشوند، نه فقط در دوری که نخستین بار افزوده شدند.
توکن واحدی است که پنجرهٔ زمینه با آن سنجیده میشود
پنجرهٔ زمینه بودجهای است برحسب توکن که میان ورودی و خروجی یک درخواست مشترک است. «پنجرهٔ زمینه چیست؟» توضیح میدهد این بودجه در عمل چگونه رفتار میکند؛ آنچه اینجا اهمیت دارد فقط واحد است — پنجره با واژه، نویسه یا پیام سنجیده نمیشود، با توکن سنجیده میشود، و ورودی و خروجی از همان مجموع برمیدارند.
برآورد هزینه بدون عدد ثابت
هزینهٔ مبتنی بر توکن یک ضرب است: توکنهای مصرفشده در نرخی که برای هر مدل تعیین شده. ارائهدهندگان این نرخها را بر اساس زمانبندی خودشان تعیین و تغییر میدهند، و مدلی توانمندتر معمولاً بهازای هر توکن گرانتر از مدلی کوچکتر قیمتگذاری میشود، در حالی که توکنهای خروجی معمولاً گرانتر از ورودی قیمتگذاری میشوند. هیچکدام از اینها انتشار رقمی مشخص را در اینجا ارزشمند نمیکند — نرخی که در این صفحه چاپ شود ظرف چند ماه نادرست میشود.
آنچه صرفنظر از جدول نرخ کنونی درست میماند شکل هزینه است: درخواستهای کوتاهتر و متمرکزتر و پاسخهای کوتاهتر و متمرکزتر توکن کمتری مصرف میکنند، و فرستادن دوبارهٔ پیوستهای بزرگ در هر دور یک گفتوگوی طولانی یکی از رایجترین راههایی است که مصرف توکن بدون تصمیم کسی رشد میکند.
عدد دقیق به توکنساز خودِ مدل نیاز دارد
یک قاعدهٔ سرانگشتی دربارهٔ توکن بهازای واژه تقریبی است برای یک زبان که با یک توکنساز پردازش شده، و به زبان دیگر، خط دیگر یا مدل دیگر منتقل نمیشود. قالببندی هم عدد را تغییر میدهد: کد، JSON و متن با نشانهگذاری سنگین معمولاً کارآمدتر از همان اطلاعات بهصورت نثر ساده توکنسازی نمیشوند.
اگر عدد دقیق مهم است — چون درخواستی به حد زمینه نزدیک است، یا چون هزینه باید دقیق پیشبینی شود — تنها روش قابلاعتماد این است که متن واقعی را پیش از ارسال از توکنساز خودِ آن مدل مشخص یا نقطهٔ شمارشی که ارائه میدهد بگذرانید. برآورد بر پایهٔ واژه یا نویسه حدسی است در لباس عدد.
پرسشهای پرتکرار
- آیا توکن همان واژه است؟
- نه. واژهٔ کوتاه و رایج اغلب یک توکن است، اما واژهٔ بلندتر یا کمیابتر میتواند به چند توکن تقسیم شود، و نشانهگذاری، فاصله و خط جدید خودشان بهعنوان توکن شمرده میشوند. شمار توکن و شمار واژه دستبالا فقط تقریبی با هم همخوانی دارند.
- چرا یک جملهٔ یکسان در ابزارهای مختلف شمار توکن متفاوتی دارد؟
- هر ابزار معمولاً شمارش توکنساز یک مدل مشخص را گزارش میکند، و هر مدل واژگان خودش را دارد که از متن آموزشی خودش ساخته شده. شمارشی که برای توکنساز یک مدل دقیق است برای مدلی دیگر فقط یک برآورد است.
- آیا قالببندی مانند کد یا JSON توکن بیشتری از متن ساده مصرف میکند؟
- اغلب بله. تورفتگی، نشانهگذاری و نمادهای تکراری خودشان توکناند، پس قالبی بهشدت ساختیافته میتواند بهطور محسوس توکن بیشتری از همان اطلاعات بهصورت جملههای ساده مصرف کند.
- چگونه میتوانم شمار دقیق توکن یک درخواست را پیش از ارسال بدانم؟
- متن دقیق را از توکنساز خودِ آن مدل مشخص یا نقطهٔ شمارشی که ارائه میدهد بگذرانید. هر برآورد بر پایهٔ شمار واژه یا نویسه تقریبی است و خطا با تفاوت زبان، خط و قالببندی بزرگتر میشود.
بهجای خواندن، امتحانش کنید
ClawAI پس از تولید پاسخ، توکنهای ورودی و خروجیِ واقعاً مصرفشدهٔ یک درخواست را میشمارد و هزینه و اعتبار مصرفشده برای همان پاسخ را نشان میدهد، نه برآوردی که از پیش انجام شده باشد.