Token (AI)

AI-இல் Token என்பது ஒரு LLM உரையைப் படிக்கும், எழுதும் சிறு அலகு. ஒரு token ஒரு முழுச் சொல்லாகவோ, சொல்லின் ஒரு பகுதியாகவோ, ஒரு குறியாகவோ இருக்கலாம்.

ஏன் முக்கியம்? ஒரு AI tool ஒரே நேரத்தில் எவ்வளவு உரையைப் படிக்க முடியும் என்ற வரம்பும், API கட்டணங்களும் பெரும்பாலும் tokens கணக்கில்தான் அளக்கப்படுகின்றன.

தமிழ் போன்ற மொழிகளில் ஒரே பொருளைச் சொல்ல ஆங்கிலத்தைவிட அதிக tokens தேவைப்படுவது வழக்கம். GPT-4o அறிமுகத்தின் போது, அதன் புதிய tokenizer இந்திய மொழிகளுக்குத் தேவையான tokens-ஐக் கணிசமாகக் குறைத்ததாக OpenAI தெரிவித்தது.

[tat_newsletter placement="in-content"]

Share: