AI Tokenizer นับ token ภาษาไทย token คืออะไร

วางข้อความแล้วดูว่าโมเดล AI ตัดเป็นกี่ token พร้อมจำนวนตัวอักษร นับด้วย tokenizer o200k ของ GPT คำภาษาไทยหนึ่งคำมักแบ่งเป็นหลาย token

ข้อความ

Token คือหน่วยที่โมเดล AI ใช้อ่านข้อความ และเป็นหน่วยที่ API คิดราคา คำภาษาอังกฤษทั่วไปมักเป็น 1 token ส่วนคำภาษาไทยหนึ่งคำมักถูกแบ่งเป็นหลาย token