טוקן Token
מה זה טוקן?
טוקן הוא יחידת הטקסט הקטנה שמודל שפה גדול (LLM) מעבד. מודלים אינם קוראים מילים כפי שאנשים קוראים, אלא מפרקים כל טקסט לרצף טוקנים - לעיתים מילה שלמה, לעיתים חלק ממילה, וסימני פיסוק נספרים בנפרד. באנגלית טוקן שקול בממוצע לכ-4 תווים, ובעברית מילה אחת מתפרקת לרוב לכמה טוקנים.
הבנת הטוקנים חשובה כי הם היחידה שלפיה נמדדים גם העלות וגם הגבלות האורך בשימוש במודלי AI.
למה טוקנים חשובים
- עלות - ספקי AI מתמחרים לפי מספר הטוקנים בקלט ובפלט יחד.
- מהירות - ככל שיש יותר טוקנים, יצירת התשובה אורכת יותר.
- גבולות - לכל מודל תקרת טוקנים שמגדירה כמה טקסט הוא יכול להחזיק.
דוגמה
משפט קצר בעברית עשוי להתפרק למספר טוקנים גדול יחסית, שכן כל מילה מתחלקת לרוב ליחידות משנה. בתכנון תקציב או בהזנת תוכן ארוך למודל, כדאי להעריך מראש את מספר הטוקנים כדי לשלוט בעלות ולוודא שהטקסט נכנס בגבול חלון ההקשר. אקסטרה נעזרת בהבנה הזו בבניית תוכן שמותאם למנועי AI.
שאלות נפוצות
כמה טוקנים יש במילה?
באנגלית טוקן שקול בממוצע לכ-4 תווים, כך שמילה טיפוסית היא טוקן אחד או מעט יותר. בעברית, בגלל המבנה המורפולוגי העשיר, מילה אחת מתפרקת לרוב לכמה טוקנים, ולכן טקסט עברי צורך יותר טוקנים מטקסט אנגלי באותו אורך.
למה חשוב לספור טוקנים?
מספר הטוקנים קובע הן את עלות השימוש במודל והן את כמות הטקסט שאפשר להזין בבת אחת. ספירה מוקדמת מאפשרת לשלוט בתקציב ולוודא שהתוכן נכנס בגבול חלון ההקשר של המודל.
האם טוקן זה אותו דבר כמו מילה?
לא בהכרח. טוקן יכול להיות מילה שלמה, חלק ממילה, סימן פיסוק או אפילו רווח. מודלים עובדים ברמת הטוקן ולא ברמת המילה, ולכן אותו משפט יכול להתפרק למספר שונה של טוקנים בשפות שונות.