token_probability_distribution

מה זה

הממשק מציג גרף שממחיש הסתברויות של טוקנים, כשבצד מופיעים שלושה סליידרים ידניים. אתם משנים את הערכים של טמפרטורה מ־0 עד 5.0, טופ קיי בין 0 ל־10, וטופ פי בטווח של 0.0 עד 1.0. הפלט הוא תרשים שמתעדכן ומציג את המשקל היחסי של כל טוקן לפי החיתוך והריכוך שבחרתם.

מתחת למכסה המנוע אין כאן מודל שפה ענק שרץ ברקע ופולט טקסט אמיתי. הקוד נשען על ספריות חישוב ושרטוט בסיסיות, בעיקר נאמפאי ומטפלוטליב, כדי להדגים מתמטית איך הנוסחאות האלה עובדות על מערך נתונים מספרי. ברירת המחדל מציגה ערכים ראשוניים שנקבעו מראש בקוד, כך שרואים מיד את נקודת המוצא לפני שמתחילים לגעת בסליידרים השונים.

מתאים ל

• הבנת פרמטרי דגימה

  צפייה בשינוי ההסתברויות שמקבלים טוקנים כשמשנים טמפרטורה.

• המחשת סינון טופ קיי

  בדיקה ויזואלית של מספר הטוקנים שנשארים בחישוב לעומת אלה שנחתכים.

• לימוד עקרון טופ פי

  מעקב אחר הצטברות ההסתברות הכוללת ואיך סף החיתוך משפיע על הגרף.

איפה זה נופל

זה לא כלי שמייצר טקסט ואי אפשר לראות כאן איך מילים אמיתיות מושפעות מההגדרות. טווח הטופ קיי מוגבל לעשרה טוקנים בלבד, בעוד שבמודלים אמיתיים עובדים לרוב עם עשרות או מאות. אם אתם מחפשים לבדוק פרומפטים או לראות תוצאה לשונית, הכלי הזה יאכזב אתכם כי הוא עוסק בחישוב ההסתברותי בלבד.

איך משתמשים

נכנסים לדף בדפדפן ומשחקים עם הסליידרים של הפרמטרים. אין צורך לפתוח חשבון, להתחבר או להזין טקסט משלכם, והתרשים מתעדכן ישר מול העיניים. הכל רץ על מעבד בסיסי, וזה לגמרי מספיק כי מדובר בחישובים מתמטיים פשוטים ובציור גרף שלא דורשים כרטיס מסך חזק או זמן המתנה ארוך.

הרישיון

היוצרים לא ציינו רישיון שימוש בקוד או בדף. במצב כזה אין הרשאה מפורשת להעתיק את הקוד לפרויקטים מסחריים. מנגד, אתם לא מעלים לכאן שום תוכן אישי, כך שאין חשש לפרטיות של מידע רגיש.

הרישיון המלא ב־Hugging Face ↗