infini-gram

מה זה

אתם בוחרים מאגר נתונים מתוך הרשימה, מקלידים מחרוזת טקסט בשדה החיפוש ומקבלים ניתוח סטטיסטי מדויק. הממשק מחולק לשלוש לשוניות שונות לפי סוג השאילתה שמעניינת אתכם. בלשונית הראשונה אפשר לספור כמה פעמים מופיע רצף מסוים של מילים, או לחבר כמה ביטויים בעזרת קשרים לוגיים של וגם או או. אם משאירים את השדה ריק, מקבלים את סך כל הטוקנים במאגר.

הלשונית השנייה מחשבת את ההסתברות של המילה האחרונה ברצף בהינתן המילים שקדמו לה. הלשונית השלישית מרחיבה את הרעיון ומציגה את כל התפלגות הטוקנים הבאים האפשריים עבור הרצף שהזנתם. לצד התוצאות המספריות, מוצג פירוק הטקסט לטוקנים ומדידת זמן המענה במילישניות.

מתאים ל

• ספירת שכיחות ביטויים

  בדיקת כמות ההופעות של צירוף מילים מסוים במאגר הטקסט הנבחר.

• חישוב הסתברות מילה

  מדידת הסיכוי של מילה ספציפית להופיע ישירות אחרי רצף טקסט נתון.

• בדיקת התפלגות המשכים

  קבלת רשימת המילים הבאות האפשריות וההסתברות של כל אחת מהן.

איפה זה נופל

הכלי מוגבל למאגרי הנתונים שנטענו בו מראש ואי אפשר להעלות אליו קבצים עצמאיים כדי לנתח אותם. בנוסף, שאילתות שמכילות ביטויים נפוצים מדי עלולות להיתקל במגבלות שהוגדרו בסליידרים המתקדמים. אם הביטוי שלכם לא קיים במאגר או מנוסח אחרת מהמקור, לא תקבלו תוצאות דומות או השלמות מבוססות הקשר כמו במודל שפה רגיל.

איך משתמשים

בוחרים מאגר, מקלידים ביטוי באחת הלשוניות ולוחצים על כפתור השליחה. אין צורך בהרשמה או בהתחברות כדי להריץ שאילתות, והעמוד פתוח לשימוש ישיר בדפדפן. שרת הממשק מוגדר על חומרה בסיסית של מעבד רגיל, אבל הקוד שולח בקשות רשת לשרת ייעודי שמחזיר תשובות מהירות, כפי שמשתקף במדד זמני המענה שמוצג על המסך. אפשר גם לכוונן פרמטרים מתקדמים בסליידרים כמו גבולות תדירות ושאילתות מורכבות.

הרישיון

הקוד מפורסם ברישיון cc-by-nc-sa-4.0. הרישיון מתיר שימוש, שינוי והפצה של הקוד למטרות לא מסחריות בלבד, כל עוד נותנים קרדיט מתאים ומפיצים עבודות נגזרות תחת אותו רישיון בדיוק. הממשק לא שומר טקסטים שמועלים אליו, והשאילתות שנשלחות משמשות רק לחישוב התוצאה המוצגת.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא ב־Hugging Face ↗