llmlingua-2

מה זה

אתם מדביקים טקסט בתיבת הפרומפט המקורית, בוחרים יחס דחיסה בין 0.1 ל־1.0, ומקבלים גרסה מקוצרת שסילקה מילים מיותרות. לצד הטקסט הדחוס מופיעה ספירת טוקנים לפי התחשיב של GPT-4 לפני ואחרי, ויש גם תצוגת הבדלים שמסמנת בדיוק אילו מילים נמחקו. בדוגמאות המובנות מתוך מאגר MeetingBank אפשר לטעון תמלילי פגישות מוכנים יחד עם שאלות ותשובות שנוצרו על ידי GPT-4 כדי לראות אם המידע הקריטי שרד את החיתוך.

מאחורי הקלעים רצה שיטת סיווג טוקנים שזוקקה מ־GPT-4 אל תוך מודלי מקודד קומפקטיים. הממשק מאפשר לבחור בין שני מודלים בסיסיים, mbert-base או xlm-roberta-large, שעברו אימון ייעודי על נתוני MeetingBank כדי להחליט אילו מילים להשאיר ואילו לזרוק ללא תלות במשימה ספציפית.

מתאים ל

• קיצוץ תמלילי פגישות

  צמצום תמלילים ארוכים כדי להכניס אותם למודל שפה עם חלון הקשר קצר או יקר.

• בדיקת איבוד מידע

  בחינת עמידות שאלות ותשובות מול פרומפט שנדחס ביחסי קיצוץ שונים.

• חיסכון בעלויות API

  הורדת נפח הטוקנים שנשלח למודלים בתשלום כדי להוזיל את עלות הריצה.

איפה זה נופל

ההדגמה נשענת על מודלים שאומנו על MeetingBank, ולכן היא מוטה בעיקר לטקסטים מתוך פגישות ותמלולים באנגלית. מעבר לזה, הכלי רק חותך טוקנים ולא מנסח מחדש, מה שלעיתים מייצר טקסט קטוע ולא קריא לעין אנושית, גם אם מודל שפה עדיין מבין אותו. הוא לא מתאים לעריכה לשונית, וחובה לבדוק ידנית שלא נחתכו נתונים קריטיים כמו מספרים או שמות לפני שמשלבים אותו בצנרת עבודה אוטומטית.

איך משתמשים

בוחרים מודל מתוך שני הניתוחים הזמינים, קובעים את יחס הדחיסה בסליידר, ומגדירים תווי חובה לשמירה כמו סימני פיסוק או ירידות שורה אם רוצים לשמור על מבנה מסוים. לחיצה על הכפתור מפעילה את הדחיסה. הממשק פתוח בדפדפן בלי צורך בהרשמה או התחברות לחשבון. מכיוון שהדף רץ על חומרת מעבד בסיסית, עיבוד של טקסטים ארוכים במיוחד או בחירה במודל הרוברטה הגדול עשויים לקחת מספר שניות של המתנה.

הרישיון

הקוד וההדגמה מפורסמים תחת רישיון cc-by-nc-sa-4.0. המשמעות היא שהשימוש מוגבל למטרות לא מסחריות בלבד, וכל נגזרת מחייבת הפצה תחת אותם תנאים ומתן קרדיט. הטקסט שאתם מזינים עובר דרך שרתי Hugging Face לצורך הרצת הדחיסה.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא ב־Hugging Face ↗