longformer-base-4096

מה זה

מדובר במודל שמבוסס על משקלי RoBERTa ואומן מחדש על מסמכים ארוכים באמצעות משימת חיזוי מילים. בשונה ממודלים דומים שנחנקים אחרי חמש מאות ושנים עשר טוקנים, כאן אפשר להזין קלט שמגיע עד 4,096 טוקנים ברצף אחד.

ההבדל המשמעותי טמון במנגנון הקשב שלו. במקום לחשב קשר בין כל מילה לכל מילה בטקסט, שזה תהליך שדורש זיכרון עצום, הוא משלב חלון קשב מקומי שנע על הטקסט יחד עם קשב גלובלי מוגדר מראש. את הקשב הגלובלי אתם קובעים לפי המשימה, למשל סביב שאלות או כותרות.

מתאים ל

• סיווג מסמכים משפטיים

  קריאת חוזים שלמים באנגלית והבנת ההקשר המלא בלי לפצל את הקובץ לחלקים קטנים.

• מענה על שאלות ממאמרים

  שליפת תשובות מתוך דוחות ומאמרים מדעיים ארוכים על ידי הגדרת קשב גלובלי לשאלה.

• חילוץ ישויות מטקסט רפואי

  זיהוי מונחים בתיקים רפואיים ארוכים באנגלית שחורגים מהמגבלה של מודלים רגילים.

איפה זה נופל

הוא מוגדר לשפה האנגלית בלבד, כך שלטקסטים בעברית הוא פשוט לא מתאים בלי אימון מאסיבי מאפס. בנוסף, הוא לא יעבוד טוב מחוץ לקופסה בלי שתגדירו נכון את הקשב הגלובלי בקוד, מה שדורש עבודת התאמה ידנית לכל משימה ספציפית.

איך מריצים

טוענים אותו ישירות דרך ספריית transformers של פייתון. הקבצים שוקלים שני גיגה בייט בלבד, כך שלא צריך מפלצת חומרה כדי להעלות אותו, וכרטיס מסך בסיסי או אפילו מעבד רגיל יספיקו לטעינה.

העניין מסתבך בזמן ריצה על רצפים מלאים של ארבעת אלפים טוקנים. שם צריכת הזיכרון עולה, ואם תרצו לבצע אימון נוסף או פיין טיונינג, תצטרכו כרטיס מסך ייעודי כדי שהתהליך לא יקרוס מחוסר זיכרון.

from transformers import pipeline

pipe = pipeline("text-generation", model="allenai/longformer-base-4096")
print(pipe("שלום"))

הקבצים

9 קבצים במאגר, 2.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• tf_model.h5764.6 MB
• rust_model.ot751.7 MB
• pytorch_model.bin597.3 MB
• tokenizer.json1.4 MB
• vocab.json898.8 KB
• merges.txt456.3 KB
• README.md1.3 KB
• config.json694 B
• .gitattributes345 B

הרישיון

רישיון אפאצ'י שתיים אפס מאפשר שימוש חופשי לגמרי, כולל שימוש במוצרים מסחריים סגורים. אתם יכולים לשנות את הקוד ולהפיץ אותו, בתנאי שאתם שומרים על הודעת זכויות היוצרים ומצרפים את נוסח הרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗