GPT
הוספת כלי
B

bart-large

קוד פתוח

facebookapache-2.02022-03-02

  • transformers
  • pytorch
  • tf
  • jax
  • rust

ארכיטקטורת seq2seq קלאסית של פייסבוק שמשלבת מקודד דו-כיווני ומפענח רגרסיבי. מיועדת למי שמחפש בסיס חזק באנגלית לאימון מותאם אישית של יצירת טקסט או סיווג.

  • 1,024טוקנים בהקשר
  • 5.1 GBמשקל הקבצים
  • 128,356הורדות בחודש
  • 202לייקים

מה זה

מדובר במודל שפורסם על ידי פייסבוק ונבנה מראש על השפה האנגלית בלבד. המבנה שלו מחבר בין מקודד בסגנון BERT לבין מפענח בסגנון GPT, מה שהופך אותו לרשת מסוג encoder-decoder עם 12 שכבות. הרעיון באימון המקורי היה להשחית קטעי טקסט וללמד את הרשת לשחזר את המקור במדויק.

המשקל שלו עומד על 5.1 גיגה-בייט והוא מיועד בראש ובראשונה לחילוץ מאפיינים או כנקודת מוצא לכוונן עדין. הוא יודע להתמודד עם משימות הבנה כמו סיווג טקסט ומענה לשאלות, וגם עם משימות גנרטיביות כמו תרגום ותמצות, בתנאי שמאמנים אותו על נתונים מתאימים למשימה.

מתאים ל

  • בסיס לכוונון עדין

    נקודת מוצא מעולה לאימון מודלים של סיכום מסמכים או תרגום באנגלית על דאטה ייעודי שלכם.

  • חילוץ ייצוגים ווקטוריים

    הפקת וקטורים איכותיים מטקסטים באנגלית לצורכי סיווג והשוואת דמיון.

  • השלמת מילים חסרות

    שחזור מקטעים פגומים או השלמת פערי מידע בטקסט גולמי ישירות מהקופסה.

איפה זה נופל

המודל מוגבל לחלון הקשר קצר של 1,024 טוקנים, כך שטקסטים ארוכים פשוט ייחתכו בחוץ. הוא אומן אך ורק על אנגלית, ולכן כל ניסיון להזין לו עברית יניב תוצאות שבורות. מעבר לזה, הכרטיס מבהיר במפורש שהמודל הגולמי לא ערוך לשיחה או לכתיבה חופשית, אלא מיועד כמעט אך ורק לכוונון עדין או להשלמת מילים חסרות בטקסט.

שאלות
נפוצות

האם אפשר להשתמש בו ישירות כצ'אטבוט?

לא. מדובר במודל בסיס שחולץ מטקסט מושחת ולא עבר שום התאמה להוראות או לשיחה. אם תזינו לו שאלה, תקבלו ייצוג וקטורי או ניסיון שחזור טקסטואלי, לא תשובה אינטליגנטית.

האם הוא יעבוד עם טקסטים בעברית?

לא, המודל הזה אומן על השפה האנגלית בלבד. הרצת עברית דרכו תוביל לשגיאות טוקניזציה ותוצרים חסרי משמעות לחלוטין.

איך מריצים

אתם טוענים אותו ישירות דרך ספריית transformers בפייתון עם BartModel ו־BartTokenizer. המשקל הכולל יושב על קצת יותר מחמישה גיגה-בייט, מה שאומר שכרטיס מסך ביתי סטנדרטי עם 8 או 12 גיגה-בייט זיכרון יריץ אותו בלי להזיע.

אם אתם רק רוצים לבדוק תמצות או סיווג ולא מתכוונים לאמן אותו מאפס על דאטה שלכם, חפשו גרסאות שכבר עברו כוונון למשימה ספציפית במקום להריץ את גרסת הבסיס הזו.

from transformers import pipeline

pipe = pipeline("feature-extraction", model="facebook/bart-large")
print(pipe("שלום"))

הקבצים

11 קבצים במאגר, 5.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

רישיון apache-2.0 מאפשר שימוש מסחרי מלא, שינוי של הקוד והפצה חופשית. אתם יכולים לשלב אותו במוצר שלכם, כל עוד אתם שומרים על תנאי הרישיון המקוריים ומצרפים את הקרדיט הנדרש.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗