GPT
הוספת כלי
B

bert-base-portuguese-cased

קוד פתוח

neuralmindmit2022-03-02

  • transformers
  • pytorch
  • tf
  • jax
  • bert

זה מודל שפה ייעודי לפורטוגזית ברזילאית שמבוסס על ארכיטקטורת ברט. תרצו אותו אם אתם צריכים לנתח טקסטים מקומיים בפורטוגזית ולא לקבל תוצאות בינוניות ממודל רב לשוני.

  • 512טוקנים בהקשר
  • 1.3 GBמשקל הקבצים
  • 215,882הורדות בחודש
  • 235לייקים

מה זה

מדובר במודל שמכונה BERTimbau, עם 110 מיליון פרמטרים וחלון הקשר של 512 טוקנים, שעבר אימון מקדים ישירות על פורטוגזית ברזילאית. במקום להשתמש במודל עולמי שמכיר קצת מכל שפה, כאן הטוקנייזר והמשקלים מכוונים בדיוק למבנה ולתחביר המקומי, כולל התחשבות באותיות גדולות וקטנות.

לפי היוצרים, הוא הגיע לתוצאות מובילות בשלוש משימות מרכזיות לעיבוד שפה: זיהוי ישויות (NER), דמיון סמנטי בין משפטים והיסק טקסטואלי (RTE). הוא לא מייצר טקסט חופשי, אלא מחזיר ייצוגים וקטוריים או מנחש מילים חסרות, מה שהופך אותו לבסיס טוב לאימון נוסף למשימות ספציפיות.

מתאים ל

  • חילוץ ישויות מטקסט

    זיהוי שמות, מקומות וארגונים בפורטוגזית ברזילאית ברמת דיוק גבוהה בזכות אימון ייעודי.

  • השוואת משפטים סמנטית

    הפקת וקטורים להשוואה בין משפטים כדי לבדוק האם הם אומרים את אותו הדבר.

  • השלמת מילים חסרות

    ניחוש מילים מוסתרות בתוך משפט בהתבסס על ההקשר הרחב לפני ואחרי המילה.

איפה זה נופל

זה לא מודל שיחה ולא מודל גנרטיבי. אם תנסו לבקש ממנו לכתוב תשובה או לסכם פסקה, לא תקבלו כלום כי הוא מסוגל רק לנחש מילים חסרות בתוך רצף נתון או לפלוט וקטורים. מעבר לזה, המודל אומן ספציפית על פורטוגזית ברזילאית, כך ששימוש בטקסטים מפורטוגל או מאזורים אחרים עלול לתת ביצועים פחות מדויקים בגלל הבדלי ביטויים ותחביר.

שאלות
נפוצות

האם אפשר להשתמש בו לצ'אטבוט או ליצירת תוכן?

לא. הארכיטקטורה שלו מיועדת להבנת שפה והשלמת מילים מוסתרות, לא לייצור טקסט חדש. בשביל מענה לשאלות או כתיבה צריך מודלים גנרטיביים ולא מודל מסוג ברט.

האם הוא יעבוד טוב על עברית?

לא, הוא מוגבל לפורטוגזית. הטוקנייזר וכל תהליך האימון נבנו עבור פורטוגזית ברזילאית, ולכן על שפות אחרות הוא לא יעבוד כלל.

איך מריצים

טוענים אותו בקלות דרך ספריית transformers בפייתון באמצעות AutoModel או דרך צינור משימה של fill-mask. שוקל בסך הכול 1.3 ג'יגה בייט, כך שאין צורך בשרתים כבדים. מעבד רגיל יספיק להסקה במהירות סבירה, וכל כרטיס מסך בסיסי יריץ אותו בלי להרגיש מאמץ.

יש למפתח גם גרסת Large עם 335 מיליון פרמטרים, אבל גרסת הבסיס הזו מספקת את רוב הצרכים בלי להכביד על זיכרון העבודה. בגודל כזה ממש אין סיבה לשלם על שירות ענן חיצוני, פשוט מורידים ומריצים אצלכם ישירות.

from transformers import pipeline

pipe = pipeline("fill-mask", model="neuralmind/bert-base-portuguese-cased")
print(pipe("שלום"))

הקבצים

10 קבצים במאגר, 1.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המודל משוחרר תחת רישיון MIT. המשמעות פשוטה: מותר להשתמש בו לצרכים מסחריים, לשנות אותו, להטמיע אותו במוצר שלכם או לאמן אותו הלאה, כל עוד אתם משאירים את הצהרת זכויות היוצרים המקורית.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא בעמוד המודל ↗