bert-base-chinese
קוד פתוחgoogle-bertapache-2.02022-03-02
גרסת הבסיס של ברט לסינית מיועדת להשלמת מילים חסרות בטקסט. היא מתאימה למי שצריך מודל קומפקטי של גוגל שמבין את השפה ברמת התו והמילה.
- 103Mפרמטרים
- 512טוקנים בהקשר
- 1.6 GBמשקל הקבצים
- 408,727הורדות בחודש
מה זה
מדובר בארכיטקטורת ברט קלאסית עם 12 שכבות שאומנה מראש על השפה הסינית. המודל עובד על משימת מילוי מילים מוסתרות, כאשר תהליך המיסוך והאימון בוצע על רכיבי מילים באופן עצמאי. הוא משתמש באוצר מילים של 21,128 מונחים שמתאימים למבנה התווים הסיני, מה שמבדיל אותו מהגרסאות המערביות או הרב־לשוניות הכלליות.
המטרה העיקרית פה היא לספק ייצוג וקטורי איכותי למשפטים בסינית או להשלים טוקנים חסרים. כרטיס המודל לא מציג נתוני מבחנים או ציונים רשמיים, כך שקשה למדוד ביצועים מדויקים מראש מול חלופות מודרניות יותר בלי לבדוק אותו על הדאטה הספציפי שלכם.
מתאים ל
- השלמת תווים בסינית
מילוי מילים וביטויים חסרים בתוך משפטים קצרים בזכות אימון ייעודי למשימה.
- בסיס לכוונון מסווגים
נקודת פתיחה טובה לאימון מודל סיווג טקסט סיני בעזרת ייצוגי השפה המוכנים.
- חילוץ וקטורים לטקסט
יצירת ייצוג מספרי למשפטים בסינית לצורכי חיפוש סמנטי והשוואת דמיון.
איפה זה נופל
חלון ההקשר מוגבל ל־512 טוקנים, מה שפוסל ניתוח של מסמכים ארוכים ברצף. בנוסף, המודל אומן רק על סינית ולא מיועד לטקסט מעורב או רב־לשוני. יוצרי המודל מזהירים במפורש מפני הטיות, תוכן פוגעני וסטריאוטיפים שמגיעים מדאטה האימון, כך שחובה לסנן את הפלטים שלו לפני שילוב במערכת חיה.
שאלות
נפוצות
האם המודל יודע להתמודד עם שפות אחרות מלבד סינית?
לא. המודל אומן באופן ממוקד על השפה הסינית עם אוצר מילים ייעודי. לטקסט שמשלב עברית או אנגלית עדיף לחפש גרסה רב־לשונית.
האם המודל מסוגל לייצר טקסט חופשי כמו צ'אט?
לא, הוא בנוי כמודל מפענח שרק חוזה טוקנים מוסתרים בתוך רצף נתון. הוא לא מיועד לכתיבת תשובות ארוכות או שיחה.
איך מריצים
טוענים את המשקלים ישירות דרך ספריית transformers עם מודל ומפענח תואמים למשימת שפה מוסתרת. הקבצים שוקלים סך הכול 1.6 גיגה בייט ומכילים כ־103 מיליון פרמטרים, גודל שנכנס בקלות לכל מעבד מודרני ואפילו לא דורש כרטיס גרפי ייעודי בזמן הסקה.
חומרה בסיסית של שרת ענן זול או מחשב מקומי תספיק כאן לגמרי. אין צורך להסתבך עם קריאות לשירותי ענן חיצוניים או לשלם לפי שימוש, כי המשקל הנמוך מאפשר להריץ אותו ישירות בקוד שלכם בלי תקורת רשת.
from transformers import pipeline
pipe = pipeline("fill-mask", model="google-bert/bert-base-chinese")
print(pipe("שלום"))הקבצים
10 קבצים במאגר, 1.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הפרויקט מופץ ברישיון אפאצ'י 2.0. זהו רישיון קוד פתוח מתירני שמאפשר שימוש מסחרי, שינוי של הקוד והפצה של המשקלים, בתנאי ששומרים על הודעות זכויות היוצרים ומצרפים את נוסח הרישיון המקורי.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים