bert-base-german-cased

מה זה

מדובר במודל BERT קלאסי של 110 מיליון פרמטרים שאומן מראש על טקסטים בגרמנית בלבד. המפתחים מ־deepset הזינו לו כ־12 גיגה בייט של נתונים, שכוללים שילוב של ויקיפדיה בגרמנית, מאגר פסקי דין ומסמכים משפטיים בשם OpenLegalData, וכתבות חדשות. האילוף נעשה על מעבד TPU v2 יחיד במשך תשעה ימים, תחילה באורך רצף קצר ובהמשך עם חלון מלא.

המטרה העיקרית שלו היא לשמש נקודת מוצא להתאמה אישית למשימות עיבוד שפה. הבדיקות שביצעו עליו מראות יציבות גבוהה במשימות זיהוי ישויות עם Conll03 ו־GermEval14, וסיווג מסמכים ורגש עם GermEval18 ו־10kGNAD. העובדה שהוא שומר על אותיות גדולות וקטנות חשובה במיוחד בגרמנית, שבה כל שמות העצם מתחילים באות גדולה, מה שמקטין בלבול בניתוח תחבירי.

מתאים ל

• חילוץ ישויות בגרמנית

  שומר על אותיות גדולות וקטנות, קריטי לשמות עצם וישויות בגרמנית, ונבדק בהצלחה על Conll03.

• סיווג מסמכים משפטיים

  אומן ישירות על נתוני OpenLegalData, מה שמקנה לו היכרות טובה עם שפה משפטית גרמנית.

• ניתוח סנטימנט בגרמנית

  מתאים למיון ביקורות וטקסטים קצרים לאחר אימון קל, כפי שנבדק מול GermEval18.

איפה זה נופל

חלון ההקשר מוגבל ל־512 טוקנים בלבד, כך שטקסטים ארוכים כמו חוזים מלאים או מאמרים מעמיקים יחייבו אתכם לחתוך את התוכן מראש. בנוסף, רוב האילוף שלו, 810 אלף צעדים מתוך 840 אלף, נעשה על רצפים קצרים של 128 טוקנים ורק 30 אלף צעדים נותרו לאורך המלא.

המודל מיועד אך ורק לשפה הגרמנית. אם תכניסו טקסט מעורב באנגלית או בעברית, הוא לא ידע מה לעשות איתו ויחזיר תוצאות משובשות. כמו כן, הוא מוגדר כמודל Masked LM, ולכן אינו מייצר טקסט חופשי, תשובות ארוכות או שיחה.

איך מריצים

המודל שוקל 2.2 גיגה בייט ומכיל 110 מיליון פרמטרים ב־12 שכבות, כך שהוא רץ בקלות על מעבד מחשב רגיל או על כרטיס מסך בסיסי עם מעט זיכרון. אתם טוענים אותו דרך ספריית transformers בפייתון בלי סיבוכים מיוחדים. הוא דורש משאבים מזעריים ביחס למודלים מודרניים, ולכן אין סיבה אמיתית לפנות ל־API חיצוני או לשלם על שירותי ענן יקרים כדי להפעיל אותו.

שימו לב לעדכון אוצר המילים שנעשה בו. המודל הנוכחי כולל התאמה לסימני פיסוק סטנדרטיים, וקיים גם מודל נפרד תחת השם bert-base-german-cased-oldvocab אם אתם עובדים עם מערכות ישנות יותר שמסתמכות על הגרסה הראשונית.

from transformers import pipeline

pipe = pipeline("fill-mask", model="google-bert/bert-base-german-cased")
print(pipe("שלום"))

הקבצים

18 קבצים במאגר, 2.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• tf_model.h5532.9 MB
• onnx/model.onnx528.9 MB
• pytorch_model.bin438.9 MB
• model.safetensors438.8 MB
• flax_model.msgpack436.5 MB
• onnx/tokenizer.json726.3 KB
• tokenizer.json485.1 KB
• onnx/vocab.txt254.7 KB
• vocab.txt254.7 KB
• README.md4.2 KB
• onnx/tokenizer_config.json1.2 KB
• onnx/config.json606 B
• .gitattributes445 B
• config.json433 B
• onnx/special_tokens_map.json125 B
• onnx/generation_config.json90 B
• onnx/added_tokens.json74 B
• tokenizer_config.json49 B

הרישיון

המודל מופץ תחת רישיון MIT, אחד הרישיונות המתירניים ביותר שיש. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, להטמיע אותו במוצר סגור ולהפיץ אותו הלאה. התנאי היחיד הוא שמירת הודעת זכויות היוצרים והרישיון המקורי בקבצי הקוד שלכם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗