bloomz-7b1-mt

מה זה

מדובר בגרסת 7.1 מיליארד פרמטרים ממשפחת BLOOM שעברה כוונון על מאגר xP3mt. המאגר הזה מכיל משימות בשפות שונות, כשהמטרה המוצהרת של גרסת ה־mt היא לעבוד טוב יותר עם פרומפטים שלא נכתבו באנגלית. הארכיטקטורה זהה למודל הבסיס, אך תהליך האימון הנוסף כלל 4.19 מיליארד טוקנים לאורך אלף צעדים ברמת דיוק של float16.

הוא מסוגל לבצע משימות אפס צעדים כמו תרגום, סיווג רגש וניתוח טקסט לפי הוראה ישירה. ההבדל המרכזי מול גרסת bloomz-7b1 הרגילה נעוץ במיקוד השפתי. הגרסה הרגילה הומלצה לפניות באנגלית, בעוד הגרסה הזו מיועדת ספציפית לקלטים בשפות אחרות. מבחינת שפות המקור, המודל נשען על המאגרים של BLOOM המקורי וכולל שפות כמו ערבית, אנגלית, קטלאנית ושפות נוספות, לצד קוד.

מתאים ל

• תרגום טקסט רב לשוני

  תרגום ישיר בין שפות שנתמכות במאגר xP3mt על ידי מתן הוראה ברורה.

• סיווג טקסטים ללא דוגמאות

  הערכת עמדות, סנטימנט וזיהוי נושאים בשפות שונות ישירות מתוך ההנחיה.

• מענה להוראות בשפות זרות

  חילוץ מידע ותשובות לשאלות כשהפרומפט הראשוני אינו מנוסח באנגלית.

איפה זה נופל

הבעיה המרכזית כאן היא רגישות קיצונית לניסוח הפרומפט. המפתחים עצמם מציינים שאם לא מבהירים למודל בדיוק איפה נגמר הקלט, למשל באמצעות נקודה בסוף משפט או מילות מבנה כמו Translation, הוא עלול פשוט להמשיך לייצר את הטקסט במקום לענות על ההוראה. בנוסף, עברית לא נכללת ברשימת שפות היעד המרכזיות שצוינו בכרטיס, ולכן היכולת שלו להבין הוראות מורכבות בעברית דורשת בדיקה זהירה לפני כל שילוב במערכת.

איך מריצים

המשקל הכולל של הקבצים מגיע ל־26.4 ג'יגה בייט, מה שאומר שצריך חומרה מתאימה כדי לטעון אותו לזיכרון. הרצה מלאה ב־FP16 דורשת כרטיס מסך עם לפחות 16 עד 24 ג'יגה בייט זיכרון וידאו. מי שמוגבל בחומרה יכול להשתמש בטעינה ב־8 ביט דרך bitsandbytes וספריית transformers, מה שחותך את דרישות הזיכרון ומאפשר לעבוד על כרטיסים צרכניים חזקים.

קוד ההרצה הסטנדרטי מבוסס על ספריות transformers ו־accelerate של Hugging Face, וניתן להריץ אותו על GPU או CPU, אם כי ב־CPU המהירות תהיה נמוכה משמעותית. אם אין לכם שרת ייעודי עם חומרה מתאימה, תשלום לפי קריאה לשרת חיצוני שמחזיק מודל כזה יהיה פשוט וזול יותר.

from transformers import pipeline

pipe = pipeline("text-generation", model="bigscience/bloomz-7b1-mt")
print(pipe("שלום"))

הקבצים

12 קבצים במאגר, 26.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model.bin14.1 GB
• model.safetensors14.1 GB
• logs/logs/main_log.txt22.3 MB
• tokenizer.json14.5 MB
• logs/tensorboard/events.out.tfevents.1664281554.jean-zay-iam33.28878.02.6 MB
• logs/tensorboard/events.out.tfevents.1664349718.jean-zay-iam09.104164.0756.0 KB
• logs/tensorboard/events.out.tfevents.1664280553.jean-zay-iam33.24300.074.9 KB
• README.md24.6 KB
• .gitattributes1.5 KB
• config.json747 B
• tokenizer_config.json199 B
• special_tokens_map.json85 B

הרישיון

המודל מופץ תחת רישיון bigscience-bloom-rail-1.0. הרישיון מאפשר שימוש מסחרי, אך כולל הגבלות שימוש אחראי (RAIL) שאוסרות על יישומים פוגעניים מסוימים, הפצת דיסאינפורמציה או שימושים רפואיים ומשפטיים ללא פיקוח. תצטרכו לוודא שהמוצר שלכם עומד בכללי ההתנהגות של הרישיון.

הרישיון המלא בעמוד המודל ↗