GPT
הוספת כלי
B

bloomz-7b1

קוד פתוח

bigsciencebigscience-bloom-rail-1.02022-09-27

  • transformers
  • pytorch
  • safetensors
  • bloom
  • text-generation

גרסה מכווננת הוראות של BLOOM בגודל 7.1 מיליארד פרמטרים. היא יודעת לקבל משימות בשפה טבעית בעשרות שפות שונות, בעיקר כשכותבים לה את ההנחיה באנגלית.

  • 7.1Bפרמטרים
  • 26.6 GBמשקל הקבצים
  • 5,919הורדות בחודש
  • 146לייקים

מה זה

מדובר במודל שפותח על בסיס bloom-7b1 ועבר כוונון מרובה משימות על גבי מאגר xP3, שכלל 4.19 מיליארד טוקנים ב־1,000 צעדים. הרעיון כאן הוא יכולת הכללה בין שפות (zero-shot), כלומר היכולת לבצע משימה בשפה אחת גם אם הוא ראה דוגמאות דומות בעיקר בשפות אחרות.

בניגוד למודל הבסיס שרק מנחש את המילה הבאה בטקסט, הגרסה הזו מיועדת לעקוב אחרי פקודות ישירות כמו תרגום, מענה לשאלות או ניתוח סנטימנט. הוא מאומן להבין הנחיות באנגלית ומסוגל להחזיר פלט בשפות רבות שנכללו באימון המקורי, ביניהן ערבית, קטלאנית ושפות נוספות.

מתאים ל

  • תרגום לפי הנחיה מילולית

    הוא מגיב היטב לבקשות תרגום ישירות בין שפות מגוונות כשמגדירים לו מראש את שפת היעד.

  • סיווג טקסטים בשפות שונות

    מתאים לזיהוי עמדה וסנטימנט בטקסט ללא צורך באימון מקדים, בזכות הכוונון על מאגר xP3.

  • מענה לשאלות טכניות

    יכול להסביר מונחים מורכבים במגוון שפות על בסיס הוראות ברורות ומפורטות באנגלית.

איפה זה נופל

המודל רגיש מאוד לניסוח הפרומפט. הכרטיס מציין במפורש שאם לא תסמנו לו בדיוק איפה הקלט נגמר, למשל באמצעות נקודה בסוף משפט או מילות מפתח כמו תרגום, הוא פשוט ינסה להמשיך את הטקסט במקום לענות על ההוראה. הוא דורש שתספקו לו כמה שיותר הקשר, ולא ינחש לבד לאיזו שפה לתרגם אם לא תגדירו זאת מראש.

שאלות
נפוצות

האם כדאי להשתמש בו לפרומפטים שכתובים בעברית?

הכרטיס ממליץ על הגרסה הזו בעיקר להנחיות באנגלית, והעברית אינה מופיעה ברשימת השפות המרכזיות שצוינו. אם המטרה היא עבודה שוטפת עם שפות שאינן אנגלית, עדיף לבדוק את bloomz-7b1-mt או מודל ייעודי אחר.

האם אפשר להריץ את המודל על גבי מעבד בלבד?

כן, הקוד מאפשר טעינה על CPU באמצעות ספריית transformers, אבל המהירות תהיה אטית מאוד. עבור זמני תגובה שמתאימים לפיתוח או למוצר עדיף להשתמש ב־GPU עם טעינה ב־8 ביט לפחות.

איך מריצים

כדי להריץ אותו ב־PyTorch ו־transformers במצב float16 מלא, תצטרכו כרטיס מסך עם לפחות 16 עד 24 גיגה-בייט זיכרון גרפי, בהתחשב בנפח הקבצים שעומד על 26.6 גיגה-בייט. מי שקצר בחומרה יכול להריץ אותו ב־8 ביט באמצעות bitsandbytes ישירות דרך הספרייה, מה שמאפשר להסתפק בכרטיס ביתי חזק יחסית.

אם אתם מתכננים לכתוב פרומפטים ישירות בשפות שאינן אנגלית, היוצרים ממליצים לבחור בגרסת bloomz-7b1-mt שעברה התאמה ספציפית למשימות כאלה, במקום להשתמש בגרסה הזו.

from transformers import pipeline

pipe = pipeline("text-generation", model="bigscience/bloomz-7b1")
print(pipe("שלום"))

הקבצים

9 קבצים במאגר, 26.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

השימוש כפוף לרישיון bigscience-bloom-rail-1.0. הרישיון מאפשר שימוש חופשי ויישום במוצרים, אך כולל מגבלות שימוש ספציפיות שאוסרות על ניצול המודל לפעולות פוגעניות, הפרת חוק, או תחומים רגישים מסוימים שמוגדרים בתנאי ה־RAIL.

הרישיון המלא בעמוד המודל ↗