GPT
הוספת כלי
B

bloomz

קוד פתוח

bigsciencebigscience-bloom-rail-1.02022-09-17

  • transformers
  • pytorch
  • tensorboard
  • safetensors
  • bloom

גרסה מכווננת הוראות של מודל ענק עם 176 מיליארד פרמטרים, שמיועדת לבצע משימות בעשרות שפות ישירות מפרומפט טבעי באנגלית. הפתרון מתאים למי שחייב מודל פתוח עצום עם יכולות שפה מגוונות.

  • 176Bפרמטרים
  • 657 GBמשקל הקבצים
  • 988הורדות בחודש
  • 512לייקים

מה זה

מדובר במודל BLOOM המקורי שעבר כוונון רב־משימתי על מאגר xP3, במטרה לאפשר לו להבין הוראות ישירות בלי צורך בדוגמאות מקדימות. הוא נבנה כדי להתמודד עם שפות רבות ומשימות שלא ראה במפורש באימון, כשההמלצה הרשמית כאן היא לכתוב את ההוראות עצמן באנגלית כדי לקבל תוצאות טובות יותר בשאר השפות.

בניגוד למודל הבסיס שבעיקר המשיך טקסטים, כאן יש ניסיון לענות ישירות על שאלות, לתרגם ולנתח מידע. יחד עם זאת, מדובר במשקל כבד מאוד של 657 גיגה־בייט שמחולק למאות קבצים, כך שההבדל העיקרי מול מודלים קטנים יותר באותה משפחה הוא פוטנציאל ההכללה הרחב לצד עלויות תפעול קיצוניות.

מתאים ל

  • תרגום רב־לשוני

    מעביר טקסטים בין שפות מגוונות כשנותנים לו הוראה ברורה באנגלית.

  • ניתוח טקסט ללא דוגמאות

    מבצע סיווג כמו ניתוח עמדות ישירות מתוך הנחיה כתובה.

  • מחקר על מודלי ענק

    מאפשר לבחון יכולות הכללה בין שפות על משקלים פתוחים של 176B.

איפה זה נופל

המודל רגיש מאוד לניסוח הפרומפט ועלול להמשיך את המשפט במקום לענות עליו אם לא מבהירים לו היטב איפה הקלט מסתיים, למשל בעזרת נקודה או מילת סימון. הוא גם דורש הקשר רחב ומפורט כדי להפיק תשובות מדויקות, ובלי הנחיה מפורשת לגבי שפת הפלט הוא עלול לסטות מהמבוקש.

אותה משפחה

bloomz יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

bloomz-560m765,650 bloomz-3b6,278

שאלות
נפוצות

האם אפשר לתת לו הוראות ישירות בעברית?

הגרסה הזו עברה כוונון על xP3 שבו ההוראות מנוסחות בעיקר באנגלית, ולכן מומלץ לפנות אליו באנגלית גם אם מבקשים תוצאה בשפה אחרת. למי שרוצה פרומפטים בשפות אחרות, קיימת גרסת bloomz-mt.

האם אני יכול להריץ אותו על מחשב פיתוח רגיל?

לא. מדובר בקבצים במשקל כולל של מעל 650 גיגה־בייט שמחייבים זיכרון גרפי עצום ומספר כרטיסי מסך ייעודיים ברמה של חוות שרתים, אפילו בכימות של 8 ביט.

איך מריצים

כדי להריץ מודל של 176 מיליארד פרמטרים תצטרכו שרת עם מספר כרטיסי מסך חזקים במיוחד, כמו שמונה כרטיסי A100 של 80 גיגה, ושימוש בספריות כמו accelerate וטעינה ב־8 ביט כדי לדחוס אותו לזיכרון. הרצה על מעבד רגיל מופיעה אמנם בקוד לדוגמה, אבל היא לא מעשית לשימוש אמיתי בגלל האיטיות ודרישות הזיכרון.

אם אתם לא מחזיקים אשכול שרתים ייעודי, עדיף להשתמש בגרסאות הקטנות יותר של הסדרה שנעות בין 560 מיליון ל־7.1 מיליארד פרמטרים, או לפנות לספק חיצוני אם הוא מציע גישה אליו.

from transformers import pipeline

pipe = pipeline("text-generation", model="bigscience/bloomz")
print(pipe("שלום"))

הקבצים

202 קבצים במאגר, 657 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא bigscience-bloom-rail-1.0, שמאפשר שימוש ומחקר אך כולל הגבלות שימוש ספציפיות על יישומים מסוכנים או פוגעניים. מותר להשתמש בו במוצרים כל עוד עומדים בתנאי ההתנהגות המוגדרים ברישיון.

הרישיון המלא בעמוד המודל ↗