bloom-7b1

מה זה

מדובר במודל שפה מבוסס מפענח בלבד עם 7.1 מיליארד פרמטרים, שנבנה על ארכיטקטורת Megatron-LM GPT2 עם התאמות מודרניות כמו קידודי מיקום ALiBI ונרמול שכבות מסוג StableEmbedding. הנתונים שלו כוללים 45 שפות טבעיות ושתים עשרה שפות תכנות על פני טרהבייט וחצי של טקסט, כשהמיקוד המרכזי הוא הכללה נרחבת של שפות מאפריקה ומהודו שלא מקבלות מענה ברוב המודלים המערביים.

במדדי ההערכה הרשמיים במהלך האימון הוא מציג Perplexity של 16, לצד Validation Loss של 2.9 ו־Training Loss של 2.3. המספרים האלה מעידים על למידה יציבה בהתחשב בהיקף השפות העצום, אך הביצועים שלו בשפות ספציפיות תלויים מאוד בנתח היחסי שהן קיבלו מתוך 350 מיליארד הטוקנים.

מתאים ל

• מחקר בלשני רב-לשוני

  הוא כולל שפות נדירות מאפריקה ומהודו שלא קיימות כמעט באף מודל אחר בגודל הזה.

• בסיס לכוונון עדין למשימות

  הארכיטקטורה שלו מתאימה להמשך אימון למשימות חילוץ מידע או מענה לשאלות לפי תחום.

• יצירת קוד בסיסית

  הוא אומן על שתים עשרה שפות תכנות נפוצות כמו פייתון, ג'אווה ו־PHP.

איפה זה נופל

המודל פולט מידע שגוי שנראה אמין ומדויק לחלוטין, והכרטיס הרשמי מדגיש במפורש שאסור לסמוך עליו לצורך קבלת החלטות קריטיות, סיכומים עובדתיים או שימושים רפואיים, משפטיים ופיננסיים. יש לו נטייה לחזרתיות, הזיות, ושיקוף של הטיות וסטריאוטיפים שקיימים בטקסט הגולמי. בנוסף, חלון ההקשר שלו מוגבל ל־2048 טוקנים בלבד, מה שמקשה על עבודה עם מסמכים ארוכים.

איך מריצים

במשקל של כמעט ארבעים גיגה בייט בפורמט float16, אי אפשר להריץ אותו על כרטיס מסך ביתי סטנדרטי בלי קוונטיזציה. תצטרכו מעבד גרפי מקצועי עם לפחות 24 גיגה בייט זיכרון כדי לטעון אותו, או להשתמש בחלוקה לכמה כרטיסים באמצעות שילוב של Hugging Face transformers ו־DeepSpeed.

אם אתם צריכים רק בדיקות נקודתיות של יצירת טקסט ולא מתכננים אימון המשך ייעודי, עדיף להשתמש בנקודת קצה מנוהלת דרך ענן במקום להחזיק שרת יקר באוויר.

from transformers import pipeline

pipe = pipeline("text-generation", model="bigscience/bloom-7b1")
print(pipe("שלום"))

הקבצים

16 קבצים במאגר, 39.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model-00001-of-00002.bin10.0 GB
• model-00001-of-00002.safetensors10.0 GB
• flax_model-00001-of-00002.msgpack10.0 GB
• pytorch_model-00002-of-00002.bin4.2 GB
• model-00002-of-00002.safetensors4.2 GB
• flax_model-00002-of-00002.msgpack4.2 GB
• tokenizer.json14.5 MB
• flax_model.msgpack.index.json32.1 KB
• model.safetensors.index.json28.9 KB
• pytorch_model.bin.index.json27.5 KB
• README.md20.6 KB
• LICENSE15.8 KB
• .gitattributes1.4 KB
• config.json739 B
• tokenizer_config.json222 B
• special_tokens_map.json85 B

הרישיון

הרישיון הוא bigscience-bloom-rail-1.0. הוא מתיר שימוש מסחרי ומחקר, אבל מטיל מגבלות שימוש נוקשות לפי נספח A, כולל איסור מוחלט על שימוש רפואי, משפטי, מעקב, דירוג אשראי או יצירת תוכן מטעה ללא ייחוס.

הרישיון המלא בעמוד המודל ↗