bloom-3b

מה זה

מדובר במודל שנועד למשימות יצירת טקסט, חלק מפרויקט המחקר של bigscience. הוא מאומן על עשרות שפות כולל ערבית, הינדי, צרפתית, ספרדית וקטעי קוד, מה שמבדיל אותו ממודלים ותיקים באותו סדר גודל שהתמקדו כמעט רק באנגלית.

התוצאות שלו מציגות יכולות בסיסיות מאוד. במבחן arc_easy הוא מגיע לדיוק של 0.5946969696969697, ובמבחן boolq לדיוק של 0.6165137614678899. לעומת זאת, במשימות מורכבות יותר המצב חלש בהרבה, כאשר במבחן arc_challenge הוא מציג דיוק של 0.27986348122866894 בלבד, שזה בקושי מעל ניחוש אקראי. בנוסף, מדד ה־byte_perplexity שלו על טקסטים בעברית עומד על 3.6004478129801667 לעומת 2.018740628193298 באנגלית, כלומר השליטה שלו בעברית נמוכה משמעותית מזו שבשפות המרכזיות.

מתאים ל

• מחקר בלשני

  איסוף נתונים והשוואה בין עשרות שפות מגוונות במודל פתוח אחד.

• השלמת קוד בסיסית

  הוא אומן על קוד ומאפשר לייצר השלמות תחביר פשוטות בסביבה מקומית.

• סיווג טקסטים פשוט

  התאמה למשימות זיהוי נושא או שאלות כן ולא בעזרת משקל קל יחסית.

איפה זה נופל

המודל מתקשה בהסקה לוגית מורכבת ובהבנת הקשר עמוק. במבחן cb הוא קיבל דיוק של 0.30357142857142855, ובמבחן diabla הדיוק הוא 0.28888308977035493, כך שאי אפשר לסמוך עליו לשיחות שדורשות עקביות או הבנה של טקסט מפותל. במבחני הוגנות כמו crows_pairs_english הוא עומד על 0.4973166368515206, מה שמעיד על נטייה להטיות שחייבים לסנן ידנית לפני שחושפים אותו למשתמשי קצה.

אותה משפחה

bloom יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המודל שוקל 11.2 GB שמחולקים לתשעה קבצים, ונטען ישירות דרך ספריית transformers בפייתון בארכיטקטורת BloomForCausalLM. כדי להריץ אותו בנוחות תצטרכו כרטיס מסך עם לפחות 16GB זיכרון וידאו, או שתצטרכו להסתפק בהרצה איטית על מעבד רגיל עם שפע זיכרון RAM.

אם אתם צריכים רק מענה מהיר לבדיקות או שמדובר בשאילתות ספורדיות, עדיף לפנות ל־API חיצוני מוכן במקום להחזיק שרת ייעודי שעולה כסף מדי חודש. הרצה מקומית משתלמת כאן בעיקר אם המידע רגיש או אם אתם רוצים לאמן עליו שכבות התאמה משלכם.

from transformers import pipeline

pipe = pipeline("text-generation", model="bigscience/bloom-3b")
print(pipe("שלום"))

הקבצים

9 קבצים במאגר, 11.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model.bin6.0 GB
• model.safetensors6.0 GB
• tokenizer.json14.5 MB
• README.md64.6 KB
• LICENSE15.8 KB
• .gitattributes1.3 KB
• config.json693 B
• tokenizer_config.json222 B
• special_tokens_map.json85 B

הרישיון

המודל מופץ תחת רישיון bigscience-bloom-rail-1.0. הרישיון מאפשר שימוש חופשי וגם שימוש מסחרי, אבל כולל הגבלות שימוש ספציפיות שאוסרות על פיתוח יישומים מזיקים, מעקב פולשני או הפצת מידע מטעה. מי שמשלב אותו במוצר חייב לוודא שהתרחיש שלו לא מפר את סעיפי האחריות האלה.

הרישיון המלא בעמוד המודל ↗