bloom

קוד פתוח

bigsciencebigscience-bloom-rail-1.02022-05-19

transformers
pytorch
tensorboard
safetensors
bloom

מודל פתוח עצום של 176 מיליארד פרמטרים שאומן על 46 שפות טבעיות וקוד. מתאים למי שחייב מודל רב לשוני מלא בלי תלות בספק סגור.

176Bפרמטרים
657 GBמשקל הקבצים
16,916הורדות בחודש
5,043לייקים

מה זה

מדובר במודל שנוצר בפרויקט שיתופי בינלאומי במימון ממשלת צרפת והרצה על מחשב העל Jean Zay. הוא מאומן על 366 מיליארד טוקנים ומכסה שפות רבות כולל ערבית, שפות הודיות, אפריקאיות, אנגלית וקוד. הארכיטקטורה מבוססת מפענח בלבד עם קידודי מיקום מסוג ALiBI וחלון הקשר של 2,048 טוקנים.

בבדיקות HumanEval על פייתון הוא עוקף את OPT המקביל ומשיג דיוק של 15.5 אחוז בניסיון ראשון ועד 57.2 אחוז במאה ניסיונות. זה לא הופך אותו למתכנת אוטונומי, אבל מראה שהוא מסוגל להבין ולהשלים לוגיקה תכנותית סבירה לצד טקסט חופשי.

מתאים ל

מחקר אקדמי על שפות
כיסוי של 46 שפות טבעיות במודל פתוח מלא מאפשר ניתוח בלשני השוואתי.
השלמת קוד רב לשונית
נבדק ונמצא כשיר להשלמת קוד ב־13 שפות תכנות שונות.
חילוץ מידע וסיווג בערבית
ערבית היא חלק מליבת נתוני האימון, להבדיל ממודלים שמתמקדים רק באנגלית.

איפה זה נופל

הוא נוטה להמציא עובדות, לחזור על פלטים ולייצר תוכן פוגעני או מפלה, כפי שמצוין במפורש בכרטיס. התיעוד אוסר על שימוש בו לקבלת החלטות קריטיות, ייעוץ משפטי, רפואי, פוליטי או הערכת אשראי ואנשים. עברית אינה מופיעה ברשימת השפות המרכזיות שלו, ולכן הפלט בעברית צפוי להיות חלש ושבור ביחס לאנגלית או ערבית.

אותה משפחה

bloom יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

bloom-560m450,283 bloom-3b13,163

שאלות
נפוצות

האם אפשר להריץ אותו על שרת יחיד במשרד?

לא. משקלי המודל לבדם תופסים 329 גיגה בייט בזיכרון, כך שנדרש אשכול שרתים או שרת ייעודי עם לפחות שמונה מאיצי A100.

האם המודל מתאים ליישומים בעברית?

הוא לא אומן ישירות על עברית כשפת יעד מרכזית. התוצאות יהיו נחותות משמעותית ביחס לשפות שנתמכות בו רשמית.

איך מריצים

כדי להעלות את משקלי ה־bf16 תצטרכו לפחות 329 גיגה בייט של זיכרון כרטיסי מסך, ועוד מאות גיגות של דיסק רק לפריקת 269 הקבצים. אימון המודל דרש 384 מעבדי A100 של 80GB, כך שגם להרצת היקשים תצטרכו שרת עם שמונה כרטיסי 80GB ושימוש בספריות כמו transformers ו־accelerate.

אם אין לכם תשתית כזאת בחצר או תקציב ענן תואם, אין היגיון להרים אותו מקומית. עדיף לפנות לנקודות קצה מוכנות ברשת שמגישות אותו דרך ממשק תוכנה.

from transformers import pipeline

pipe = pipeline("text-generation", model="bigscience/bloom")
print(pipe("שלום"))

הקבצים

269 קבצים במאגר, 657 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא bigscience-bloom-rail-1.0. הוא מתיר שימוש מסחרי ומחקר, אך מטיל מגבלות שימוש מחמירות כמו איסור על מעקב לא מורשה, פגיעה בזכויות אדם, הפצת מידע כוזב ושימוש רפואי או משפטי. בנוסף, חובה לצרף את תנאי הרישיון לכל נגזרת ולציין שהתוכן יוצר על ידי המודל.

הרישיון המלא בעמוד המודל ↗