bloomz-560m

קוד פתוח

bigsciencebigscience-bloom-rail-1.02022-10-08

transformers
pytorch
tensorboard
safetensors
bloom

גרסה מכווננת להוראות של BLOOM בגודל חצי מיליארד פרמטרים. היא פונה למי שרוצה מודל רב לשוני קל משקל שרץ כמעט על כל חומרה בלי להזדקק למעבדים גרפיים יקרים.

559Mפרמטרים
2.1 GBמשקל הקבצים
765,650הורדות בחודש
138לייקים

מה זה

המודל מבוסס על bloom-560m ועבר כוונון ייעודי על מאגר xP3, שכולל שילוב משימות רב לשוניות בהיקף של 3.67 מיליארד תווclientים. המטרה של המהלך הזה היא להביא מודל קטן למצב שבו הוא מבין הוראות ישירות בשפה טבעית, כמו בקשות תרגום או מענה על שאלות, בלי שתצטרכו לאמן אותו מחדש על המשימה הספציפית שלכם.

הוא שייך למשפחה רחבה שמגיעה עד 176 מיליארד פרמטרים, אבל כאן מדובר בגרסה הקטנה ביותר בסדרה. הוא מתאים להוראות שנכתבות באנגלית, גם אם הטקסט שהוא מעבד או מייצר שייך לשפות אחרות כמו ערבית, קטלאנית או קוד תוכנה. עברית אינה מופיעה ברשימת השפות המוגדרות שלו, ולכן לא כדאי לבנות עליו לעבודה מקומית.

מתאים ל

תרגום טקסטים קצרים
הוא יודע לקבל הוראה פשוטה באנגלית ולהמיר משפטים בין שפות נתמכות ישירות על המעבד.
פיתוח ובדיקות על לפטופ
משקל של 2.1 גיגה בייט מאפשר לבדוק צינורות עבודה של מודלי שפה בלי להחזיק שרת ייעודי.
סיווג טקסטים מהיר
הוא מסוגל להכריע אם משפט מביע עמדה חיובית או שלילית לפי הנחיה מוגדרת מראש.

איפה זה נופל

הבעיה המרכזית כאן היא רגישות קיצונית לניסוח הקלט. הכרטיס מציין שאם לא תסמנו בבירור איפה ההוראה נגמרת, למשל באמצעות נקודה בסוף משפט או מילות מפתח שמגדירות את הפלט, המודל פשוט ינסה להמשיך לכתוב את הטקסט במקום לענות עליו. בנוסף, 559 מיליון פרמטרים זה נפח קטן מאוד עבור משימות חשיבה מורכבות, ורמת ההבנה שלו תלויה לחלוטין בכך שההוראות יינתנו באנגלית.

אותה משפחה

bloomz יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

bloomz-3b6,278 bloomz988

שאלות
נפוצות

האם המודל תומך בעבודה בעברית?

לא. רשימת השפות הרשמית כוללת אנגלית, ערבית, קטלאנית, בנגלה, אסאמית, במבארה, אקאן וקוד. אם תזינו לו עברית, התוצאות יהיו שגויות או חסרות משמעות.

מה עדיף, להריץ אותו על המעבד או על כרטיס מסך?

הוא קטן מספיק כדי לרוץ בצורה סבירה על CPU רגיל ללא כרטיס ייעודי. עם זאת, אם יש לכם GPU זמין ותשתמשו בספריית accelerate עם מצב 8 ביט, תקבלו מהירות תגובה גבוהה בהרבה.

איך מריצים

כדי להריץ אותו צריך רק את ספריית transformers של פייתון. קבצי המשקולות תופסים 2.1 גיגה בייט בלבד, מה שאומר שאפשר לטעון אותו בקלות ישירות לזיכרון של מעבד רגיל בלי לקנות כרטיס מסך בכלל. אם יש לכם GPU בסיסי, הוא ירוץ עליו מהר מאוד בפורמט float16 או בכימות של 8 ביט דרך bitsandbytes.

מי שצריך תוצאות ברמה גבוהה למשימות מורכבות יעדיף לפנות לגרסאות הגדולות יותר בסדרה, כמו אלו של 3 מיליארד או 7.1 מיליארד פרמטרים, או לשלם על API חיצוני. המודל הזה מתאים בעיקר לבדיקות מקומיות מהירות, סביבות פיתוח מוגבלות במשאבים או עיבודים פשוטים מאוד שלא מצדיקים עלויות שרת.

from transformers import pipeline

pipe = pipeline("text-generation", model="bigscience/bloomz-560m")
print(pipe("שלום"))

הקבצים

14 קבצים במאגר, 2.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הוא מופץ תחת רישיון bigscience-bloom-rail-1.0. הרישיון מאפשר שימוש מסחרי ומחקר חופשי, אך כולל מגבלות שימוש שמחייבות אתכם לוודא שהתוצר לא מופעל בתחומים מסוכנים, מעקב פוגעני או הפצת נזק, ותנאים אלו חלים גם על הפצה של גרסאות המשך.

הרישיון המלא בעמוד המודל ↗