bloomz-3b

קוד פתוח

bigsciencebigscience-bloom-rail-1.02022-10-08

transformers
pytorch
tensorboard
safetensors
bloom

גרסת שלוש מיליארד פרמטרים ממשפחת בלום שעברה כיוונון להבנת הוראות בשפות שונות. מתאימה למי שרוצה מודל רב לשוני סביר שירוץ על חומרה מקומית צנועה.

3Bפרמטרים
11.2 GBמשקל הקבצים
6,278הורדות בחודש
81לייקים

מה זה

מדובר במודל שנוצר על ידי אימון המשך של בלום המקורי על מאגר בשם xP3. המטרה של התהליך הזה היא לקחת מודל שפה גנרי וללמד אותו לעקוב אחרי הוראות ישירות, אפילו במשימות ובשפות שהוא לא ראה ספציפית באימון, ביכולת שנקראת אפס דוגמאות.

במשקל קבצים של 11.2 גיגה בייט ובגודל של 3 מיליארד פרמטרים, הוא מיועד בעיקר למי שפונה אליו בהוראות באנגלית כדי לחלץ מידע או לתרגם בין שפות. היוצרים מציינים במפורש שאם אתם כותבים הוראות בשפות אחרות, הגרסאות ממשפחת mt מתאימות יותר, כך שהגרסה הזו פחות תתאים לבקשות שנכתבות ישירות בשפה מקומית.

מתאים ל

תרגום טקסטים קצרים
הוא אומן על משימות חוצות שפות ומזהה בקשות תרגום ישירות מאנגלית לשפות נתמכות.
סיווג רגש וטקסט
מסוגל לענות מיד אם טקסט הוא חיובי או שלילי כשמגדירים לו את הפורמט בבירור.
סביבת בדיקות מקומית
רץ בקלות בזיכרון של מחשב פיתוח יחיד ללא צורך באשכול שרתים יקר.

איפה זה נופל

המודל רגיש מאוד לניסוח השאילתה. היוצרים מזהירים שאם לא תסמנו לו בדיוק איפה הקלט נגמר, למשל באמצעות נקודה או מילת קידומת לתשובה, הוא פשוט ינסה להמשיך לכתוב את הטקסט במקום לענות עליו. בנוסף, עברית לא נכללת ברשימת שפות המפתח של המודל, ולכן ניסיון להשתמש בו לטקסטים בעברית ללא בדיקה מעמיקה יוביל כנראה לתוצאות שבורות.

אותה משפחה

bloomz יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

bloomz-560m765,650 bloomz988

שאלות
נפוצות

האם המודל תומך בעברית?

השפות שצוינו במפורש כוללות אנגלית, ערבית, אסאמית, קטלאנית ושפות נוספות, אך עברית אינה מופיעה ברשימה. הוא עשוי לפלוט מילים בעברית עקב חומרי אימון ברשת, אבל לא הייתי בונה עליו שום יכולת אמינה בשפה הזו.

האם עדיף להשתמש בגרסת ה־3B או בדגם גדול יותר?

דגם ה־3B מהווה פשרה ברורה שנועדה לאפשר הרצה על חומרה חלשה. אם הדיוק הוא מדד קריטי במערכת שלכם, דגמי ה־7.1B או ה־176B מספקים הבנת הוראות עמוקה בהרבה.

איך מריצים

בגלל המשקל הנמוך יחסית, אפשר לטעון אותו ישירות דרך ספריית transformers בפייתון. על מעבד רגיל הוא יעבוד לאט, אבל כרטיס מסך בודד עם זיכרון צנוע יספיק פה בלי בעיה, במיוחד אם טוענים אותו בפורמט של 8 ביט באמצעות bitsandbytes ומשאירים חצי מהזיכרון פנוי.

אם כל מה שאתם צריכים זה כמה עשרות קריאות ביום לבדיקות, שירות ענן חיצוני יחסוך את כאב הראש של ניהול השרת. להרצה מקומית יש היגיון רק אם יש לכם צורך בפרטיות מוחלטת או רצון לחסוך עלויות קריאה שוטפות בפיתוח מתמשך.

from transformers import pipeline

pipe = pipeline("text-generation", model="bigscience/bloomz-3b")
print(pipe("שלום"))

הקבצים

14 קבצים במאגר, 11.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הוא מופץ תחת רישיון bigscience bloom rail 1.0. הרישיון מאפשר שימוש מסחרי, אבל כפוף להגבלות אתיות שמונעות שימוש בתחומים פוגעניים כמו מעקב, פגיעה בזכויות אדם או הפקת מידע מטעה.

הרישיון המלא בעמוד המודל ↗