bloom-1b7
קוד פתוחbigsciencebigscience-bloom-rail-1.02022-05-19
מודל שפה קטן של 1.7 מיליארד פרמטרים שמתמקד בריבוי שפות ובקוד. הוא מתאים למי שרוצה להריץ מודל פתוח מקומית על חומרה צנועה לצורכי מחקר או ניסויי יצירת טקסט.
- 1.7Bפרמטרים
- 9.6 GBמשקל הקבצים
- 39,294הורדות בחודש
- 123לייקים
מה זה
מדובר במודל מסוג דקודר בלבד שנבנה על בסיס ארכיטקטורת GPT2 עם שינויים, כמו קידודי מיקום מסוג ALiBI ונרמול שכבות מסוג StableEmbedding. הוא אומן על 350 מיליארד טוקנים שכוללים 45 שפות טבעיות ושתים עשרה שפות תכנות, כולל ג'אווה, פייתון ו־PHP. בניגוד למודלים רבים בגודל הזה שמתרכזים כמעט רק באנגלית, הדגש כאן הוא על מגוון שפות רחב, כולל שפות ניז'ר-קונגו ושפות הודיות, לצד ערבית וקטלאנית.
בסיום האימון המודל הגיע לערך פרפלקסיטי של 8.9 ולוס ולידציה של 2.2. המשמעות בפועל היא שהוא לומד את התפלגות הטקסט ברמה סבירה לגודלו, אבל הוא רחוק מלהיות מדויק או עקבי. זהו מודל בסיס גולמי שלא עבר כוונון להוראות, ולכן הוא בעיקר משלים טקסט ולא עונה ישירות על שאלות מורכבות.
מתאים ל
- מחקר על שפות מגוונות
הוא כולל שפות אפריקאיות והודיות נדירות שלא קיימות ברוב המודלים הקטנים.
- השלמת קוד מקומית
הוא אומן על מיליוני קבצי קוד בשפות כמו פייתון, ג'אווה ו־PHP על חומרה קלה.
- בסיס לכוונון עדין
משקלי ה־1.7 מיליארד פרמטרים מאפשרים אימון המשך זול למשימות סיווג ומיצוי מידע.
איפה זה נופל
המודל פולט מידע שגוי שנשמע אמין, סובל מחזרתיות ועלול לייצר תוכן פוגעני או סטריאוטיפי. הכרטיס מבהיר במפורש שאסור להשתמש בו לקבלת החלטות קריטיות, ייעוץ רפואי, פיננסי או משפטי, ואין להסתמך עליו לסיכומים אמינים או לעובדות. בנוסף, עברית אינה מופיעה ברשימת השפות שבהן הוא אומן, כך שאין לצפות ממנו לעבודה תקינה בעברית.
שאלות
נפוצות
האם המודל יודע לייצר טקסט בעברית?
עברית אינה נכללת ב־45 השפות שצוינו במפורש בנתוני האימון. הוא אומן בעיקר על אנגלית, ערבית, שפות אירופיות, הודיות ואפריקאיות, ולכן הוא אינו מתאים לשימוש בעברית.
האם אפשר להשתמש בו כצ'אטבוט מוכן למשתמשי קצה?
לא. מדובר במודל בסיס שמשלים טקסט בלבד ולא עבר אימון לתשובות לשאלות או דיאלוג. בנוסף, הכרטיס אוסר על שימוש שמטעה משתמשים לחשוב שמדובר בבן אדם ומזהיר מהזיות עובדתיות.
איך מריצים
המשקלים בפורמט חצי דיוק תופסים 2.6 גיגה בייט, ובסך הכול יש להוריד כ־9.6 גיגה בייט של קבצים. אפשר להריץ אותו בקלות בספריית transformers על מעבד גרפי יחיד עם 8 עד 16 גיגה זיכרון, ואפילו על מעבד רגיל לניסויים קטנים. אין צורך בתשתית מבוזרת כדי להעלות אותו.
אם אתם צריכים רק לבדוק תגובות בודדות או להשתעשע עם יצירת טקסט, שימוש ב־API מרוחק חוסך את ההורדה והתחזוקה. הרצה עצמית שווה את המאמץ רק כשרוצים לבצע כוונון עדין על דאטה פנימי, לחקור את התנהגות השכבות, או לשמור על מידע סודי לגמרי.
from transformers import pipeline
pipe = pipeline("text-generation", model="bigscience/bloom-1b7")
print(pipe("שלום"))הקבצים
9 קבצים במאגר, 9.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הרישיון הוא bigscience-bloom-rail-1.0. הוא מאפשר שימוש ומחקר, אך מטיל הגבלות שימוש נוקשות. אסור להשתמש בו לפגיעה בזכויות אדם, הפצת מידע כוזב, מעקב, קבלת החלטות רפואיות או משפטיות, והוא מחייב ייחוס ברור ומניעת הטעיה לגבי מקור הטקסט.