stablelm-tuned-alpha-7b

מה זה

המודל הזה הוא תוצר כוונון עדין של Stability AI על בסיס ארכיטקטורת GPT-NeoX, שנועד לייצר אינטראקציות שיחה במבנה מוגדר. במקום להסתפק באימון בסיסי, היצרנית אימנה אותו ישירות על אוסף רחב של הוראות ושיחות מוכרות, כולל Alpaca עם חמישים ושניים אלף הדגמות, ארבע מאות אלף דוגמאות מ־GPT4All, שיחות מ־ShareGPT, מידע מסווג מ־Dolly של Databricks ודאטה להעדפות בטיחות ועוזרים של Anthropic.

הוא בנוי לעבודה עם חלון הקשר של 4,096 טוקנים, מה שנותן לו מרחב טיפול סביר בשיחות ממושכות יחסית לגודל שלו. המבנה הפנימי שלו כולל 16 שכבות ו־48 ראשי קשב, והוא דורש פורמט פרומפט ייעודי שמפריד בין הוראות מערכת, משתמש ועוזר כדי לשמור על יציבות התשובות.

מתאים ל

• מחקר על דאטהסטי שיחה

  מתאים לבדיקת השפעת שילוב מקורות כמו Alpaca ו־Dolly על איכות התשובות באנגלית.

• פיתוח בוטים לניסוי פנימי

  טוב לאימון והתנסות בהרצת עוזר שיחה מקומי בסביבת בדיקות לא מסחרית.

• ניסויי יצירת תוכן חופשי

  מוגדר בבסיסו לכתיבת סיפורים קצרים, שירה ובדיחות במסגרת פרויקטים אישיים באנגלית.

איפה זה נופל

המודל מאומן באנגלית בלבד. עברית לא נתמכת כאן, ואם תנסו להזין לו טקסט מקומי הוא כנראה יישבר או יחזיר ג'יבריש. בנוסף, מפתחי המודל מבהירים במפורש שהוא מועד להטיות ופולט תוכן לא אמין, כך שאסור להסתמך על התוצרים שלו כמקור לאמת עובדתית או להחלטות קריטיות.

אימון הכוונון לא הצליח לנקות את כל הרעילות ובעיות האמינות, וכל פרויקט שמשלב אותו מחייב מנגנוני סינון ובדיקה ידנית לפני שהוא פוגש משתמשים.

אותה משפחה

stablelm-tuned-alpha יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקל הכולל של הקבצים מגיע לכמעט 30 גיגה־בייט בדיוק float32, כך שהרצה שלו בצורה המקורית דורשת כרטיס מסך כבד עם לפחות 32 גיגה־בייט זיכרון גרפי, או שתצטרכו להמיר אותו עצמאית לדיוק נמוך יותר כדי לדחוס אותו לכרטיסים ביתיים נפוצים. הוא רץ ישירות דרך ספריית transformers הרגילה של פייתון.

אם אין לכם תשתית GPU ייעודית זמינה ואתם רק צריכים תשובות טקסט מהירות לפרויקט קטן, להרים שרת בשביל המשקל הזה זה מהלך יקר ומסורבל. במצב כזה עדיף לצרוך מודלים דרך API חיצוני ולא להחזיק שרת ייעודי שיישב דולק.

from transformers import pipeline

pipe = pipeline("text-generation", model="stabilityai/stablelm-tuned-alpha-7b")
print(pipe("שלום"))

הקבצים

12 קבצים במאגר, 29.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model-00001-of-00004.bin9.8 GB
• pytorch_model-00002-of-00004.bin9.8 GB
• pytorch_model-00003-of-00004.bin9.7 GB
• pytorch_model-00004-of-00004.bin2.4 GB
• tokenizer.json2.1 MB
• pytorch_model.bin.index.json21.1 KB
• README.md7.2 KB
• .gitattributes1.5 KB
• config.json606 B
• tokenizer_config.json264 B
• generation_config.json111 B
• special_tokens_map.json99 B

הרישיון

הרישיון הוא CC BY-NC-SA 4.0, מה שאומר שהשימוש המסחרי חסום לחלוטין. מותר לכם להוריד, לשנות ולהריץ אותו רק למטרות מחקר, לימוד או פרויקטים אישיים ללא כוונת רווח. אם תשנו את המשקלים או תפיצו גרסה משלכם, אתם מחויבים לפרסם אותה תחת אותם תנאים בדיוק ולתת קרדיט ליוצרים.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא בעמוד המודל ↗