GPT
הוספת כלי
S

stablelm-tuned-alpha-3b

קוד פתוח

stabilityaicc-by-nc-sa-4.02023-04-19

  • transformers
  • pytorch
  • gpt_neox
  • text-generation
  • causal-lm

גרסת צ'אט מוקדמת מבית Stability AI שמביאה מודל קל יחסית עם חלון של 4,096 טוקנים. היא מתאימה בעיקר למי שרוצה לחקור ארכיטקטורת GPT-NeoX על חומרה מקומית צנועה.

  • 4,096טוקנים בהקשר
  • 13.8 GBמשקל הקבצים
  • 1,192הורדות בחודש
  • 110לייקים

מה זה

הפיתוח הזה מבוסס על מודל הבסיס של החברה ועבר כוונון ייעודי למענה על הוראות ושיחה. הוא אומן על שילוב של מאגרי שיחה מוכרים כמו Alpaca, GPT4All, Anthropic HH, Dolly ו־ShareGPT. המטרה כאן הייתה להביא יכולת שיחה למודל קטן יחסית של שלושה מיליארד פרמטרים, עם הקשר ארוך של 4,096 טוקנים.

המשמעות של השילוב הזה היא ניסיון לתת תחושה של עוזר אישי בלי לדרוש משאבי עתק. אין בכרטיס המודל ציוני בנצ'מרק מספריים, כך שקשה להשוות ביצועים יבשים מול מתחרים באותו סדר גודל. מה שכן ברור זה שהאימון נשען כמעט כולו על דאטה שיוצר במקור על ידי מודלים גדולים של OpenAI או אינטראקציות ממשתמשי ShareGPT.

מתאים ל

  • ניסויי צ'אט מקומיים

    הרצה מקומית של בוט שיחה באנגלית על גבי חומרה אישית לצורכי מחקר ובדיקות.

  • בדיקת פרומפטים מובנים

    אימון ובדיקה של זרימת שיחה לפי פורמט התגיות המוגדר של המערכת והמשתמש.

  • עיבוד טקסטים ארוכים באנגלית

    התמודדות עם קלטים ארוכים הודות לחלון הקשר של 4,096 טוקנים במודל קטן.

איפה זה נופל

מדובר בגרסת אלפא מוקדמת מ־2023, והיוצרים עצמם מבהירים שהיא לא נקייה מהטיות, שגיאות או פלט בעייתי. היא תומכת רק באנגלית, כך שאין מה לבנות עליה לעברית. בנוסף, מודל של שלושה מיליארד פרמטרים נוטה להזיות בקלות ואי אפשר להסתמך עליו כמקור עובדתי מהימן או כמחליף לשיקול דעת אנושי.

אותה משפחה

stablelm-tuned-alpha יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

stablelm-tuned-alpha-7b822

שאלות
נפוצות

האם אפשר להשתמש במודל הזה במוצר מסחרי?

לא. הרישיון שבו הוא שוחרר אוסר במפורש שימוש מסחרי, בין היתר בגלל השימוש בדאטה שמקורו ב־Alpaca. אם אתם מתכננים מוצר שמייצר הכנסה, תצטרכו לחפש מודל עם רישיון פתוח לחלוטין כמו Apache 2.0.

האם המודל מבין ומייצר עברית?

המודל אומן והוגדר רשמית עבור השפה האנגלית בלבד. הוא לא מיועד לעברית, ואם תנסו לכתוב לו בעברית אתם צפויים לקבל פלט מקוטע, שגוי או חסר משמעות לחלוטין.

איך מריצים

המשקלים מגיעים בפורמט float32 ותופסים כמעט 14 גיגה בייט על הדיסק, מה שדורש זיכרון וידאו משמעותי יחסית אם מנסים לטעון אותם כפי שהם דרך ספריית transformers. בפועל, כדאי להמיר או לטעון אותו בדיוק נמוך יותר כדי להריץ על כרטיס מסך ביתי סביר.

בזמן ההרצה חייבים להקפיד על מבנה הפרומפט המדויק עם תגיות המערכת, המשתמש והעוזר, אחרת איכות התשובות נשברת. אם המטרה היא לקבל תשובות איכותיות ואמינות באמת באנגלית בלי להתעסק בתחזוקת שרת, עדיף לפנות ל־API מסחרי מודרני.

from transformers import pipeline

pipe = pipeline("text-generation", model="stabilityai/stablelm-tuned-alpha-3b")
print(pipe("שלום"))

הקבצים

10 קבצים במאגר, 13.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא CC BY-NC-SA 4.0, מה שאומר שאסור להשתמש במודל הזה לשום מטרה מסחרית. הוא מיועד למחקר ולשימוש אישי בלבד. כל פיתוח או נגזרת שתפיצו חייבים להישאר תחת אותו רישיון בדיוק ולתת קרדיט ליוצרים. אם אתם בונים מוצר למכירה, הוא לא מתאים.

  • שינוי הקוד
  • חובת ייחוס
  • שימוש מסחרי: לא

הרישיון המלא בעמוד המודל ↗