GPT
הוספת כלי
S

SOLAR-10.7B-Instruct-v1.0

קוד פתוח

upstagecc-by-nc-4.02023-12-12

  • transformers
  • safetensors
  • llama
  • text-generation
  • conversational

מודל שמרחיב את Mistral ל־11 מיליארד פרמטרים ומציג ציוני בנצ'מרק גבוהים במיוחד. הוא נותן פתרון חזק למשימות ממוקדות באנגלית שדורשות יותר דיוק בלי לקפוץ למודלי ענק.

  • 11Bפרמטרים
  • 4,096טוקנים בהקשר
  • 20.0 GBמשקל הקבצים
  • 34,828הורדות בחודש

מה זה

היוצרים שלו לקחו את המשקולות של Mistral 7B, שכפלו שכבות בשיטה שהם מכנים Depth Up-Scaling, והמשיכו את האימון עד לגודל של 10.7 מיליארד פרמטרים. אחרי ההרחבה הם ביצעו כוונון עדין עם SFT ו־DPO על מערכי נתונים של הוראות. במדד H6 של ה־Open LLM Leaderboard הוא הגיע לציון 74.20, תוצאה שעקפה בזמן הפרסום מודלים פתוחים גדולים בהרבה כמו Mixtral 8x7B ו־Llama-2 70B.

המשמעות של הציון הזה היא יכולת מרשימה מאוד בהבנת הנחיות ופתרון בעיות באנגלית ביחס לגודל שלו. לצד זה, המפרסמים בדקו זיהום בנצ'מרקים כדי להראות שהתוצאות ב־MMLU וב־ARC אינן תוצאה של שינון ישיר ממבחנים.

מתאים ל

  • מענה לפקודה יחידה

    ביצוע משימות ישירות כמו ניסוח או תמצות לפי הנחיה מפורטת, בלי צורך בניהול היסטוריית שיחה.

  • בסיס למחקר וניסויים

    בדיקת ביצועים של מודלים בינוניים מול מודלי ענק בסביבת מעבדה לא מסחרית.

  • חילוץ מידע קצר באנגלית

    שליפת נתונים מתוך קטעי טקסט ממוקדים שלא חורגים מחלון של 4,096 טוקנים.

איפה זה נופל

הכרטיס מצהיר בפירוש שהאימון יועד לשיחות בסבב בודד ולא לשיחות מרובות שלבים. אם תנסו לבנות איתו בוט שזוכר שיחה מתמשכת, הוא יתקשה לעקוב אחרי ההקשר. בנוסף, חלון ההקשר מוגבל ל־4,096 טוקנים בלבד, מה שמקשה על ניתוח מסמכים ארוכים. המודל אומן ותועד באנגלית בלבד, כך שאין כאן שום הבטחה או התאמה לעבודה בעברית.

אותה משפחה

SOLAR יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

SOLAR-10.7B-v1.011,241

שאלות
נפוצות

האם אפשר להשתמש במודל הזה לצ'אטבוט באתר החברה שלי?

לא. הרישיון אוסר על שימוש מסחרי, והמודל עצמו אומן על מענה בסבב יחיד ולא מיועד לנהל שיחה מתמשכת עם לקוחות.

איך המודל מתמודד עם טקסטים בעברית?

המודל מוגדר ומתועד עבור השפה האנגלית בלבד. הוא לא עבר התאמה לעברית, ולכן לא מומלץ להסתמך עליו בעיבוד שפה מקומית.

איך מריצים

המשקלים תופסים 20 גיגה בייט בפורמט float16, מה שאומר שאתם חייבים כרטיס מסך עם לפחות 24 גיגה בייט זיכרון, כמו RTX 3090 או A10G, רק כדי לטעון אותו ישירות. בספריית transformers הטעינה פשוטה בעזרת AutoModelForCausalLM עם device_map מתאים, תוך הקפדה על גרסה 4.35.2 כפי שממליצים היוצרים.

אם אין לכם שרת עם כרטיס כזה זמין באופן קבוע, כנראה עדיף להשתמש ב־API של החברה במקום לנהל את התשתית לבד. ההרצה העצמאית משתלמת בעיקר בסביבות פיתוח ומחקר מקומיות שכבר מחזיקות חומרה מתאימה.

from transformers import pipeline

pipe = pipeline("text-generation", model="upstage/SOLAR-10.7B-Instruct-v1.0")
print(pipe("שלום"))

הקבצים

15 קבצים במאגר, 20.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון כאן הוא cc-by-nc-4.0, כלומר שימוש לא מסחרי בלבד. המגבלה הזו נובעת מכך שהכוונון העדין השתמש במאגר Alpaca שנוצר מ־GPT-4. אם אתם רוצים לשלב אותו במוצר שמייצר הכנסות או משרת חברה עסקית, אתם לא יכולים להשתמש בגרסת ההוראות הזו, אלא רק במודל הבסיס שמגיע תחת רישיון Apache 2.0.

  • שינוי הקוד
  • חובת ייחוס
  • שימוש מסחרי: לא

הרישיון המלא בעמוד המודל ↗