SOLAR-10.7B-v1.0

מה זה

הצוות של אפסטייג לקח את המשקולות של מיסטרל שבעה מיליארד, הרחיב את עומק השכבות בשיטה שהם מכנים דפת אפ סקיילינג, והמשיך באימון מקדים על כל הרשת עד לגודל של כמעט אחד עשר מיליארד פרמטרים. המבנה יושב על ארכיטקטורת למה עם ארבעים ושמונה שכבות, והמטרה כאן הייתה לסחוט יותר יכולת בלי להגיע לגדלים המסורבלים של שלושים מיליארד ומעלה.

במבחני הבנצמרק של ששת המדדים המובילים, גרסת הבסיס מקבלת ציון של שישים ושש נקודה אפס ארבע. המספר הזה מציב אותו מעל גרסאות הבסיס של מיסטרל שבעה מיליארד ומעל קוון ארבעה עשר מיליארד, וכמעט צמוד לגרסאות צאט של מודלים ענקיים כמו למה שבעים מיליארד. הוא תוכנן במפורש לשמש בסיס יציב שקל לקחת לכיוונון עדין למשימות מוגדרות.

מתאים ל

• בסיס לאימון עצמאי

  משמש כנקודת מוצא חזקה לכיוונון עדין למשימות עסקיות, עם בסיס לשוני יציב וביצועים גבוהים מראש.

• השלמת טקסט אוטומטית

  מייצר המשכים למשפטים ולמסמכים ברמת תחביר גבוהה, בזכות האימון המקדים הרחב של שכבות הרשת.

• מחקר ארכיטקטורות דחיסה

  מאפשר לבחון ולנתח את שיטת הרחבת השכבות של החברה על בסיס מודל שעבר הרחבה ממיסטרל.

איפה זה נופל

זה מודל בסיס נקי שלא עבר כיוונון להוראות. אם תשאלו אותו שאלה ישירה, הוא פשוט ימשיך את המשפט או ייצר טקסט אקראי ולא יחזיר תשובה הגיונית. בנוסף, חלון ההקשר מוגבל לארבעת אלפים תשעים וששה טוקנים בלבד. לניתוח מסמכים ארוכים או שיחות מתמשכות מורכבות זה צוואר בקבוק רציני, ומחייב פתרונות פיצול או דחיסה עוד לפני שמתחילים לעבוד.

אותה משפחה

SOLAR יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

כדי להריץ אותו בפורמט המקורי של פלואוט שש עשרה צריך לפחות עשרים וארבעה גיגה בייט של זיכרון בכרטיס מסך, משהו כמו אר טי אקס שלוש אפס תשעים או ארבע אפס תשעים בודד, אחרת המודל פשוט יזלוג לזיכרון המערכת ויזחל. הקבצים שוקלים עשרים גיגה בייט ומחולקים לחמישה עשר חלקים, והטעינה מתבצעת ישירות דרך ספריית טרנספורמרס בגרסה ארבע שלושים וחמש שתיים.

אם אתם לא מתכוונים לאמן אותו על דאטה משלכם אלא רק צריכים מודל שיענה למשתמשים, הורדה של המשקולות האלה היא טעות. המודל הגולמי פולט השלמות טקסט סטטיסטיות ולא מבין הוראות. לשימוש מיידי עדיף לפנות לגרסת ההוראות או לשירות ענן מוכן שחוסך את התחזוקה של החומרה.

from transformers import pipeline

pipe = pipeline("text-generation", model="upstage/SOLAR-10.7B-v1.0")
print(pipe("שלום"))

הקבצים

15 קבצים במאגר, 20.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00005.safetensors5.0 GB
• model-00001-of-00005.safetensors4.9 GB
• model-00003-of-00005.safetensors4.9 GB
• model-00004-of-00005.safetensors4.9 GB
• model-00005-of-00005.safetensors1.7 GB
• tokenizer.json1.8 MB
• tokenizer.model493.4 KB
• solar_logo.png77.1 KB
• model.safetensors.index.json35.8 KB
• README.md4.8 KB
• .gitattributes1.5 KB
• tokenizer_config.json966 B
• config.json658 B
• generation_config.json134 B
• special_tokens_map.json72 B

הרישיון

הקוד והמשקולות מופצים תחת רישיון אפאצ'י שתיים אפס. מותר להשתמש במודל לצרכים מסחריים, לשנות אותו, להריץ אותו על שרתים פנימיים ולמכור מוצרים שמבוססים עליו, כל עוד שומרים על הודעת זכויות היוצרים והרישיון המקורי בקבצים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗