GPT
הוספת כלי
S

Seed-OSS-36B-Base

קוד פתוח

ByteDance-Seedapache-2.02025-08-20

  • transformers
  • safetensors
  • seed_oss
  • text-generation
  • vllm

מודל בסיס פתוח שמתאים לאימון עצמאי, עם חלון הקשר ענק שמגיע לחצי מיליון טוקנים. הוא פונה למי שצריך תשתית נקייה עם ביצועים מתמטיים חזקים.

  • 36Bפרמטרים
  • 524,288טוקנים בהקשר
  • 67.3 GBמשקל הקבצים
  • 48,856הורדות בחודש

מה זה

בייטדאנס שחררה את המודל הזה כמודל בסיס לאימון המשך, כשהוא מאומן מראש על 12 טריליון טוקנים וכולל נתוני הוראות סינתטיים. החוזק הבולט שלו הוא תמיכה מובנית בהקשר של 524,288 טוקנים, בלי טריקים חיצוניים של הרחבת חלון.

במבחני בסיס הוא מציג תוצאות גבוהות יחסית לגודל של 36 מיליארד פרמטרים. במבחן המתמטיקה MATH הוא מגיע לציון 81.7 לעומת 61.3 בגרסה ללא המידע הסינתטי ו־63.5 במודל מקביל של קוון, ובמבחן HumanEval לקוד הוא מקבל 76.8. עם זאת, במבחני שאלות טריוויה פשוטות כמו SimpleQA הוא רושם 5.8 בלבד, מה שמראה שהידע הכללי הישיר שלו פחות יציב מהיכולת שלו לחשב ולנתח.

מתאים ל

  • אימון מודל מותאם אישית

    נקודת מוצא מצוינת לפיין טיונינג בזכות ביצועים מתמטיים גבוהים ויכולות קוד חזקות כמודל בסיס.

  • ניתוח מסמכים ארוכים

    חלון של חצי מיליון טוקנים שמתאים להטמעת ספריות קוד שלמות או מאגרי חוזים בלי חיתוך אגרסיבי.

  • מחקר על דאטה סינתטי

    השוואת התנהגות מול גרסת הבסיס ללא מידע סינתטי לצורך הבנת השפעת אימון מקדים.

איפה זה נופל

זהו מודל בסיס, כלומר הוא מייצר השלמות טקסט ואינו עונה כעוזר שיחה מהקופסה. הנתונים מראים נפילה חדה בשאלות עובדתיות ישירות ב־SimpleQA, והוא אינו כולל שום התאמה מתועדת לעברית מעבר לאופטימיזציה כללית לשפות בינלאומיות. בנוסף, חלון ההקשר המלא דורש זיכרון עצום שעלול לחנוק שרתים סטנדרטיים.

אותה משפחה

Seed-OSS יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

Seed-OSS-36B-Instruct45,727

שאלות
נפוצות

האם אפשר להשתמש בו ישירות לצ'אט עם משתמשים?

לא. מדובר במודל בסיס שמיועד להשלמת טקסט בלבד ולא מגיב להוראות שיחה טבעיות. לצ'אט או מערכות הפעלה מבוססות סוכנים עדיף לקחת את גרסת האינסטראקט שלו.

כמה זיכרון כרטיס מסך נחוץ כדי להריץ אותו?

בדיוק מלא של bfloat16 תצטרכו לפחות 80 גיגה בייט של VRAM רק כדי לטעון את המשקלים, ועוד זיכרון נרחב כדי לנצל את חלון ההקשר. במצב קוונטיזציה של 4 ביט אפשר להסתפק בכרטיס בודד של 24 גיגה בייט עבור הקשרים קצרים.

איך מריצים

המשקלים תופסים 67.3 גיגה בייט בדיוק bfloat16, כך שאין שום אפשרות לדחוף אותו למאיץ ביתי בודד בלי קוונטיזציה. בפריסה מקצועית בשרת תצטרכו לחלק אותו בין מספר כרטיסים באמצעות vLLM, או לכווץ אותו ל־4 ביט או 8 ביט אם רוצים לבדוק אותו על כרטיס בודד של 24 גיגה בייט.

אם אתם לא מתכננים לאמן שכבות נוספות או לעשות כוונון עדין למשימה ספציפית, אין הגיון להרים שרת יקר בשביל מודל בסיס. למטרות שיחה, מענה לשאלות או סוכנים מוטב לגשת ישירות לגרסת האינסטראקט או לשירותי API מוכנים.

from transformers import pipeline

pipe = pipeline("text-generation", model="ByteDance-Seed/Seed-OSS-36B-Base")
print(pipe("שלום"))

הקבצים

26 קבצים במאגר, 67.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הפרויקט מופץ תחת רישיון אפאצ'י 2.0 המלא. אתם יכולים להשתמש בו לצרכים מסחריים, לשנות אותו, לאמן עליו גרסאות פנימיות ולהטמיע אותו במוצרים שלכם בלי לשלם תמלוגים, כל עוד אתם שומרים על הודעת הרישיון המקורית.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗