GPT
הוספת כלי
S

Seed-Coder-8B-Reasoning

קוד פתוח

ByteDance-Seedmit2025-04-27

  • transformers
  • safetensors
  • llama
  • text-generation
  • conversational

מודל קוד של 8.3B פרמטרים שעבר אימון חיזוקים לפתרון בעיות תכנות מורכבות. הוא מיועד למי שצריך יכולות חשיבה אלגוריתמיות גבוהות בלי לתחזק שרת ענק.

  • 8.3Bפרמטרים
  • 65,536טוקנים בהקשר
  • 30.7 GBמשקל הקבצים
  • 483הורדות בחודש

מה זה

בייטדאנס בנו כאן מודל קוד שמכוון ישירות לתכנות תחרותי ומשימות לוגיות כבדות, תחום שבו מודלים קטנים נוטים להישבר. לפי הדיווח שלהם, הוא עבר אימון מקדים ואימון המשך על נתונים ציבוריים שסוננו באמצעות מודלי שפה אחרים במקום חוקים ידניים, ולאחר מכן עבר אימון חיזוקים לשיפור החשיבה.

התוצאה היא ביצועים מפתיעים ביחס למשקל שלו. המפתחים מדווחים שהוא עוקף את QwQ-32B ואת DeepSeek-R1 במבחני IOI 2024, ומגיע לרמת ELO דומה לזו של o1-mini בתחרויות Codeforces. זה מראה שהמיקוד באימון ספציפי מאפשר לסחוט היגיון תכנותי עמוק גם מגודל של 8.3B פרמטרים, בלי להחזיק מודל של עשרות מיליארדים.

מתאים ל

  • פתרון בעיות אלגוריתמיות

    מתאים לפיצוח חידות תכנות מורכבות הודות לאימון חיזוקים ייעודי שהביא אותו לתוצאות גבוהות ב־IOI ו־Codeforces.

  • סקירת קוד לוגית

    יכולת החשיבה התכנותית עוזרת לאתר כשלי לוגיקה עמוקים באלגוריתמים שלא נתפסים בכלים סטטיים רגילים.

  • ניתוח הקשרים ארוכים

    תמיכה באורך של 65,536 טוקנים מאפשרת להזין קבצי קוד מורכבים ולבצע עליהם הסקת מסקנות מלאה.

איפה זה נופל

המיקוד של המודל הזה צר מאוד. הוא תוכנן להצטיין באלגוריתמיקה ותכנות תחרותי, וזה לא הופך אותו לכלי מתאים לשיחה כללית או לכתיבת תיעוד וטקסטים רגילים. בנוסף, הכרטיס לא מפרט נתונים לגבי שפות תכנות פחות נפוצות, תמיכה בשפות אנושיות כמו עברית, או בדיקות בטיחות קוד, ולכן חובה לבדוק אותו עצמאית לפני שמשלבים אותו במערכת אמיתית.

שאלות
נפוצות

למה הקבצים שוקלים 30.7 GB למודל של 8.3B?

הגרסה הזו נשמרה בדיוק של float32, שדורש פי שניים נפח אחסון בהשוואה ל־bfloat16. להרצה בפועל עדיף להשתמש בגרסת ה־bf16 או לכפות טעינה ב־torch.bfloat16 כדי לחסוך מקום וזיכרון וידאו.

האם המודל מתאים לפיתוח של אפליקציות וקוד רגיל?

הוא נבנה במקור לחשיבה עמוקה ותכנות תחרותי בסגנון Codeforces. למשימות שוטפות של כתיבת תבניות קוד רגילות, גרסת ה־Instruct של אותה משפחה עשויה להיות מתאימה וישירה יותר.

איך מריצים

המשקלים שמופצים במאגר הזה שמורים בפורמט float32 ושוקלים 30.7 GB ב־18 קבצים, שזה כבד מדי ולא יעיל לכרטיס מסך בודד של מפתחים. כדי לעבוד איתו צריך לטעון אותו ב־bfloat16 כפי שמודגם בקוד, או להוריד ישירות את גרסת ה־bf16 שהם פרסמו בנפרד.

לטעינה תצטרכו את transformers ו־accelerate בגרסאות עדכניות. מריצים אותו מקומית באמצעות AutoModelForCausalLM עם device_map מתאים, כל עוד יש לכם כרטיס עם מספיק זיכרון וידאו להחזיק את המודל וחלון עבודה סביר מתוך 65,536 הטוקנים הנתמכים.

from transformers import pipeline

pipe = pipeline("text-generation", model="ByteDance-Seed/Seed-Coder-8B-Reasoning")
print(pipe("שלום"))

הקבצים

18 קבצים במאגר, 30.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא MIT, אחד הרישיונות הכי חופשיים שקיימים בעולם הקוד הפתוח. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, להריץ אותו בסביבות ייצור או לשלב אותו בתוך מוצרים מסחריים, ללא מגבלות שימוש מיוחדות וללא חובת שיתוף של השינויים שתעשו.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא בעמוד המודל ↗