GPT
הוספת כלי
C

circuit-sparsity

קוד פתוח

openaiapache-2.02025-12-11

  • transformers
  • safetensors
  • circuitgpt
  • text-generation
  • custom_code

openai עומדים גם מאחורי Sora, ויש עליו סקירה כאן.

משקולות מחקר מבית OpenAI לבדיקת דלילות מעגלים נוירוניים במשימות מוגדרות היטב. אם אתם חוקרים מבנה פנימי של רשתות, שווה לבדוק אותו.

  • 419Mפרמטרים
  • 1,024טוקנים בהקשר
  • 1.6 GBמשקל הקבצים
  • 537הורדות בחודש

מה זה

מדובר במודל ניסיוני ממאמר של Gao ואחרים משנת 2025, שמציג ארכיטקטורה בשם CircuitGPTForCausalLM. המטרה שלו אינה לשוחח עם משתמשים או לכתוב קוד כללי, אלא לספק תוצאות איכותיות סביב משימות של ספירת סוגריים וקשירת משתנים, מתוך מחקר על ייצוגים דלילים ברשתות. במאגר המקורי של הפרויקט הוא נקרא csp_yolo2.

בגודל של 419 מיליון פרמטרים וחלון הקשר של 1,024 טוקנים, הוא לא מנסה להתחרות במודלים מודרניים לשפה טבעית. ההבדל המרכזי בינו לבין מודלים אחרים במשקל כזה הוא המבנה המחקרי הייעודי שלו, שממוקד בפירוק פעולות לוגיות ספציפיות כדי שחוקרי נתונים יוכלו לבדוק בדיוק איך נוירונים ומעגלים פנימיים מתנהגים בזמן ריצה.

מתאים ל

  • מחקר יכולת פרשנות ברשתות

    ניתוח מעגלים פנימיים ודלילות לפי השיטה מהמאמר המקורי של Gao ואחרים.

  • בדיקת משימות תחביריות צרות

    אימות התנהגות במבנים של ספירת סוגריים וקשירת משתנים בסביבה מבוקרת.

  • לימוד ארכיטקטורת CircuitGPT

    בחינת קוד הסקה קל משקל ומימוש Hugging Face של המודל המחקרי.

איפה זה נופל

המודל הזה לא מתאים לשום יישום מוצרי רגיל. הכרטיס שלו מציין במפורש שהוא מיועד לבדיקות איכותיות של ספירת סוגריים וקשירת משתנים בלבד, ולא למשימות שיחה, תרגום, או כתיבה יוצרת. חלון ההקשר קצר מאוד, 1,024 טוקנים בסך הכול, כך שטקסטים ארוכים ייחתכו מיד. אם תנסו לנהל איתו צ'אט או להפיק ממנו ערך עסקי, תקבלו פלט שבור.

שאלות
נפוצות

אפשר להשתמש בו בתור בוט שיחה או עוזר וירטואלי?

ממש לא. המודל אומן ונבדק על משימות לוגיות נקודתיות של ספירת סוגריים וקשירת משתנים לצורכי מחקר. הוא לא מיועד לשיחה בשפה חופשית ואין לו יכולות כאלה.

האם הוא תומך בעברית?

הכרטיס והמאמר עוסקים בלוגיקה מבנית מופשטת בלבד. אין שום עדות לתמיכה או לאימון על טקסט בעברית, ולכן אין מה לבנות עליו לפענוח שפה מקומית.

איך מריצים

אתם טוענים אותו ישירות דרך ספריית transformers עם קוד ההסקה הפשוט שפורסם, בלי תלויות מורכבות. קבצי המשקולות שוקלים 1.6 גיגה בייט בפורמט float32, מה שאומר שהוא רץ בקלות על כל כרטיס מסך בסיסי, ואפילו על מעבד רגיל במחשב פיתוח נייד.

אין כאן כמה גרסאות משקל או מדרגות שונות בדף, אלא מימוש בודד שהומר לפורמט של האגינג פייס. אם המטרה היא סתם לייצר טקסט או מענה לפניות, חבל על המאמץ וכדאי להשתמש ב־API מסחרי רגיל.

from transformers import pipeline

pipe = pipeline("text-generation", model="openai/circuit-sparsity")
print(pipe("שלום"))

הקבצים

16 קבצים במאגר, 1.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון כאן הוא Apache 2.0 מלא. בעברית פשוטה, מותר להשתמש בו לצרכים פנימיים, מחקריים ואפילו מסחריים, וגם לשנות את הקוד ולהפיץ אותו הלאה. התנאים המרכזיים הם השארת הודעת זכויות היוצרים של היוצרים המקוריים, ציון השינויים אם ערכתם את הקבצים, ואי מתן אחריות מצד המפתחים. למי שרוצה לשלב את המשקולות או הקוד בפרויקט שלו, זה רישיון פתוח ונוח מאוד.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗