GPT
הוספת כלי
S

Sky-T1-32B-Preview

קוד פתוח

NovaSky-AIapache-2.02025-01-07

  • transformers
  • safetensors
  • qwen2
  • text-generation
  • conversational

גרסה מכווננת של קוון שמתמקדת בחשיבה לוגית, קוד ומתמטיקה. מיועדת למי שרוצה ביצועים שמתחרים במודלי הסקת מסקנות סגורים בלי לשלם על כל קריאה.

  • 33Bפרמטרים
  • 32,768טוקנים בהקשר
  • 61.0 GBמשקל הקבצים
  • 137הורדות בחודש

מה זה

צוות נובה סקיי מברקלי לקח את הבסיס של Qwen2.5-32B-Instruct ואימן אותו על 17 אלף דוגמאות שנאספו מתשובות מאומתות של QwQ, יחד עם נתוני מדע ממאמר חיצוני. התוצאה היא מודל שמנסה לשחזר יכולות חשיבה מעמיקות במתמטיקה ותכנות בתקציב אימון זעום.

במבחני ביצועים המודל מציג זינוק חד מול מודל הבסיס שלו. ב־AIME2024 הוא מגיע ל־43.3 לעומת 16.7 של המקור, וב־Math500 הוא עומד על 82.4. בתכנות ברמת קושי בינונית וקשה ב־LiveCodeBench הוא עוקף במעט את o1-preview, אם כי במדעים מורכבים ב־GPQA-Diamond הוא נשאר מאחור עם 56.8 לעומת 75.2 של המתחרה הסגור.

מתאים ל

  • פתרון בעיות אלגוריתמיות

    תוצאות טובות ב־LiveCodeBench הופכות אותו לכלי עזר לבדיקת קוד ואלגוריתמים.

  • חישובים והוכחות מתמטיות

    ציון של 82.4 ב־Math500 מתאים למשימות פיצוח משוואות וחישוב מורכב.

  • סיוע במחקר מדעי בסיסי

    שילוב נתוני מדע באימון נותן מענה לשאלות מדעיות ברמה בינונית.

איפה זה נופל

השם כולל את המילה פריוויו, וזה מורגש. המודל אומן רק על 17 אלף דוגמאות באנגלית, והכרטיס לא מדווח על תמיכה בשפות אחרות כך שעברית כנראה תקרטע או תיכשל. בנוסף, במבחני מדע מתקדמים הוא עדיין מפסיד בפער ניכר למודלים הגדולים, וחובה לבדוק היטב הזיות לפני שסומכים עליו בפיתוח תוכנה אמיתי.

שאלות
נפוצות

האם אפשר להריץ אותו על מחשב נייד חזק?

לא בצורה ישירה. הקבצים שוקלים 61 גיגה בייט בפורמט המקורי ודורשים כרטיס מסך ייעודי של 80 גיגה זיכרון. ללא קוונטיזציה והקטנת המשקלים, חומרה רגילה לא תצליח לטעון אותו.

האם המודל מבין וכותב בעברית?

הכרטיס מציין אנגלית בלבד כשפה נתמכת, ודאטה האימון התמקד כולו במתמטיקה וקוד באנגלית. לא כדאי לבנות עליו למשימות שדורשות הבנת שפה טבעית בעברית.

איך מריצים

המשקל הכולל של הקבצים מגיע ל־61 גיגה בייט בדיוק של float16, מה שאומר שאי אפשר להריץ אותו על כרטיס ביתי יחיד בלי לכווץ אותו. תצטרכו לפחות 80 גיגה בייט זיכרון וידאו, למשל כרטיס A100 או זוג כרטיסים של 48 גיגה, כדי לטעון אותו ולשמור מקום לחלון הקשר סביר.

האימון עצמו בוצע עם Llama-Factory ו־DeepSpeed על שמונה כרטיסי H100. אם אין לכם תשתית ענן זמינה או צורך קריטי בפרטיות מוחלטת של הקוד והנתונים, כנראה שיהיה זול ופשוט יותר לפנות ל־API חיצוני במקום להחזיק שרת כזה דולק.

from transformers import pipeline

pipe = pipeline("text-generation", model="NovaSky-AI/Sky-T1-32B-Preview")
print(pipe("שלום"))

הקבצים

24 קבצים במאגר, 61.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המודל שוחרר ברישיון apache-2.0. זהו רישיון קוד פתוח מתירני שמאפשר שימוש מסחרי, שינוי של המשקלים והפצה חופשית, בתנאי ששומרים על הודעת זכויות היוצרים והרישיון המקורי.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗