Aether-7B-5Attn-checkpoints
קוד פתוחFINAL-Benchapache-2.02026-07-19
המאגר כולל נקודות ביניים של מודל שבעה מיליארד פרמטרים במהלך אימון מקדים. הוא מיועד למי שחוקר דינמיקת למידה או משחזר שלבי התכנסות לפי צעדים מוגדרים.
- 56הורדות בחודש
- 29לייקים
מה זה
המאגר לא מכיל טקסט גולמי רגיל אלא משקולות מודל שמורות בפורמט safetensors יחד עם קובצי תצורה וטוקנייזר. הנתונים מתעדים את מצב המודל במספר נקודות זמן במהלך האימון המקדים, ספציפית בצעד מאה ועשרה אלף שזה בערך תשעים ושמונה מיליארד טוקנים, בצעד מאה וחמישה עשר אלף עם מאה ושניים מיליארד טוקנים, ובצעד מאה שישים ושניים אלף שמשקף כמאה ארבעים וארבעה מיליארד טוקנים לפני שלב הצינון. המודל שפורסם כבסיס עבר צינון, בעוד שכאן שמורות נקודות הביקורת הגולמיות מהדרך.
התוכן נבנה על ידי VIDRAFT ומכוון לשפות אנגלית וקוריאנית. הכרטיס לא מפרט אילו מקורות טקסט הרכיבו את דאטהסט האימון עצמו או איזה סינון הופעל על המידע שנכנס לטוקנים, אלא מתמקד כולו במבנה הקבצים של הנקודות שנשמרו.
מתאים ל
- חקר דינמיקת אימון
מעקב אחרי שינוי משקולות והתכנסות פרמטרים בין צעדי אימון שונים.
- השוואת ביצועי ביניים
בדיקת מבחני ביצועים לפני תהליך הצינון של המודל לעומת הגרסה הסופית.
- שחזור תוצאות מחקר
אימות התנהגות מודל בגודל שבעה מיליארד פרמטרים על סמך נקודות ידועות מראש.
איפה זה נופל
המאגר מיועד לאנגלית וקוריאנית, כך שאין כאן שום תמיכה מובנית או בדיקה על עברית. הוא לא מספק את נתוני האימון המקוריים שמהם נוצרו הטוקנים, ולכן אין אפשרות לבדוק אילו הטיות, זכויות יוצרים או נתונים בעייתיים הוזנו למודל. בנוסף, מדובר במשקולות ביניים גולמיות שלא עברו כוונון להוראות או צינון, כך שהן לא מתאימות למוצר סופי שמדבר עם משתמשים.
שאלות
נפוצות
האם מותר להשתמש במאגר למטרות מסחריות?
כן, הרישיון המוגדר הוא Apache 2.0 שמאפשר שימוש מסחרי חופשי. עליכם לכלול את תנאי הרישיון המקורי ומתן קרדיט ליוצרים. המגבלה אינה משפטית אלא טכנית, שכן אלו נקודות אימון גולמיות ולא מודל שיחה מלוטש.
האם המודלים במאגר תומכים בעברית?
לא, המאגר מגדיר תמיכה באנגלית ובקוריאנית בלבד. הטוקנייזר ונתוני האימון המקוריים לא מיועדים לשפה העברית. אם תנסו לייצר פלט בעברית תקבלו תוצאות שבורות או חוסר הבנה של הטקסט.
איך מריצים את המשקולות האלה בפועל?
הקבצים דורשים חבילת קוד ייעודית בשם aether_pkg שנמצאת במאגר של מודל הבסיס. אי אפשר לטעון אותם בספריות סטנדרטיות בלי הארכיטקטורה המותאמת aether_v2_7way. בנוסף, חובה להריץ את המודל עם גודל אצווה של אחד.
במה המאגר הזה שונה ממודל הבסיס הרגיל?
המאגר מחזיק צעדי ביניים ספציפיים לאורך תהליך הלמידה שלפני הצינון הסופי. מודל הבסיס הרגיל מייצג את התוצר הסופי המצונן אחרי צעד מאה שישים ושניים אלף. כאן מקבלים גישה למשקולות כפי שהיו בנקודות זמן שונות לצורכי מחקר.
איך טוענים
טוענים את הקבצים ישירות מהתיקיות לפי הצעד הרצוי, למשל step_110000. המודל בנוי בארכיטקטורה מותאמת אישית שנקראת aether_v2_7way, ולכן אי אפשר להריץ אותו ישר מהקופסה בלי קוד הטעינה הייעודי שנמצא במאגר של מודל הבסיס. כל תיקייה מחזיקה את משקולות safetensors, קובצי config.json, וטוקנייזר עם chat_template.jinja. בזמן הסקת מסקנות צריך להגדיר גודל אצווה של אחד בדיוק.
from datasets import load_dataset
ds = load_dataset("FINAL-Bench/Aether-7B-5Attn-checkpoints")הרישיון
הרישיון הוא Apache 2.0. מותר להשתמש במשקולות לצרכים מסחריים, לבצע שינויים ולשחרר נגזרות, כל עוד שומרים על הודעת הרישיון ומתן הקרדיט המקורי. אין חובה לשתף פיתוחים תחת אותו רישיון בדיוק.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים