predict_memory

מה זה

מזינים פרמטרים של ארכיטקטורת המודל כמו גודל שכבות חבויות, מספר שכבות, גודל אוצר מילים וכמות ראשי תשומת לב, יחד עם הגדרות אימון כמו אורך רצף וגודל אצווה. לחלופין, מדביקים טקסט הגדרות ישירות בקוד, והמערכת מפענחת אותו בפורמט מתאים כדי לחלץ את הנתונים הטכניים לבד.

התוצאה המוצגת כוללת הערכת חריגת זיכרון ופירוק גרפי של רכיבי הזיכרון, כולל תרשימים שמציגים כמה מקום תופסים המשקלים, האקטיבציות ופרמטרי האופטימיזציה. החישוב מתבסס על פונקציות מתמטיות ייעודיות לחישוב זיכרון של אימון מקבילי, כולל חלוקת עומסים כמו פייפליין, טנסור ושלבי אופטימיזציה של זירו, בלי להריץ שום מודל בפועל על חומרה יקרה.

מתאים ל

• תכנון אימון מודל

  בדיקה אם מודל שפה יתאים לגודל הזיכרון בכרטיסים הקיימים לפני שמריצים בפועל.

• הגדרת חלוקה למספר מעבדים

  התאמת פרמטרים של מקביליות ודרגות זירו כדי להימנע משגיאות זיכרון מלא.

• ניתוח צווארי בקבוק

  צפייה בפירוק הזיכרון כדי להבין אם האקטיבציות או המשקלים תופסים את מרבית הנפח.

איפה זה נופל

זהו כלי חישוב תיאורטי בלבד ולא סביבת ריצה. הוא מעריך צריכת זיכרון לפי נוסחאות ופרמטרים יבשים, אבל לא בודק זליגות זיכרון בפועל, תקורות של מנהלי התקנים או שגיאות שמקורן בגרסאות ספריות שונות. מי שמתבסס רק על הגרפים עלול לגלות שבמציאות נדרש מעט יותר זיכרון ממה שהנוסחה מציגה.

איך משתמשים

נכנסים לממשק ובוחרים אם להדביק קובץ הגדרות או למלא את השדות הידניים של המודל, האימון ומבנה המקביליות. לחיצה על כפתור החישוב המתאים מפעילה את הקוד מיד ומפיקה את התרשימים. אין צורך בהרשמה או התחברות לחשבון, והממשק רץ על חומרת מעבד בסיסית, מה שמספיק בהחלט כי מדובר בחישובים מתמטיים של נוסחאות זיכרון ולא בהרצה כבדה של מודל.

הרישיון

הרישיון של המרחב לא דווח. המשמעות היא שאין הגדרה משפטית רשמית לשימוש חופשי או מסחרי בקוד, אם כי הממשק פתוח בדפדפן. לא מומלץ להדביק בתיבת הטקסט קובצי הגדרות שמכילים מידע רגיש או סודי.

הרישיון המלא ב־Hugging Face ↗