accurate-gguf-vram-calculator

מה זה

מדביקים בתיבת הטקסט קישור ישיר לקובץ GGUF, ולוחצים על כפתור טעינת המטא-דאטה. הקוד לא מוריד את כל המשקלים הכבדים למחשב, אלא מושך רק את החלק בהדר של הקובץ שכולל את פרטי המבנה של המודל, ומחלץ משם את מספר השכבות.

אחרי הטעינה מגדירים בסליידרים כמה שכבות רוצים לדחוף לכרטיס המסך, מה אורך ההקשר המתוכנן ואיזה סוג זיכרון מטמון מפעילים. בתגובה מופיע חישוב שמציג את צריכת הזיכרון המשוערת, בהתבסס על נוסחה שפורסמה בבלוג של המפתח. בין המודלים שמוזכרים סביב הכלי נמצא unsloth/Qwen3-235B-A22B-GGUF.

מתאים ל

• בדיקת כרטיס מסך

  חישוב כמות הזיכרון שתידרש לפני שמבזבזים זמן ורוחב פס על הורדת קובץ ענק.

• כיוונון שכבות לכרטיס

  משחק עם הסליידר כדי לראות בדיוק כמה שכבות ייכנסו לכרטיס המסך והאם יישאר מקום לקונטקסט.

• בחירת סוג מטמון

  בדיקת ההשפעה של סוגי cache שונים על תפיסת הזיכרון בהקשרים ארוכים.

איפה זה נופל

הכלי מציג הערכת צריכת זיכרון בלבד ולא מריץ את המודל עצמו לתשובות טקסט. אם הקישור לקובץ לא תקין או שמבנה המטא-דאטה שונה ממה שהקוד מצפה לקרוא, תקבלו שגיאה והחישוב לא יתבצע. בנוסף, החישוב נשען על נוסחה תיאורטית ולא לוקח בחשבון תוכנות רקע אחרות שגוזלות זיכרון בכרטיס שלכם.

איך משתמשים

השימוש ישיר לגמרי בדפדפן. מדביקים את הכתובת, לוחצים על כפתור הטעינה, ומזיזים את הסליידרים לפי החומרה שיש לכם בבית. אין צורך בחשבון או בהתחברות.

האפליקציה רצה על שרת בסיסי עם מעבד רגיל בלבד, אבל מכיוון שהיא רק קוראת בתים ראשונים ומבצעת מתמטיקה פשוטה, התוצאה מתקבלת מיד בלי המתנה בתור.

הרישיון

הפרויקט מפורסם תחת רישיון MIT. מותר להשתמש בקוד, להעתיק אותו ולשנות אותו בחופשיות. אתם מזינים רק כתובת אינטרנט של קובץ מודל, כך ששום תוכן אישי לא מועלה לרשת.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗