RunThisLLM

הסקירה

אתם בוחרים כמה זיכרון גרפי יש במחשב שלכם, ומקבלים רשימה של מודלים שירוצו עליו בלי לקרוס. RunThisLLM בודק התאמה בין חומרת קצה לבין דרישות זיכרון בפועל. הדף מחזיק אינדקס של 506 מודלים פתוחים ומחשב כמה מקום יתפסו המשקולות בתוך הזיכרון הגרפי וכמה יישאר לניהול ההקשר. במקום להוריד קובץ של עשרים גיגהבייט ולגלות שהכרטיס נחנק, מזינים נתונים ומקבלים תשובה במספרים מדויקים. המחשבון מפריד בין משקל המודל עצמו לבין זיכרון המטמון של השיחה. הוא גם מציג קצב ריצה משוער בטוקנים לשנייה.

זה חוסך ניסויים עיוורים.

חישוב זיכרון לפי חומרה

המחשבון מציע שתי נקודות מוצא לבדיקה, לפי הצורך שלכם באותו רגע. אפשר להגדיר מה יש לכם במחשב ולראות מה יעבוד, או לבחור מודל מסוים ולבדוק מה צריך לקנות כדי להפעיל אותו. הממשק נותן לבחור כרטיס גרפי, החל ממערכות ללא כרטיס ייעודי ועד 640 גיגהבייט זיכרון, וכולל אפשרויות לחומרה של NVIDIA או מעבדי Apple Silicon. אפשר לשנות את רמת הקוונטיזציה מגרסת Q4 קלה ועד FP16 מלאה. אורך ההקשר מתחיל מטווח בסיסי של 2K ומגיע עד 1000K, מה שמשפיע מיד על צריכת הזיכרון.

מי שרוצה להריץ מודלים מקומית חייב לדעת בדיוק כמה זיכרון תופס ההקשר מעבר למשקל הבסיסי של הקובץ. קחו למשל מודל כמו CodeLlama 13B. המשקולות שלו דורשות 7.8 גיגהבייט, אבל זיכרון המטמון מוסיף עוד 3.3 גיגהבייט, כך שהצריכה הכוללת מזנקת ל־11.1 גיגהבייט. לעומתו, Qwen 2.5 14B לוקח 8.4 גיגהבייט למשקולות ורק 0.8 גיגהבייט להקשר, ובסך הכל דורש 9.2 גיגהבייט בלבד. המספרים האלה קובעים אם תצטרכו כרטיס יקר יותר או שתוכלו להסתפק בחומרה קיימת. הפער הזה עושה את כל ההבדל.

התוצאות מתחלקות לשלוש קטגוריות ברורות: ריצה מלאה על המעבד הגרפי, פריסה משולבת עם מעבד המחשב, או חוסר התאמה מוחלט לחומרה שנבחרה. המערכת יודעת להציג מה יידחק החוצה אל הזיכרון הראשי. מה שבאמת מפריע כאן הוא שאין באתר מידע תמחור גלוי, למרות שהשירות מוגדר בתשלום. לא מפורט מה מקבלים בחינם ומה דורש מנוי. אם האתר דורש תשלום בלי להציג מחיר שקוף מראש, לא הייתי ממהר להזין שם כרטיס אשראי.

אין פה מחירון.

• מודלים באינדקס506 מודלים
• תמיכת שפותאנגלית בלבד
• שקיפות מחיראין פירוט עלויות

למי זה באמת מתאים

הכלי פונה למפתחים ואנשי מחקר שמחזיקים תחנות עבודה מקומיות או שוכרים שרתים ומחפשים להריץ קוד או ראייה ממוחשבת בלי ענן חיצוני. אם אתם מחפשים מודלים ייעודיים לניתוח שמע, יצירת תמונות או רפואה, תוכלו למיין לפי תחום ולראות מה ידרוש מכם שדרוג. מנגד, למשתמש ישראלי ממוצע שרק רוצה צ׳אט מהיר בעברית אין מה לחפש כאן. האתר כולו באנגלית טכנית, והוא לא בודק איך המודלים מתמודדים עם השפה העברית. הוא עוסק בחומרה ובביצועים יבשים בלבד.

זה כלי טכני לחלוטין.

האתר מאפשר לסנן לפי מנועי הרצה מוכרים, ומציג דירוגים ממבחני ביצועים מקובלים כמו HumanEval או MMLU לצד קצב הטוקנים. זה שווה את זה רק אם אתם מתלבטים איזה כרטיס מסך לקנות לצורכי פיתוח או איזה מודל לבחור למשימה ספציפית בעבודה. אל תצפו ממנו להסביר מושגים בסיסיים. אם אתם לא יודעים מה ההבדל בין ערוצי זיכרון DDR4 לבין דיוק מטמון, הממשק פשוט יציף אתכם בפרטים שלא יגידו לכם כלום. הוא דורש ידע מוקדם בארכיטקטורה.