GPT
הוספת כלי
G

grok-2

קוד פתוח

xai-orgרישיון לא דווח2025-08-22

  • git

משקולות של מודל ענק שאומן ב־xAI במהלך 2024, שמתאים למי שחייב להריץ מודל שיחה רציני אצלו בשרת ולא מוכן להסתמך על שירותי ענן סגורים.

  • 131,072טוקנים בהקשר
  • 502 GBמשקל הקבצים
  • 9,506הורדות בחודש
  • 1,159לייקים

מה זה

מדובר במשקולות של Grok 2, מודל שעבר אימון מתקדם ושימש ישירות ב־xAI במהלך שנת 2024. הוא מבוסס על ארכיטקטורת Grok1ForCausalLM עם 64 שכבות, ומגיע עם חלון הקשר רחב של 131,072 טוקנים, מה שמאפשר לעבד טקסטים ארוכים במיוחד בלי לחתוך הקשר.

המודל מיועד לעבודה בשיחה באמצעות מנוע SGLang, והוא מגיע מכויל לשימוש בתבנית צ'אט ייעודית. אין בכרטיס המודל תוצאות מדידה או מבחני ביצועים, כך שקשה לדעת מראש איך הוא מתנהג בהשוואה למודלים פתוחים אחרים באותו סדר גודל בלי להריץ אותו בפועל.

מתאים ל

  • הסקה עצמאית באשכול ארגוני

    הרצה מקומית על 8 מאיצים למי שלא יכול להוציא מידע החוצה.

  • ניתוח מסמכים ארוכים

    חלון של 131,072 טוקנים מאפשר להזין טקסטים שלמים בבת אחת.

  • הפעלת שרת צ'אט ב־SGLang

    המודל עבר אימון שיחה ומותאם ישירות למנוע ההסקה הזה.

איפה זה נופל

ההורדה כבדה ומסורבלת, ובכרטיס המודל עצמו מציינים שתיתקלו בשגיאות רשת בזמן המשיכה של הקבצים. מעבר לזה, אין שום נתונים על בטיחות, הטיות, יכולות קידוד או ביצועים בעברית. אתם מקבלים משקולות גולמיות שמחייבות תבנית פרומפט נוקשה, בלי תיעוד על מגבלות התוכן או התחומים שבהם הוא נוטה לטעות.

שאלות
נפוצות

האם אפשר להריץ אותו על שרת עם פחות מ־8 כרטיסים?

לא. המשקולות מסודרות לפרלליזם של TP=8, והדרישה הרשמית היא 8 כרטיסים של 40GB זיכרון ומעלה לכל כרטיס.

איך שולחים לו בקשות בפורמט צ'אט?

המודל דורש תבנית טקסט ספציפית עם מפרידים מוגדרים. בלי שימוש בתבנית המדויקת של SGLang הוא לא יתפקד כמצופה.

איך מריצים

כדי להריץ אותו תצטרכו שרת עם 8 כרטיסי מסך, כשבכל אחד מהם יש מעל 40GB של זיכרון, וזאת בהרצה עם קוונטיזציה של fp8 דרך SGLang בגרסה 0.5.1 ומעלה. ההורדה עצמה שוקלת כ־500 גיגה בייט, והמפתחים מציינים במפורש שייתכנו שגיאות בזמן ההורדה ושיש לנסות שוב ושוב עד שכל הקבצים יורדים בשלמותם.

אם אין לכם אשכול חומרה ייעודי של 8 כרטיסי A100 או H100 פנויים, אין טעם לנסות להרים את זה לבד. במצב כזה עדיף בהרבה לפנות ל־API חיצוני שחוסך את כל התחזוקה והעלויות הכבדות של הברזלים.

pip install -U huggingface_hub
hf download xai-org/grok-2

הקבצים

44 קבצים במאגר, 502 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המשקולות מופצות תחת Grok 2 Community License Agreement, למרות שסוג הרישיון לא דווח במטא-דאטה הרשמי. המשמעות היא שחובה לקרוא היטב את תנאי ההסכם הייעודי של xAI לפני שמשלבים את המודל במוצר, כי לא מדובר ברישיון קוד פתוח סטנדרטי וחופשי לחלוטין לכל שימוש מסחרי.

הרישיון המלא בעמוד המודל ↗