Llama-3.3-8B-Instruct-128K

מה זה

הפרויקט הזה לוקח מודל בסיס קיים של שמונה מיליארד פרמטרים ומתקן בו כמה הגדרות חיוניות שחסרו במקור. היוצר הוסיף הגדרות של סקיילינג לחבלול המיקום, עדכן את תצורת היצירה והטמיע תבנית צ'אט של אנלוט ישירות לתוך הטוקנייזר כדי לפתוח את מלוא חלון ההקשר. התוצאה היא מודל שיחה שרץ על מאה עשרים ושמונה אלף טוקנים בלי להתרסק על קונפיגורציה שגויה.

מטא עצמה לא שחררה מודל רשמי בגודל הזה תחת המיתוג של גרסה 3.3, ולכן מדובר בהתאמה קהילתית שמבוססת על עבודה קודמת של אלורה פורג'. אין כאן שינוי של משקולות הבסיס באילוף חדש מאפס, אלא תיקון טכני שמאפשר לקרוא קבצים ומסמכים גדולים על חומרה צנועה יחסית.

מתאים ל

• תמצות מסמכים ארוכים

  חלון הקשר של 128K מאפשר להזין חוזים ומסמכים שלמים במכה אחת.

• עוזר שיחה מקומי

  תבנית הצ'אט המובנית והמשקל הנמוך מאפשרים הרצה נוחה על מחשב אישי.

• פיתוח עם תקציב חומרה נמוך

  שמונה מיליארד פרמטרים נותנים מענה זול בלי צורך בחוות שרתים יקרה.

איפה זה נופל

זה אינו שחרור רשמי של מטא אלא עיבוד קהילתי, וכדאי לקחת את זה בחשבון לפני שמסתמכים עליו. מודלים של שמונה מיליארד פרמטרים מתקשים לעיתים קרובות לשלוף פרטים בדיוק מושלם מתוך עומק של מאה עשרים ושמונה אלף טוקנים, גם כשההגדרה הטכנית מאפשרת להזין אותם. בנוסף, כרטיס המודל לא מציג את תוצאות המבחנים ישירות אלא רק מפנה למאגר חיצוני, כך שחובה לבדוק אותו עצמאית על המשימה הספציפית שלכם.

איך מריצים

המשקלים המקוריים שוקלים חמישה עשר גיגה בייט ומחולקים לשלושה עשר קבצים, מה שדורש כרטיס מסך עם עשרים וארבעה גיגה זיכרון כדי להריץ אותם כמו שהם. אם תרצו לנצל את מלוא חלון ההקשר, צריכת הזיכרון תעלה משמעותית מעבר למשקל המודל עצמו בגלל זיכרון הקאש של הטוקנים.

בעמוד המודל יש קישורים ישירים לגרסאות מכווצות בפורמט ג'י ג'י יו אף, כולל גרסאות שעברו כיול מטריצה. בשביל עבודה מקומית על מחשב נייד או תחנת עבודה רגילה עדיף לקחת את הקבצים המכווצים האלה, אלא אם אתם מרימים תשתית ייעודית בשרת ענן עם כרטיס מתאים.

pip install -U huggingface_hub
hf download shb777/Llama-3.3-8B-Instruct-128K

הקבצים

13 קבצים במאגר, 15.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00004.safetensors5.0 GB
• model-00001-of-00004.safetensors5.0 GB
• model-00003-of-00004.safetensors4.9 GB
• model-00004-of-00004.safetensors1.2 GB
• tokenizer.json9.1 MB
• tokenizer_config.json55.4 KB
• model.safetensors.index.json24.0 KB
• chat_template.jinja4.6 KB
• README.md2.1 KB
• .gitattributes2.0 KB
• config.json833 B
• special_tokens_map.json296 B
• generation_config.json208 B

הרישיון

הרישיון המדווח הוא לאמה 3.3, המאפשר שימוש מסחרי ברוב המקרים אך כפוף למגבלות המקוריות של מטא, כולל תקרת משתמשים חודשית גבוהה מאוד ומגבלות על אימון מודלים מתחרים. מאחר שמדובר בהתאמה קהילתית, כדאי לוודא שהשימוש שלכם תואם גם את תנאי המודל המקורי שעליו הוא התבסס.

• שימוש מסחרי עד 700 מיליון משתמשים
• שינוי הקוד
• חובת ייחוס

הרישיון המלא בעמוד המודל ↗