Meta-Llama-3.1-8B-Instruct

מה זה

מדובר במשקלי מודל השיחה של מטא בגודל שמונה מיליארד פרמטרים, ארוזים לעבודה ישירה מול הכלים של אנפלאת'. המטרה העיקרית של החבילה הזו היא לאפשר כוונון עדין של מודל שיחה קיים במהירות גבוהה ובמינימום משאבים.

לפי הנתונים של המפרסמים, סביבת העבודה סביב המודל הזה מאפשרת אימון מהיר פי 2.4 תוך שימוש ב־58 אחוז פחות זיכרון בהשוואה להרצה רגילה. זה אומר שאימון מלא, שבעבר דרש כרטיסים מקצועיים כבדים, נדחס כאן למגבלות של כרטיסים צנועים בהרבה.

בנוסף ליכולות השיחה וההוראות הבסיסיות, המודל מחזיק חלון הקשר נרחב של 131,072 טוקנים. זה מאפשר להזין מסמכים ארוכים או היסטוריית שיחה עשירה בזמן העבודה, כל עוד החומרה שלכם מסוגלת להחזיק את כל המידע הזה בזיכרון.

מתאים ל

• אימון מודל שיחה ארגוני

  מאפשר לבצע כוונון עדין על חומר פרטי בתוך כרטיס גרפי בודד וזול, בלי לדלוף לשירותים חיצוניים.

• ניתוח מסמכים ארוכים באנגלית

  חלון הקשר של 131 אלף טוקנים מאפשר לקרוא קבצים שלמים ולחלץ מהם תובנות או לבצע סיכומים מורכבים.

• יצירת גרסאות מכווצות

  המערכת מובנית לייצוא מהיר לפורמט ג'יג'יויו-אף, מה שמתאים למי שרוצה להריץ שרת מקומי קל משקל.

איפה זה נופל

הנתונים מגדירים תמיכה בשפה האנגלית בלבד, כך שלא כדאי לבנות עליו לעיבוד טקסטים מורכבים בעברית בלי אימון מקדים משמעותי. מעבר לכך, הכרטיס מתמקד בביצועי האימון ולא מספק מדדי דיוק עצמאיים על איכות התשובות, כך שחובת הבדיקה של הפלט בפועל נשארת עליכם.

אותה משפחה

Meta-Llama-3.1 יצא ב־4 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקלים שוקלים 15 גיגה בייט בפורמט ביפלוט16 ומחולקים לשנים עשר קבצים דרך ספריית טרנספורמרס. כדי להריץ או לאמן אותו בתצורה הזו, אפשר להשתמש אפילו בכרטיס טסלה טי4 חינמי בגוגל קולאב, לפי המחברות שהמפתחים שיתפו. תהליך האימון מאפשר לייצא את התוצאה ישירות לפורמטים כמו ג'יג'יויו-אף או וי-אל-אל-אם.

אם כל מה שאתם צריכים זה רק לשלוח שאילתות קצרות ולקבל תשובות בלי לגעת במשקלים, עדיף לפנות לשירות ענן שמחזיק מודל מוכן ומחייב לפי טוקנים. הרצה עצמית בזיכרון מלא שווה את הטרחה רק כשאתם מאמנים על דאטה פנימי או חייבים שליטה מוחלטת בפרטיות.

from transformers import pipeline

pipe = pipeline("text-generation", model="unsloth/Meta-Llama-3.1-8B-Instruct")
print(pipe("שלום"))

הקבצים

12 קבצים במאגר, 15.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00004.safetensors5.0 GB
• model-00001-of-00004.safetensors5.0 GB
• model-00003-of-00004.safetensors4.9 GB
• model-00004-of-00004.safetensors1.2 GB
• tokenizer.json17.2 MB
• tokenizer_config.json55.5 KB
• model.safetensors.index.json23.9 KB
• README.md3.6 KB
• .gitattributes1.6 KB
• config.json956 B
• special_tokens_map.json454 B
• generation_config.json239 B

הרישיון

השימוש כפוף לרישיון מטא לאמה 3.1. הרישיון מאפשר שימוש מסחרי ומחקר, אך דורש עמידה בתנאי המדיניות של מטא ומטיל הגבלות ספציפיות על חברות ענק בעלות מאות מיליוני משתמשים.

• שימוש מסחרי עד 700 מיליון משתמשים
• שינוי הקוד
• חובת ייחוס

הרישיון המלא בעמוד המודל ↗