Meta-Llama-3.1-8B

מה זה

מדובר במודל שפת בסיס בגודל שמונה מיליארד פרמטרים, בארכיטקטורת יצירת טקסט ישירה, עם חלון הקשר עצום של 131,072 טוקנים שנשמר בפורמט bfloat16. אנלות' ארזו אותו מחדש כדי לאפשר אימון מהיר במיוחד וצריכת זיכרון נמוכה בהרבה מהרגיל, כשהם מכוונים ישירות לתהליכי פיין טיונינג ולא לשיחה ישירה מהקופסה.

המשקלים תופסים 15 גיגה בייט בדיסק ודורשים עיבוד בספריית טרנספורמרס או בכלים של אנלות'. מטרת האריזה הזו היא לתת נקודת פתיחה נקייה לאימון מותאם אישית שתוכלו לייצא אחר כך לפורמטים כמו GGUF או vLLM.

מתאים ל

• אימון על דאטה ייעודי

  נקודת מוצא מעולה לפיין טיונינג עם כלי אנלות' על חומרת שרתים זולה.

• עיבוד מסמכים ארוכים

  חלון הקשר של 131,072 טוקנים מאפשר לקרוא ולנתח טקסטים שלמים בבת אחת.

• ייצוא לפורמטים רזים

  בסיס נוח לאימון שבסופו מייצאים לגרסאות מכווצות כמו GGUF לריצה מקומית.

איפה זה נופל

זה מודל בסיס ולא מודל שיחה מכוונן, מה שאומר שאם תשאלו אותו שאלות הוא ינסה להמשיך את הטקסט ולא בהכרח יענה לכם כמו צ'אטבוט. מעבר לזה, המודל מוגדר רשמית עבור השפה האנגלית בלבד, כך שאין שום הבטחה או בדיקה לגבי עבודה תקינה בעברית ללא אימון נוסף.

בנוסף, הכרטיס לא מציג מדדי ביצועים עצמאיים על איכות היצירה שלו אלא רק מבטיח אימון מהיר יותר. תצטרכו לבדוק בעצמכם אם התוצרים שלו מתאימים למשימה שלכם לפני שאתם שוקלים לשלב אותו בקוד אמיתי.

אותה משפחה

Meta-Llama-3.1 יצא ב־4 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המודל מגיע במשקל של 15 גיגה בייט, כך שלהרצה מקומית מלאה או לאימון שלו בפורמט המקורי תצטרכו כרטיס מסך עם לפחות 16 עד 24 גיגה זיכרון וידאו. אנלות' מספקים מחברת גוגל קולאב חינמית שמאפשרת לאמן אותו אפילו על כרטיס T4 ישן ופשוט.

אם אתם רק צריכים לקבל תשובות טקסט כלליות ולא מתכוונים לאמן אותו על דאטה משלכם, להחזיק שרת ייעודי עבורו זה בזבוז זמן, ועדיף פשוט לצרוך את הגרסה המוכנה של לאמה דרך API קיים.

from transformers import pipeline

pipe = pipeline("text-generation", model="unsloth/Meta-Llama-3.1-8B")
print(pipe("שלום"))

הקבצים

12 קבצים במאגר, 15.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00004.safetensors5.0 GB
• model-00001-of-00004.safetensors5.0 GB
• model-00003-of-00004.safetensors4.9 GB
• model-00004-of-00004.safetensors1.2 GB
• tokenizer.json17.2 MB
• tokenizer_config.json50.6 KB
• model.safetensors.index.json23.9 KB
• README.md3.1 KB
• .gitattributes1.6 KB
• config.json947 B
• special_tokens_map.json459 B
• generation_config.json235 B

הרישיון

הרישיון הוא רישיון לאמה 3.1 של מטא. הוא מאפשר שימוש מסחרי ומחקר, אבל כפוף לתנאי השימוש וההגבלות שמטא מגדירה ברישיון המקורי שלה עבור הפצת נגזרות ומגבלות משתמשים חודשיים.

• שימוש מסחרי עד 700 מיליון משתמשים
• שינוי הקוד
• חובת ייחוס

הרישיון המלא בעמוד המודל ↗