NousResearch/Meta-Llama-3-8B-Instruct-GGUF
קוד פתוחNousResearchother2024-04-18
גרסת GGUF שארזה NousResearch למודל ההוראות של מטא, מיועדת להרצה מקומית חסכונית בלי שרתים כבדים. היא מביאה יכולות שיחה וקוד מרשימות ישירות למעבד או לכרטיס מסך בסיסי.
- 9.9 GBמשקל הקבצים
- 922הורדות בחודש
- 112לייקים
מה זה
מטא אימנה את מודל ההוראות הזה על יותר מ־15 טריליון טוקנים, כולל מעל 10 מיליון דוגמאות מתויגות ידנית להתאמה לשיחה. NousResearch ארזו אותו בפורמט GGUF, מה שהופך אותו לנגיש ישירות עבור כלי הרצה מקומיים כמו llama.cpp.
הקפיצה ביחס לדור הקודם מורגשת מאוד במבחנים המעשיים. ציון של 62.2 ב־HumanEval מול 7.9 בלבד ב־Llama 2 7B מראה שהוא מסוגל לייצר קוד אמיתי ולא רק לגמגם סקריפטים בסיסיים, וציון של 79.6 ב־GSM-8K מדגים יכולת פתרון בעיות הגיונית בהרבה. הארכיטקטורה כוללת מנגנון Grouped-Query Attention, שנועד לשמור על מהירות הסקת מסקנות גם כשחלון ההקשר מתמלא.
מתאים ל
- עוזר פיתוח מקומי
עם ציון 62.2 ב־HumanEval, הוא מייצר ומשלים קוד ביעילות ישר בסביבת העבודה.
- בוט שיחה ומענה לשאלות באנגלית
הוא עבר כוונון ייעודי לשיחה עם מעל עשרה מיליון דוגמאות אנושיות לתשובות מדויקות.
- ניתוח טקסטים מאובטח
הרצה מקומית מלאה של 8B פרמטרים שומרת על מסמכים רגישים בתוך הרשת הפנימית.
איפה זה נופל
הכרטיס מגדיר מראש שהמודל מיועד אך ורק לאנגלית, וכל שימוש בשפה אחרת דורש אימון נוסף. אם תנסו לעבוד איתו בעברית, אתם צפויים לתשובות שבורות או הזיות.
בנוסף, מאגר הידע שלו נעצר במרץ 2023, והוא מייצר טקסט וקוד בלבד בלי יכולת לנתח קבצי תמונה או קול. חלון ההקשר מוגבל ל־8,000 טוקנים, כך שהוא לא יתאים לפרויקטים שדורשים קריאת מסמכי ענק שלמים בבת אחת.
אותה משפחה
Meta-Llama-3 יצא ב־4 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
האם המודל תומך בעברית ישר מהקופסה?
היצרן מצהיר בפירוש שהמודל מיועד לאנגלית בלבד, וכל שפה אחרת נמצאת מחוץ לטווח השימוש המתוכנן. כדי להפיק ממנו תוצאות טובות בעברית תצטרכו לבצע fine-tuning עצמאי.
האם אפשר להשתמש בו בחינם באפליקציה מסחרית?
הרישיון של מטא מאפשר שימוש מסחרי אך כפוף לתנאי הרישיון הקהילתי ומדיניות השימוש שלהם. מכיוון שהדף הנוכחי מסווג תחת other, חובה לעיין ברישיון המקורי של מטא ולוודא שהשימוש שלכם עומד בכללים.
איך מריצים
ההפצה הזו שוקלת 9.9 ג'יגה־בייט ומחולקת לשישה קבצים. כדי להריץ אותה תצטרכו מחשב עם 16 ג'יגה־בייט זיכרון עבודה לפחות, או כרטיס מסך עם זיכרון ייעודי דומה אם אתם רוצים ביצועים מהירים.
אם אתם צריכים רק לבדוק שאילתות פה ושם, עדיף להשתמש ב־API מוכן שחוסך את הניהול המקומי. הרצה עצמית שווה את המאמץ אם אתם רוצים פרטיות מוחלטת למידע שלכם, עבודה בלי חיבור לרשת, או שליטה מלאה בפרמטרים של ההרצה.
ollama run hf.co/NousResearch/Meta-Llama-3-8B-Instruct-GGUF:Q4_K_M
איזו גרסה
אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.
הקבצים
6 קבצים במאגר, 9.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הרישיון מוגדר במקור כרישיון מותאם של מטא לשימוש מסחרי ומחקר, תחת מדיניות שימוש מקובלת והגבלות הפצה. עם זאת, בעמוד הנוכחי של NousResearch הרישיון מסומן כ־other, ולכן מומלץ לבדוק את תנאי הרישיון המקוריים של Llama 3 באתר של מטא לפני שמשלבים אותו במוצר מסחרי.