lmstudio-community/Meta-Llama-3-8B-Instruct-GGUF

מה זה

מדובר בהמרה של דגם שמונה מיליארד הפרמטרים מבית מטא לפורמט שמתאים לתוכנות כמו LM Studio או llama.cpp. הדגם אומן על מעל חמישה עשר טריליון טוקנים, כולל פי ארבעה יותר קוד מלאמה 2, ועבר כוונון הנחיות שמשלב כמה שיטות אופטימיזציה כדי להבטיח היענות מדויקת לפקודות.

לפי נתוני היצרן, הדגם הקטן הזה עוקף את הביצועים של לאמה 2 בגרסת שבעים מיליארד פרמטרים. המשמעות בפועל היא יכולת ניתוח טקסט, כתיבת קוד וניהול שיחה ברמה שהצריכה בעבר שרתים כבדים, כשהפעם אפשר להסתפק בחומרה שולחנית רגילה ולקבל זמני תגובה קצרים בהרבה בזכות מנגנון חלוקת קשב יעיל.

מתאים ל

• עוזר פיתוח מקומי

  אימון על פי ארבעה יותר קוד מאפשר לו לסייע בכתיבת פונקציות ופתרון באגים ישירות בסביבת הפיתוח.

• בוט שיחה במחשב אישי

  הוא נצמד היטב לפקודות מערכת מותאמות אישית ומנהל שיחות מרובות שלבים בלי לשלוח מידע החוצה.

• מענה על שאלות ידע

  מאגר הנתונים העצום שלו מספק תשובות עובדתיות מפורטות במגוון נושאים כלליים באנגלית.

איפה זה נופל

למרות האימון הרחב, הדגם מוגדר רשמית לדוברי אנגלית בלבד. אם תפנו אליו בעברית אתם עלולים לקבל שיבושים או חוסר דיוקים ניכרים בהבנה. בנוסף, מפתחי ההפצה מזהירים בפירוש שהדגם עלול לייצר תוכן פוגעני, מטעה או שגוי לחלוטין, ולכן לא מומלץ להסתמך עליו בעיניים עצומות במערכות קריטיות.

אותה משפחה

Meta-Llama-3 יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

את הדגם הזה מורידים ישירות דרך LM Studio או מריצים עצמאית עם llama.cpp על המחשב. המאגר מכיל עשרה קבצים שונים בנפח כולל של מעל עשרים ושבעה ג'יגה, שכוללים רמות כיווץ מגוונות שנוצרו בעזרת מטריצת חשיבות ייעודית, כך שבוחרים קובץ יחיד שמתאים לגודל הזיכרון הפנוי שלכם.

אין צורך במערך כרטיסי מסך יקר כדי להתחיל לעבוד איתו, ומחשב עם זיכרון גרפי סביר מריץ קובץ מכווץ בודד ללא מאמץ. אם אתם זקוקים למענה מקביל למאות משתמשים בו זמנית, עדיף לפנות לשירות מרוחק במקום לנהל את החומרה לבד.

ollama run hf.co/lmstudio-community/Meta-Llama-3-8B-Instruct-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

10 קבצים במאגר, 27.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• Meta-Llama-3-8B-Instruct-Q8_0.gguf8.5 GB
• Meta-Llama-3-8B-Instruct-Q6_K.gguf6.6 GB
• Meta-Llama-3-8B-Instruct-Q5_K_M.gguf5.7 GB
• Meta-Llama-3-8B-Instruct-Q4_K_M.gguf4.9 GB
• Meta-Llama-3-8B-Instruct-IQ3_M.gguf3.8 GB
• Meta-Llama-3-8B-Instruct.imatrix5.0 MB
• README.md18.1 KB
• LICENSE7.8 KB
• USE_POLICY.md4.7 KB
• .gitattributes2.1 KB

הרישיון

השימוש כפוף לרישיון הרשמי של לאמה 3 מבית מטא. הרישיון מאפשר שימוש מסחרי, אך כולל מגבלות הפצה ותנאים מחייבים שמפורטים בהסכם המקורי, במיוחד עבור חברות שמשרתות היקפי משתמשים עצומים.

• שימוש מסחרי עד 700 מיליון משתמשים
• שינוי הקוד
• חובת ייחוס

הרישיון המלא בעמוד המודל ↗