lmstudio-community/Llama-3.3-70B-Instruct-GGUF

מה זה

מטא בנו את הדגם המקורי, בארטובסקי עשה את ההמרה לפורמט GGUF דרך llama.cpp, וקהילת LM Studio ארזה אותו להרצה מקומית. הטענה המרכזית סביבו היא שהוא מגיע לרמת הביצועים של Llama 3.1 405B, רק עם 70 מיליארד פרמטרים בלבד. אם זה מחזיק במבחן המציאות, אתם מקבלים איכות של מודל קצה בלי צורך באשכול שרתים מנופח.

הוא מיועד ליצירת טקסט ומגיע עם תמיכה רשמית בשמונה שפות: אנגלית, גרמנית, צרפתית, איטלקית, פורטוגזית, הינדי, ספרדית ותאית. חלון ההקשר עומד על 128 אלף טוקנים, כך שאפשר להזין לו מסמכים כבדים בלי לחתוך אותם לחתיכות קטנות.

מתאים ל

• עיבוד מסמכים ארוכים

  חלון של 128 אלף טוקנים מאפשר לקרוא קבצים כבדים בניתוח אחד, בתנאי שהם בשפות הנתמכות.

• חלופה למודלי ענק

  נותן איכות מקבילה למודל 405B על תשתית מקומית צנועה יותר של 70B.

• תרגום לשפות אירופיות

  מתאים במיוחד לעבודה שוטפת מול שפות כמו גרמנית, צרפתית, ספרדית ופורטוגזית.

איפה זה נופל

עברית לא מופיעה ברשימת השפות הנתמכות של המודל. הוא מכיר רשמית רק אנגלית, גרמנית, צרפתית, איטלקית, פורטוגזית, הינדי, ספרדית ותאית, כך שכל ניסיון לעבוד איתו בעברית ידרוש בדיקה יסודית כדי לראות שהוא לא ממציא מילים או מאבד את ההקשר.

בנוסף, הכרטיס מזהיר במפורש שהתוכן עלול להיות פוגעני, שגוי או מטעה, כך שאי אפשר להסתמך עליו בעיניים עצומות במערכות קריטיות.

איך מריצים

המשקל הכולל של הקבצים מגיע ל־198 גיגה בייט שמחולקים לשמונה קבצים. כדי להריץ משקל כזה בזיכרון תצטרכו כרטיסי מסך חזקים עם עשרות גיגות של VRAM או תחנת עבודה עם זיכרון מאוחד גדול, בהתאם לקוונט שתבחרו בפועל.

אם יש לכם מחשב ביתי ממוצע או שרת ענן פשוט, אין מה לנסות לדחוף אותו פנימה כי הוא פשוט יזחל. במצב כזה, עדיף בהרבה לקרוא לו דרך API מסודר של ספק ענן מאשר לקנות חומרה ייעודית.

ollama run hf.co/lmstudio-community/Llama-3.3-70B-Instruct-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

8 קבצים במאגר, 198 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• Llama-3.3-70B-Instruct-Q4_K_M.gguf42.5 GB
• Llama-3.3-70B-Instruct-Q6_K-00001-of-00002.gguf40.0 GB
• Llama-3.3-70B-Instruct-Q8_0-00001-of-00002.gguf39.9 GB
• Llama-3.3-70B-Instruct-Q3_K_L.gguf37.1 GB
• Llama-3.3-70B-Instruct-Q8_0-00002-of-00002.gguf35.0 GB
• Llama-3.3-70B-Instruct-Q6_K-00002-of-00002.gguf17.9 GB
• README.md18.0 KB
• .gitattributes2.0 KB

הרישיון

הרישיון הוא רישיון llama3.3 של מטא. הוא מאפשר שימוש מסחרי, אבל כפוף לתנאי השימוש והמגבלות של מטא על מודלים ממשפחת לאמה, כולל מגבלות על היקף משתמשים חודשי של מוצרים מסחריים.

• שימוש מסחרי עד 700 מיליון משתמשים
• שינוי הקוד
• חובת ייחוס

הרישיון המלא בעמוד המודל ↗