bartowski/Llama-3.2-3B-Instruct-GGUF

מה זה

מדובר בהמרה לפורמט GGUF של המודל Llama-3.2-3B-Instruct, שבוצעה באמצעות גרסה b3821 של llama.cpp על ידי המפתח bartowski. המטרה כאן היא לאפשר הרצה על מעבדים פשוטים וכרטיסי מסך צרכניים דרך כלים כמו LM Studio. השימוש בטכניקת imatrix נועד לשמר כמה שיותר מהיכולות המקוריות של המודל גם בגרסאות הדחוסות ביותר.

המשקלים הזמינים נעים בין קובץ f16 מלא בנפח 6.43 גיגה בייט לבין קבצים מכווצים במיוחד שיורדים עד 1.6 גיגה בייט בפורמט IQ3_M. המודל מכוון למשימות ייצור טקסט ומענה להוראות, וכולל אופטימיזציות ייעודיות לארכיטקטורות ARM שמאיצות את קצב העבודה על שבבים תואמים.

מתאים ל

• סיווג טקסט מקומי

  שוקל כשני גיגה בייט בלבד ומאפשר מיון פניות או ניתוח טקסט ישירות על חומרת הקצה ללא הוצאות ענן.

• עוזר פנימי באופליין

  רץ ישירות על מעבדי ARM ומחשבים אישיים ללא צורך בחיבור לרשת או חשיפת מידע רגיש החוצה.

• ניסוח תשובות קצרות

  מגיב מהר להוראות מוגדרות מראש שאינן דורשות הסקה לוגית כבדה או בסיס ידע עמוק.

איפה זה נופל

מודל בגודל שלושה מיליארד פרמטרים מוגבל מראש ביכולת ההסקה וההבנה שלו ביחס למודלים הסטנדרטיים בשוק. תאריך הידע שלו נעצר בדצמבר 2023, והוא עלול לייצר שגיאות עובדתיות במשימות מורכבות. בנוסף, רשימת השפות הרשמית שלו כוללת שמונה שפות בלבד, ביניהן אנגלית, ספרדית ותאילנדית, ועברית אינה מופיעה בהן. ניסיון להפעיל אותו בעברית ידרוש בדיקה יסודית כדי לראות אם התוצר בכלל שמיש.

אותה משפחה

Llama-3.2 יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

אתם מורידים קובץ בודד בלבד לפי כמות הזיכרון הפנויה אצלכם. קובץ הדיפולט המומלץ לרוב המשתמשים הוא Q4_K_M ששוקל 2.02 גיגה בייט, ודורש כרטיס מסך בסיסי עם לפחות 3 עד 4 גיגה בייט זיכרון כדי להחזיק את המודל ואת ההקשר במלואם. אם אתם עובדים על חומרת ARM ישירה, קיימים קבצים ייעודיים כמו Q4_0_4_4 שנותנים קפיצת מהירות, אך אינם מתאימים לשימוש עם Apple Metal.

הרצה מקומית משתלמת כשאתם צריכים פרטיות מלאה, עבודה ללא רשת או אפס עלויות פר קריאה. אם אתם צריכים לוגיקה עמוקה, עיבוד מסמכים ארוכים ומורכבים או תשובות באיכות גבוהה בלי לנהל משאבים במכשיר הקצה, עדיף להישאר עם API מרוחק של מודל גדול בהרבה.

ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

21 קבצים במאגר, 40.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• Llama-3.2-3B-Instruct-f16.gguf6.4 GB
• Llama-3.2-3B-Instruct-Q8_0.gguf3.4 GB
• Llama-3.2-3B-Instruct-Q6_K_L.gguf2.7 GB
• Llama-3.2-3B-Instruct-Q6_K.gguf2.6 GB
• Llama-3.2-3B-Instruct-Q5_K_L.gguf2.4 GB
• Llama-3.2-3B-Instruct-Q5_K_M.gguf2.3 GB
• Llama-3.2-3B-Instruct-Q5_K_S.gguf2.3 GB
• Llama-3.2-3B-Instruct-Q4_K_L.gguf2.1 GB
• Llama-3.2-3B-Instruct-Q4_K_M.gguf2.0 GB
• Llama-3.2-3B-Instruct-Q4_K_S.gguf1.9 GB
• Llama-3.2-3B-Instruct-Q4_0.gguf1.9 GB
• Llama-3.2-3B-Instruct-Q4_0_4_4.gguf1.9 GB
• Llama-3.2-3B-Instruct-Q4_0_4_8.gguf1.9 GB
• Llama-3.2-3B-Instruct-Q4_0_8_8.gguf1.9 GB
• Llama-3.2-3B-Instruct-Q3_K_XL.gguf1.9 GB
• Llama-3.2-3B-Instruct-IQ4_XS.gguf1.8 GB
• Llama-3.2-3B-Instruct-Q3_K_L.gguf1.8 GB
• Llama-3.2-3B-Instruct-IQ3_M.gguf1.6 GB
• Llama-3.2-3B-Instruct.imatrix3.0 MB
• README.md24.3 KB
• .gitattributes2.8 KB

הרישיון

הרישיון מוגדר תחת תנאי llama3.2 של מטא. הוא מאפשר שימוש מסחרי ומחקרי בכפוף להגבלות השימוש המקובלות של החברה, כל עוד היקף המשתמשים החודשי אינו חורג מהרף המוגדר בהסכם של מטא. אם אתם משלבים אותו במוצר, אתם מחויבים לעמוד בתנאי המדיניות הללו.

• שימוש מסחרי עד 700 מיליון משתמשים
• שינוי הקוד
• חובת ייחוס

הרישיון המלא בעמוד המודל ↗