Llama-3.1-Nemotron-70B-Instruct-HF-GGUF

מה זה

מדובר בהמרה של הדגם המקורי של אנבידיה לפורמט GGUF באמצעות llama.cpp, שביצע המשתמש bartowski. הבסיס הוא ארכיטקטורת 70B שעברה כוונון ייעודי למענה על שאלות והנחיות מורכבות, וכאן היא נארזה בעשרות רמות דחיסה שונות עם כיול מבוסס imatrix.

הדגמים בעמוד הזה נותנים פתרון למי שרוצה להריץ דגם של שבעים מיליארד פרמטרים על חומרה מקומית או ביתית חזקה. במקום לקבל קבצים גולמיים של חצי טרה, יש כאן משקלים שמתחילים מאיכות מקסימלית ויורדים עד רמות דחיסה אגרסיביות מאוד ששוקלות פחות מעשרים גיגה בייט.

מתאים ל

• מענה מורכב להנחיות באנגלית

  כוונון ההוראות של אנבידיה מספק תשובות מפורטות ומובנות במיוחד עבור פרומפטים מסובכים.

• פיתוח מקומי מאובטח

  הרצה מקומית על תחנת עבודה חזקה של 70B בלי להוציא נתונים רגישים מחוץ לרשת.

• ניסויי קוונטיזציה בחומרה מוגבלת

  מגוון המשקלים מאפשר לבדוק את הגבול התחתון של פגיעה באיכות מול צריכת הזיכרון.

איפה זה נופל

הקובץ מוגדר לאנגלית בלבד, ואין שום תיעוד או התחייבות לתמיכה בעברית או בשפות אחרות. מעבר לזה, רמות הדחיסה הנמוכות כמו IQ1_M או סדרת Q2 מגיעות עם ירידה מורגשת בדיוק ובאיכות הפלט, והמפתח בעצמו מזהיר שלא להשתמש בגרסאות הדחוסות ביותר. חובה לבדוק איכות מענה על משימות ספציפיות לפני שסומכים עליו.

איך מריצים

כדי להריץ אותו צריך תוכנות כמו LM Studio או llama.cpp ישירות. גרסת ברירת המחדל המאוזנת, Q4_K_M, שוקלת כארבעים ושניים גיגה בייט ומחייבת לפחות שני כרטיסי מסך חזקים עם זיכרון כולל של ארבעים ושמונה גיגה כדי לרוץ במהירות סבירה.

אפשר גם לערבב זיכרון מערכת עם זיכרון גרפי, אבל הקצב ייפול משמעותית. אם אין לכם לפחות שישים וארבעה גיגה בייט של זיכרון מהיר או כרטיסים ייעודיים, כל ניסיון הרצה יהיה איטי להחריד, ועדיף להשתמש בשירות ענן שמציע את המודל הזה דרך שורת קוד אחת.

ollama run hf.co/bartowski/Llama-3.1-Nemotron-70B-Instruct-HF-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

29 קבצים במאגר, 765 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• Llama-3.1-Nemotron-70B-Instruct-HF-Q5_K_S.gguf48.7 GB
• Llama-3.1-Nemotron-70B-Instruct-HF-Q4_K_L.gguf43.3 GB
• Llama-3.1-Nemotron-70B-Instruct-HF-Q4_K_M.gguf42.5 GB
• Llama-3.1-Nemotron-70B-Instruct-HF-Q4_K_S.gguf40.3 GB
• Llama-3.1-Nemotron-70B-Instruct-HF-Q4_0.gguf40.1 GB
• Llama-3.1-Nemotron-70B-Instruct-HF-Q5_K_L/Llama-3.1-Nemotron-70B-Instruct-HF-Q5_K_L-00001-of-00002.gguf40.0 GB
• Llama-3.1-Nemotron-70B-Instruct-HF-Q5_K_M/Llama-3.1-Nemotron-70B-Instruct-HF-Q5_K_M-00001-of-00002.gguf39.9 GB
• Llama-3.1-Nemotron-70B-Instruct-HF-Q6_K/Llama-3.1-Nemotron-70B-Instruct-HF-Q6_K-00001-of-00002.gguf39.9 GB
• Llama-3.1-Nemotron-70B-Instruct-HF-Q8_0/Llama-3.1-Nemotron-70B-Instruct-HF-Q8_0-00001-of-00002.gguf39.8 GB
• Llama-3.1-Nemotron-70B-Instruct-HF-Q3_K_XL.gguf38.1 GB
• Llama-3.1-Nemotron-70B-Instruct-HF-IQ4_XS.gguf37.9 GB
• Llama-3.1-Nemotron-70B-Instruct-HF-Q3_K_L.gguf37.1 GB
• Llama-3.1-Nemotron-70B-Instruct-HF-Q8_0/Llama-3.1-Nemotron-70B-Instruct-HF-Q8_0-00002-of-00002.gguf35.2 GB
• Llama-3.1-Nemotron-70B-Instruct-HF-Q3_K_M.gguf34.3 GB
• Llama-3.1-Nemotron-70B-Instruct-HF-IQ3_M.gguf31.9 GB
• Llama-3.1-Nemotron-70B-Instruct-HF-Q3_K_S.gguf30.9 GB
• Llama-3.1-Nemotron-70B-Instruct-HF-IQ3_XXS.gguf27.5 GB
• Llama-3.1-Nemotron-70B-Instruct-HF-Q2_K_L.gguf27.4 GB
• Llama-3.1-Nemotron-70B-Instruct-HF-Q2_K.gguf26.4 GB
• Llama-3.1-Nemotron-70B-Instruct-HF-IQ2_M.gguf24.1 GB
• Llama-3.1-Nemotron-70B-Instruct-HF-IQ2_XS.gguf21.1 GB
• Llama-3.1-Nemotron-70B-Instruct-HF-IQ2_XXS.gguf19.1 GB
• Llama-3.1-Nemotron-70B-Instruct-HF-Q6_K/Llama-3.1-Nemotron-70B-Instruct-HF-Q6_K-00002-of-00002.gguf18.0 GB
• Llama-3.1-Nemotron-70B-Instruct-HF-IQ1_M.gguf16.8 GB
• Llama-3.1-Nemotron-70B-Instruct-HF-Q5_K_L/Llama-3.1-Nemotron-70B-Instruct-HF-Q5_K_L-00002-of-00002.gguf10.6 GB
• Llama-3.1-Nemotron-70B-Instruct-HF-Q5_K_M/Llama-3.1-Nemotron-70B-Instruct-HF-Q5_K_M-00002-of-00002.gguf10.1 GB
• Llama-3.1-Nemotron-70B-Instruct-HF.imatrix24.9 MB
• README.md10.8 KB
• .gitattributes4.2 KB

הרישיון

הרישיון הוא רישיון llama3.1 המקורי של מטא. הוא מאפשר שימוש מסחרי ומחקר, אך כפוף למגבלות של מטא, כולל תנאי שימוש חודשיים למערכות גדולות והגבלות על אימון מודלים מתחרים ישירות מהפלטים שלו.

• שימוש מסחרי עד 700 מיליון משתמשים
• שינוי הקוד
• חובת ייחוס

הרישיון המלא בעמוד המודל ↗