Meta-Llama-3-8B-Instruct-abliterated-v3-GGUF

מה זה

הבסיס כאן הוא מודל השיחה של מטא, אבל במקום לעבור אימון מחדש או פיין טיונינג רגיל, המפתח השתמש בטכניקה מתמטית שמזהה את כיווני הסירוב במשקולות ומאפסת אותם. הרעיון הוא לשמור על כל הידע והיכולות המקוריות בלי לדרוס התנהגויות אחרות בעזרת דאטה מלאכותי.

גרסה 3 מגיעה אחרי ניסויים קודמים, והמפתח מציין שהתהליך המעודכן הפחית הזיות לעומת גרסה 2 של המודל. אין פה מבחני ביצועים מספריים או ציונים רשמיים, אלא התמקדות בהסרת מנגנון הסירוב תוך ניסיון לפגוע כמה שפחות בשאר התכונות של המודל המקורי.

מתאים ל

• מחקר אבטחה

  מאפשר לבדוק פגיעויות ושאילתות קיצון בלי מנגנוני סירוב מובנים שחוסמים את הבדיקה.

• עיבוד טקסטים רגישים

  מתאים לניתוח חומרים גולמיים שמודלים מסחריים רגילים מסרבים לגעת בהם בגלל פילטרים.

• בוטים לתסריטים ומשחקים

  מספק תגובות לדמויות שליליות או עימותים מבלי שהמודל יטיף מוסר לשחקן.

איפה זה נופל

אין שום הבטחה שהמודל לעולם לא יסרב, לא יטיף מוסר בנושאי בטיחות, או יבין כל בקשה כמו שצריך. מחיקת וקטור הסירוב נעשתה בשיטה ניסיונית מאוד, והמפתח מודה שיש בה מוזרויות ותופעות לוואי שעדיין לא מופו עד הסוף. לא מומלץ לחבר אותו למוצר מול לקוחות בלי בדיקות מקיפות של הפלטים.

אותה משפחה

Meta-Llama-3-8B-Instruct-abliterated יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המודל מגיע בפורמט שמיועד להרצה מקומית קלה במגוון רמות דיוק, מגרסת מקור כבדה ועד דחיסות נמוכות. בשביל להריץ אותו כמו שצריך, בוחרים קובץ שנכנס בנוחות בזיכרון של כרטיס המסך או בזיכרון המערכת ומשאיר מקום לטוקנים של ההקשר. המפתח עצמו ממליץ על גרסת שש ביט כאיזון המעשי בין ביצועים לאיכות.

מי שאין לו חומרה מתאימה להחזיק מודל כזה מקומית יעדיף לשלם לפי שימוש לספק שמארח אותו. ההרצה העצמאית משתלמת רק אם צריך שליטה מלאה בתשובות ובפרטיות, בלי תלות בשרתים חיצוניים שיסננו את הבקשות.

ollama run hf.co/failspy/Meta-Llama-3-8B-Instruct-abliterated-v3-GGUF:Meta-Llama-3-8B-Instruct-abliterated-v3_q5

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

8 קבצים במאגר, 42.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• Meta-Llama-3-8B-Instruct-abliterated-v3.gguf16.1 GB
• Meta-Llama-3-8B-Instruct-abliterated-v3_q8.gguf8.5 GB
• Meta-Llama-3-8B-Instruct-abliterated-v3_q6.gguf6.6 GB
• Meta-Llama-3-8B-Instruct-abliterated-v3_q5.gguf5.7 GB
• Meta-Llama-3-8B-Instruct-abliterated-v3_q4.gguf4.9 GB
• Meta-Llama-3-8B-Instruct-abliterated-v3_q3.gguf4.0 GB
• README.md5.2 KB
• .gitattributes2.0 KB

הרישיון

הרישיון המדווח הוא הרישיון הרשמי של מטא למשפחת לאמה 3. מותר להשתמש בו מסחרית, בכפוף למגבלות של מטא סביב מספר משתמשים ואיסור שימוש בפלטים לאימון מודלים מתחרים.

• שימוש מסחרי עד 700 מיליון משתמשים
• שינוי הקוד
• חובת ייחוס

הרישיון המלא בעמוד המודל ↗