Meta-Llama-3.1-8B-Instruct-abliterated-GGUF

קוד פתוח

mlabonnellama3.12024-07-24

transformers
gguf
abliterated
uncensored
endpoints_compatible

גרסה נטולת סינון של לאמה 8B שנועדה לענות על כל בקשה בלי לחסום אתכם. הורדת מנגנוני הבטיחות מחזירה לכם שליטה מלאה על התשובות.

45.7 GBמשקל הקבצים
30,442הורדות בחודש
217לייקים

מה זה

מדובר במודל Llama 3.1 8B Instruct שעבר תהליך הסרת סירובים באמצעות טכניקה שנקראת abliteration. היוצר, mlabonne, התבסס על קוד ושיטה של החוקר FailSpy כדי לנטרל את השכבות והווקטורים שגורמים למודל המקורי של מטא להטיף מוסר או לסרב לבקשות שלכם.

בגודל של שמונה מיליארד פרמטרים אתם מקבלים את היכולות המוכרות של משפחת לאמה 3.1, כולל הבנה טובה של הוראות וכתיבת קוד, אבל בלי מעצורים מלאכותיים. אין כאן מדידות ביצועים חדשות בכרטיס המודל, כך שהיכולות הטכניות נשענות לחלוטין על מודל הבסיס של מטא, רק עם התנהגות הרבה פחות בררנית.

מתאים ל

מחקר אבטחה ובדיקות חדירה
מאפשר לבדוק תרחישי תקיפה וקוד זדוני מבלי שהמודל יסרב לייצר את המידע הדרוש.
כתיבה יצירתית ללא סינון
מתאים לטקסטים ספרותיים מורכבים שכוללים קונפליקטים ואלימות שנעצרים במודל רגיל.
עיבוד נתונים רגישים
מנתח טקסטים קשים או בעייתיים מבלי לזרוק שגיאות סירוב באמצע הריצה.

איפה זה נופל

הסרת הסירובים משאירה את המודל ללא בלמים בכלל, וזה חיסרון משמעותי אם אתם בונים משהו שפונה לקהל הרחב. הוא מסוגל לפלוט תוכן פוגעני, שגוי או מסוכן בלי שום מנגנון התראה פנימי. בנוסף, שינוי המשקלים בתהליך כזה עלול לפעמים לפגוע ביציבות התשובות או בהיגיון הכללי של המודל ביחס למקור, וכרטיס המודל לא מציג מבחנים שמוכיחים שהדיוק לא נפגע.

אותה משפחה

Meta-Llama-3.1-8B-Instruct-abliterated יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

Meta-Llama-3.1-8B-Instruct-abliterated11,448

שאלות
נפוצות

האם המודל שומר על היכולות של מודל המקור?

הוא מתבסס ישירות על Llama 3.1 8B Instruct ולכן הזיכרון והיכולות הכלליות זהים. עם זאת, התערבות בווקטורים הפנימיים נועדה לבטל סירובים ועלולה לעיתים לגרום לשינויים קלים בדיוק של תשובות מורכבות.

האם אפשר להריץ אותו על מחשב נייד רגיל?

פורמט GGUF מיועד בדיוק להרצה מקומית, אבל תצטרכו מספיק זיכרון עבודה כדי להחזיק את הקובץ שבחרתם. מחשב עם 16 או 32 ג'יגה זיכרון יוכל להריץ גרסאות מכווצות בלי בעיה מיוחדת.

איך מריצים

המודל מגיע בפורמט GGUF בחלוקה לתשעה קבצים שונים בנפח כולל של 45.7 ג'יגה בייט, מה שאומר שאפשר להריץ אותו ישירות מקומית דרך ספריות כמו llama.cpp על מעבד או כרטיס מסך ביתי. כמות הזיכרון שתצטרכו תלויה בקובץ ובגרסת הקוונטיזציה שתבחרו להוריד מתוך המאגר.

אם יש לכם כרטיס מסך מודרני עם מספיק זיכרון וידאו, תוכלו לטעון את המשקלים המתאימים ולקבל זמני תגובה טובים מאוד בלי לשלם לאף שרת חיצוני. מצד שני, אם אין לכם חומרה ייעודית ואתם צריכים תפוקה יציבה או תמיכה בריבוי משתמשים, עדיף להשתמש בשרת ענן ייעודי במקום להעמיס על המחשב האישי שלכם.

ollama run hf.co/mlabonne/Meta-Llama-3.1-8B-Instruct-abliterated-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

BF1616.1 GB Q8_08.5 GB Q6_K6.6 GB Q5_K_M5.7 GB Q4_K_M4.9 GB Q3_K_M4.0 GB Q2_K3.2 GB

הקבצים

9 קבצים במאגר, 45.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא רישיון llama3.1 המקורי של מטא. הוא מאפשר שימוש מסחרי ומחקר, אבל מחייב אתכם לעמוד בתנאי השימוש המקוריים של החברה, כולל מגבלת משתמשים חודשית אם תגיעו להיקפי ענק.

שימוש מסחרי עד 700 מיליון משתמשים
שינוי הקוד
חובת ייחוס

הרישיון המלא בעמוד המודל ↗