Chat-Llama-3.2-3B-Instruct-uncensored
רץ בדפדפןchuanli11other2024-09-27
ממשק צ'אט שמריץ גרסה לא מצונזרת של מודל קטן עם שלושה מיליארד פרמטרים. הוא מיועד למי שרוצה לבדוק תשובות בלי חסימות תוכן או מעצורים מובנים.
- —הורדות בחודש
- 70לייקים
מה זה
אתם מקלידים שאלה או הנחיה בתיבת הטקסט ומקבלים תשובה ישירה בחלון שיחה. הממשק כולל גם תיבה ייעודית להגדרת הוראת מערכת באורך שש שורות, לצד סליידרים לכיוון פרמטרים של יצירת הטקסט, אם כי חלק מהם מנוטרלים בקוד. בנוסף יש דוגמאות מובנות שאפשר לטעון בלחיצה, בלי שמירת מטמון מראש.
מאחורי הקלעים רץ המודל chuanli11/Llama-3.2-3B-Instruct-uncensored בטעינת bfloat16, שמבוסס על משפחת המודלים של מטא וקשור לטכניקות הסרת מגבלות כמו אלו של failspy. הקוד מייבא תשתית להזרמת תשובות באמצעות סטרדינג, וחותך באופן יזום קלטים שעוברים את מגבלת האורך המותרת תוך הצגת אזהרה מתאימה במסך.
מתאים ל
- בדיקת תגובות ללא סינון
שליחת שאלות שנעצרות במודלים רגילים כדי לראות איך ארכיטקטורה קטנה מתמודדת איתן.
- ניסוי בהנחיות מערכת
בדיקת התנהגות המודל תחת פקודות מערכת ארוכות ומפורטות בתיבה הייעודית.
- הערכת ביצועי מודל קל
בחינת יכולות הניסוח וההבנה של מודל בגודל 3B לפני שמחליטים להוריד אותו למחשב.
איפה זה נופל
הבעיה המיידית היא סטטוס התקלה שמונע את הרצת האפליקציה כרגע. מעבר לכך, מדובר במודל זעיר של שלושה מיליארד פרמטרים בלבד. הוא נוטה להמציא עובדות בקלות, ויכולת ההסקה שלו מוגבלת מאוד מול מודלים גדולים.
הסרת הצנזורה אומרת שאין שום מנגנון בטיחות שיסנן מידע שגוי, רעיל או פוגעני. בנוסף, חיתוך טוקנים אוטומטי מוחק חלקים משיחות ארוכות בלי לבקש רשות.
שאלות
נפוצות
האם השימוש בממשק עולה כסף?
הגישה לממשק היא ללא תשלום ואינה דורשת כרטיס אשראי. כל עוד הדף זמין, אפשר לכתוב בו ישירות דרך הדפדפן. עם זאת, כרגע יש שגיאת מערכת בהגדרות שמונעת ממנו לרוץ בפועל.
מה קורה לטקסט שמקלידים בשיחה?
הטקסט נשלח לעיבוד במודל שרץ על השרת המארח. השיחות אינן נשמרות במטמון לפי הקוד, אך אין כאן התחייבות לפרטיות מלאה. לא כדאי להכניס שמות, סיסמאות או מידע אישי ורגיש.
האם אפשר להריץ את זה מקומית?
כן, המודל chuanli11/Llama-3.2-3B-Instruct-uncensored זמין ונטען באמצעות ספריית transformers הרגילה. גודל של שלושה מיליארד פרמטרים מאפשר להריץ אותו בקלות יחסית על מחשב אישי עם כרטיס מסך מודרני.
במה שונה האפליקציה מהמודל המקורי של מטא?
היא משתמשת בגרסה שעברה תהליך להסרת מנגנוני הסירוב והצנזורה של מטא. היא לא תסרב לענות לבקשות שנויות במחלוקת, אבל בגלל גודלה הקטן היא עלולה לייצר תוכן פחות מדויק ואמין.
איך משתמשים
טוענים את הדף בדפדפן, בוחרים אם לערוך את הוראת המערכת, כותבים הודעה ושולחים. אין צורך להתחבר או להירשם כדי לגשת לממשק הגראדיו הבסיסי, אבל כרגע האפליקציה נמצאת במצב של שגיאת הגדרה ולכן היא לא תפעל עד שהיוצר יתקן אותה.
כשהיא עובדת, היא מוגדרת לרוץ על חומרת zero-a10g שמקצה מאיץ גרפי לפי דרישה, מה שאמור לספק מענה תוך שניות בודדות לכל פלט טקסט, אלא אם יש עומס וזמן המתנה להקצאת החומרה.
הרישיון
הרישיון מוגדר כ־other ולא כרישיון קוד פתוח סטנדרטי מוכר. המשמעות היא שאין תנאים ברורים לשימוש מסחרי, וצריך לבדוק את תנאי המודל המקורי של מטא לפני כל שימוש במידע שנכנס או יוצא.