SOLAR-10.7B-Instruct-v1.0-uncensored-GGUF

קוד פתוח

TheBlokeapache-2.02023-12-19

transformers
gguf
solar

גרסה מכווצת של מודל מבוסס סולאר, שעבר הסרת מגבלות בטיחות כדי לענות על כל הוראה ישירות. הוא פונה למי שמחפש ריצה מקומית בלי סינונים תאגידיים.

75.7 GBמשקל הקבצים
5,119הורדות בחודש
103לייקים

מה זה

מדובר בהמרה לפורמט GGUF של שיתוף פעולה בין מודל הבסיס SOLAR של חברת Upstage לבין כוונון עדין של סטפן זואב. המטרה של הגרסה הזו ברורה: לקחת ארכיטקטורה של כמעט 11 מיליארד פרמטרים ולהסיר ממנה את מנגנוני הסירוב המובנים באמצעות אימון על דאטה-סט toxic-dpo.

המודל מיועד לביצוע הוראות מורכבות יותר ממודלי שבעה מיליארד סטנדרטיים, אך בלי להיחסם על נושאים רגישים. מכיוון שהוסרו ממנו מגבלות הבטיחות, הוא לא מחזיר הודעות סירוב ומבצע את מה שמבקשים ממנו. TheBloke יצר כאן חבילת כימותים רחבה מאוד שמתאימה לכלים כמו llama.cpp, החל מקבצים של שני ביט ועד שמונה ביט.

מתאים ל

כתיבה יצירתית ללא סינון
יצירת סיפורים, דמויות ודיאלוגים מורכבים בלי שהמודל יסרב לייצר קטעים אפלים או בוטים.
בדיקות חוסן ואבטחת מידע
בדיקה של מערכות הגנה וסינון תוכן מול פלטים חופשיים ממגבלות בטיחות.
הרצה מקומית מנותקת רשת
עבודה בתחנות קצה ללא תלות בשרת חיצוני וללא מעקב על השאילתות שנשלחות.

איפה זה נופל

התבנית של הפרומפט מוגדרת בדף המודל כלא ידועה, מה שמחייב ניסוי וטעייה כדי לקבל תוצאות עקביות בלי שבירת שיחה. המודל עבר כוונון ייעודי להסרת עכבות, ולכן הוא ייצר תוכן פוגעני או רעיל בלי שום מנגנון בלימה מובנה. אי אפשר לשלב אותו במערכות שפונות למשתמשי קצה ללא שכבת סינון חיצונית שתגן עליכם מפני פלטים בעייתיים.

שאלות
נפוצות

איזה קובץ כדאי להוריד מתוך הרשימה?

הגרסה המאוזנת ביותר היא Q4_K_M, ששוקלת 6.46 גיגה-בייט ומציעה יחס מעולה בין מהירות לאיכות. אם הזיכרון מוגבל מאוד אפשר לרדת ל־Q3_K_M, אך איכות הפלט תיפגע בצורה מורגשת.

האם המודל מגיע עם תבנית שיחה מוגדרת?

לא. כרטיס המודל מציין שהתבנית אינה ידועה ומציג רק מעטפת של טקסט חופשי. תצטרכו לבדוק בעצמכם אם תבניות Instruct סטנדרטיות עובדות טוב או להזין טקסט ישיר.

איך מריצים

כדי להריץ אותו, מורידים קובץ בודד מהמאגר ולא את כל התיקייה. הקובץ המומלץ למרבית השימושים הוא Q4_K_M במשקל 6.46 גיגה-בייט, שדורש סביב 9 גיגה-בייט זיכרון עבודה בהרצה על מעבד. אם יש לכם כרטיס מסך עם 8 עד 12 גיגה-בייט VRAM, תוכלו לטעון את כל השכבות לכרטיס ולקבל מהירות תגובה גבוהה בהרבה.

אפשר להשתמש בכלים עם ממשק גרפי כמו LM Studio או KoboldCpp, או לחבר אותו ישירות לקוד פייתון בעזרת הספרייה llama-cpp-python. אם אין לכם חומרה מקומית מתאימה או שאתם לא צריכים דווקא מודל ללא צנזורה, עדיף להשתמש ב־API מרוחק של מודל גדול בהרבה.

ollama run hf.co/TheBloke/SOLAR-10.7B-Instruct-v1.0-uncensored-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

Q8_011.4 GB Q6_K8.8 GB Q5_K_M7.6 GB Q5_07.4 GB Q5_K_S7.4 GB Q4_K_M6.5 GB Q4_K_S6.1 GB Q4_06.1 GB Q3_K_L5.7 GB Q3_K_M5.2 GB Q3_K_S4.7 GB Q2_K4.5 GB

הקבצים

15 קבצים במאגר, 75.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא Apache 2.0. הוא מאפשר שימוש מסחרי, שינוי של הקוד והפצה חופשית, כל עוד שומרים על הודעת זכויות היוצרים והרישיון המקורי. אין כאן הגבלות מיוחדות על שילוב במוצרים, אך האחריות על התוכן שהמודל פולט נשארת כולה אצלכם.

שימוש מסחרי
שינוי הקוד
הפצה מחדש
שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗