GPT
הוספת כלי
D

DeepSeek-R1-Distill-Llama-70B-abliterated

קוד פתוח

huihui-aiרישיון לא דווח2025-01-27

  • transformers
  • safetensors
  • llama
  • text-generation
  • abliterated

גרסה לא מצונזרת של מודל ההסקה המזוקק של דיפסיק על בסיס לאמה. המטרה כאן היא חשיבה מעמיקה בלי מנגנוני סירוב שמפריעים באמצע.

  • 71Bפרמטרים
  • 131,072טוקנים בהקשר
  • 131 GBמשקל הקבצים
  • 746הורדות בחודש

מה זה

מדובר בעיבוד של המודל המזוקק המקורי, שעבר תהליך הסרת סירובים בשיטה ישירה עם ספריית הטרנספורמרים. המודל שומר על היכולת לייצר שלבי חשיבה פנימיים לפני התשובה, אבל מתעלם ממעצורי הבטיחות הרגילים שגורמים למודלים מקוריים לענות שהם לא יכולים לעזור.

היוצר מגדיר את הגרסה הזו כהוכחת היתכנות גולמית למדי. אין פה כוונון עדין מלא או בדיקות ביצועים מסודרות, אלא ניסיון טכני לנטרל את שכבות הסירוב בלי להשתמש בכלים מתקדמים כמו טרנספורמרלנס, כך שאתם מקבלים את ליבת ההסקה של שבעים מיליארד פרמטרים בלי סינון תכנים.

מתאים ל

  • מחקר על מנגנוני סירוב

    לבדיקה איך התערבות במשקלים משפיעה על תהליך החשיבה וההסקה הפנימי.

  • ניתוח טקסטים רגישים

    לעיבוד תכנים שמודלים מסחריים רגילים חוסמים מיד בגלל מדיניות בטיחות.

  • בדיקות חוסן באבטחה

    לבניית סימולציות התקפה שדורשות היגיון מעמיק בלי מעצורי תוכן.

איפה זה נופל

זה פרויקט ניסיוני, והיוצר עצמו מודה שבלוק החשיבה לפעמים נעלם או שהמודל ממשיך לסרב בכל זאת. במקרים כאלה הכרטיס ממליץ לתת לו דוגמה מקדימה כדי להכניס אותו לקצב. אל תבנו עליו לתהליכים אוטומטיים בלי לבדוק קודם אם מחיקת הסירובים לא פגעה ביכולת ההיגיון והקוד.

שאלות
נפוצות

איך עוקפים את המצב שהמודל עדיין מסרב לענות?

הכרטיס ממליץ לספק דוגמה קצרה של שאלה ותשובה כפרומפט מקדים, למשל ספירת אותיות במילה, כדי להכריח את המודל להיכנס למבנה החשיבה הנדרש.

האם אפשר להריץ אותו על מחשב נייד חזק?

את קובצי המקור בנפח 131 גיגה בייט אי אפשר להריץ בלי שרת עם כמה כרטיסים ייעודיים. האפשרות היחידה למחשב אישי חזק היא הורדת גרסה מכווצת דרך אולמה.

איך מריצים

כדי לטעון את המשקלים המקוריים בדיוק מלא תצטרכו לפנות 131 גיגה בייט בזיכרון השרת, מה שמחייב שני כרטיסי A100 או H100 של 80 גיגה לפחות. זה כבד ויקר מדי לרוב המפתחים, במיוחד כשיש 39 קבצים להוריד.

מי שרוצה לבדוק אותו מקומית על חומרה צנועה יותר יכול למשוך את הגרסה המוכנה לאולמה בשם המשתמש של היוצר. אם אתם צריכים תפוקה יציבה ליישום אמיתי ולא סתם בדיקות, שווה לשקול ספק שמחזיק מודל כזה מאחורי שרת ייעודי.

from transformers import pipeline

pipe = pipeline("text-generation", model="huihui-ai/DeepSeek-R1-Distill-Llama-70B-abliterated")
print(pipe("שלום"))

הקבצים

39 קבצים במאגר, 131 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

היוצר לא דיווח על רישיון בעמוד המודל. מבחינה משפטית מדובר בשטח אפור מסוכן, כי אי אפשר לדעת אילו זכויות מותרות בשימוש מסחרי או בהפצה. אם אתם מתכננים להטמיע אותו במוצר לחברה, עדיף להתרחק עד שיוגדר רישיון ברור.

הרישיון המלא בעמוד המודל ↗