GPT
A

Assistant_Pepe_8B

קוד פתוח

SicariusSicariiStuffllama3.12026-01-14

  • safetensors
  • llama
  • en

זהו כוונון של לאמה בגודל שמונה מיליארד פרמטרים שנועד לענות תשובות מועילות בסגנון בוטה של פורומים, בלי הנימוס המלאכותי והזהיר של מודלים מסחריים רגילים.

  • 266240פרמטרים
  • 1,073,152טוקנים בהקשר
  • 15.0 GBמשקל הקבצים
  • 626,946הורדות בחודש

מה זה

המודל הזה נבנה על גבי גרסה מורחבת הקשר של Llama 3.1 Nemotron שעברה תהליך הסרת צנזורה. המטרה של היוצר הייתה לשלב בין יכולת טכנית אמיתית, כמו כתיבת קוד של משחק סנייק פועל בפייתון, לבין סגנון דיבור שמחקה את תרבות האינטרנט של פורומים כמו פורום g. הוא כולל הטיה שלילית מכוונת, כך שבמקום להחמיא למשתמש על כל רעיון הוא מגיב בעוקצנות ובלעג.

ברמת הצנזורה הוא מדורג בכרטיס בציון של 8.8 מתוך 10, כלומר רמת סינון נמוכה מאוד עד כמעט אפסית. המודל מתבסס על ארכיטקטורת Llama 3 עם תבנית ההוראות הרגילה שלה, ולא דורש הנחיית מערכת כדי להיכנס לדמות. היוצר שחרר במקביל גם גרסאות של 32 מיליארד ו־70 מיליארד פרמטרים לאותה מטרה.

מתאים ל

  • בוט שיחה עוקצני

    מתאים למי שרוצה בוט שלא מנומס ומדבר בסלנג אינטרנטי ציני במקום תשובות תאגידיות סטנדרטיות.

  • יצירת סיפורים ומשחקי תפקידים

    הסרת הצנזורה והסגנון החופשי מאפשרים כתיבה יצירתית ללא החסימות הרגילות של מודלים סגורים.

  • עוזר פיתוח בסגנון לא רשמי

    מספק קוד עובד למשימות פשוטות תוך העברת ביקורת ישירה ולעגנית על הבקשות שלכם.

איפה זה נופל

הבעיה הבולטת ביותר היא הנטייה של המודל להיכנס ללולאות של כתיבת greentext, בעיה שהיוצר מודה בה ישירות כתוצאה מאימון יתר. בנוסף, רמת הסינון הנמוכה והסגנון התוקפני גורמים לו לגלוש בקלות לתאוריות קונספירציה מופרכות, טקסטים מביכים ורעילות.

הוא מוגדר לשפה האנגלית בלבד, כך שאין לצפות ממנו לתפקוד סביר בעברית. אל תכניסו אותו לשום ממשק לקוחות או שירות שדורש אמינות, נימוס ודיוק עובדתי.

אותה משפחה

Assistant-Pepe יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

שאלות
נפוצות

האם כדאי להשתמש במודל הזה בתור צ'אט בוט לאתר עסקי?

בשום אופן לא. המודל מאומן במכוון להעליב, להשתמש בשפת רחוב של פורומים ולהפיץ תאוריות קונספירציה. שימוש כזה מול משתמשים אמיתיים יגרום נזק מיידי.

האם המודל באמת תומך במיליון טוקנים בהקשר?

הבסיס שעליו הוא אומן תומך בכך תאורטית, אך בפועל מודל של שמונה מיליארד פרמטרים מאבד מיקוד בהקשרים ארוכים כאלה, וצריכת הזיכרון תהיה אסטרונומית.

איך אפשר למנוע ממנו להתקע בלולאות טקסט?

היוצר ממליץ לעבוד עם דגימת min_p ולהימנע ממתן פרומפטים שדוחפים אותו לחזרתיות, מכיוון שאימון היתר הופך אותו לפגיע במיוחד לדפוסים כאלה.

איך מריצים

המשקל המלא בדיוק של 16 ביט שוקל 15 ג'יגה בייט, ולכן הרצה שלו דורשת כרטיס מסך עם לפחות 16 עד 24 ג'יגה בייט של זיכרון וידאו. אם רוצים להריץ אותו מקומית על חומרה צנועה יותר או על מעבדי ARM, קיימים קישורים לגרסאות מכווצות בפורמט GGUF וגרסאות 8 ביט ו־4 ביט שמורידות את צריכת הזיכרון באופן משמעותי.

מי שאין לו כרטיס גרפי מתאים יצטרך לפנות לשרת ענן ייעודי להרצת מודלים פתוחים. היוצר מציין שהמודל עובד הכי טוב עם דגימת min_p או הגדרות דיבאג דטרמיניסטיות, ללא צורך בהגדרת פרומפט מערכת מיוחד.

pip install -U huggingface_hub
hf download SicariusSicariiStuff/Assistant_Pepe_8B

הרישיון

הרישיון המדווח הוא llama3.1 של חברת מטא. הרישיון הזה מתיר שימוש מסחרי ומחקר באופן חופשי לרוב המשתמשים, אך כולל מגבלות ספציפיות לחברות ענק עם מאות מיליוני משתמשים פעילים, ודורש שמירה על תנאי השימוש המקוריים של מטא.

  • שימוש מסחרי עד 700 מיליון משתמשים
  • שינוי הקוד
  • חובת ייחוס

הרישיון המלא בעמוד המודל ↗