GPT
הוספת כלי
L

Luna-AI-Llama2-Uncensored

קוד פתוח

Tap-Mcc-by-sa-4.02023-07-19

  • transformers
  • pytorch
  • llama
  • text-generation
  • text-generation-inference

גרסת צ'אט ללא צנזורה שמבוססת על Llama 2 ואומנה על עשרות אלפי שיחות. היא פונה למי שמחפש שיחה חופשית בלי מעצורי סירוב מובנים.

  • 2,048טוקנים בהקשר
  • 25.1 GBמשקל הקבצים
  • 89הורדות בחודש
  • 146לייקים

מה זה

מדובר במודל טקסט שמבוסס על Llama 2 ועבר אימון על יותר מ־40,000 שיחות ארוכות שנוצרו באופן סינתטי בין אדם למכונה. מטרת הפיתוח היתה לייצר כלי צ'אט שלא מסרב לבקשות שלכם ולא חוסם נושאים כמו מודלים מסחריים רגילים. הפורמט שבו הוא מדבר תואם למבנה המוכר של Vicuna 1.1 או OpenChat, כלומר תגיות פשוטות של משתמש ועוזר.

במבחני הביצועים הוא מציג ממוצע של 0.5114. בבחינת ידע כללי מורכב כמו MMLU הוא קיבל דיוק של 0.46521, ובמדד האמת TruthfulQA הוא עומד על 0.4716. המספרים האלה אומרים שהוא לא גאון של שאלות טריוויה מדעיות, והסרת הצנזורה לא הופכת אותו למדויק יותר בעובדות, אלא בעיקר לפתוח יותר בטון ובנושאים שהוא מוכן לגעת בהם.

מתאים ל

  • סימולציות שיחה חופשיות

    אימון על 40,000 שיחות והיעדר צנזורה מאפשרים תרחישים שבהם מודלים רגילים היו נחסמים.

  • הרצה מקומית ב־GGML

    קיום גרסת מעבד פותר את הצורך בחומרה יקרה ומאפשר בדיקות על מחשב אישי.

  • בדיקות עמידות ובטיחות

    היעדר המסננים מסייע לראות איך מודל בסיס מתנהג מול קלטים קיצוניים.

איפה זה נופל

הבעיה הבולטת היא אורך ההקשר. חלון של 2,048 טוקנים מגביל מאוד, כך שאחרי כמה חילופי דברים הזיכרון שלו על תחילת השיחה פשוט נמחק, מה שמקשה על ניתוח מסמכים או שיחות ארוכות במיוחד. בנוסף, הסרת הצנזורה אומרת שאין כאן מנגנוני הגנה. הוא עלול לפלוט מידע שגוי, בוטה או לא מבוקר בלי להתריע. במבחן MMLU הוא עומד על פחות מחצי, כך שלא כדאי לסמוך עליו במשימות שדורשות היגיון לוגי קפדני.

שאלות
נפוצות

איזה מבנה קלט המודל מצפה לקבל?

הוא עובד לפי הפורמט של Vicuna 1.1. אתם כותבים USER ולאחריו השאלה, ואז שורה חדשה עם ASSISTANT כדי לקבל את המענה.

האם אפשר לסמוך על התשובות שלו בעניינים עובדתיים?

לא ממש. הציון שלו במבחני אמת וידע עומד על סביבות 47 אחוזים, ולכן תצטרכו לאמת כל פרט היסטורי או טכני שהוא מייצר.

איך מריצים

המשקל המקורי של הקבצים מגיע ל־25.1 גיגה בייט בדיוק float32, מה שדורש כרטיס מסך רציני עם זיכרון וידאו גדול מאוד רק כדי לטעון אותו ישירות דרך ספריית transformers. המפתח עצמו אימן אותו על מכונה של שמונה כרטיסי A100 עם 80GB.

אם אתם לא מחזיקים שרת כזה בבית, עדיף לפנות לגרסאות המכווצות שנוצרו לו, כמו גרסת GPTQ ב־4 ביט לכרטיסי מסך ביתיים או גרסת GGML להרצה ישירה על המעבד. אם אתם רק צריכים תשובות מהירות ולא מתעקשים על שרת פרטי ללא מעצורים, קריאה ל־API של שירות ענן תהיה פשוטה וזולה בהרבה.

from transformers import pipeline

pipe = pipeline("text-generation", model="Tap-M/Luna-AI-Llama2-Uncensored")
print(pipe("שלום"))

הקבצים

12 קבצים במאגר, 25.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הפרויקט מפורסם תחת רישיון cc-by-sa-4.0. הרישיון הזה מתיר שימוש מסחרי, שינוי והפצה, אבל מחייב אתכם לתת קרדיט ברור ליוצר המקורי. התנאי המרכזי כאן הוא שיתוף זהה, כלומר אם שיניתם את המודל, בניתם עליו או שילבתם אותו ביצירה נגזרת שאתם מפיצים הלאה, אתם חייבים לשחרר את התוצר תחת אותו הרישיון בדיוק. למי שבונה מוצר קוד סגור זה עשוי להוות מכשול משפטי ממשי.

  • שימוש מסחרי
  • שינוי הקוד
  • חובת שיתוף באותו רישיון

הרישיון המלא בעמוד המודל ↗