GPT
הוספת כלי
P

pygmalion-6b

קוד פתוח

PygmalionAIcreativeml-openrail-m2023-01-07

  • transformers
  • pytorch
  • tensorboard
  • gptj
  • text-generation

מודל שיחה פתוח שמיועד למשחקי תפקידים וצ'אטים חופשיים בלי צנזורה. הוא מתאים למי שמחפש בוט שיחה עם אישיות מוגדרת ומסוגל לרוץ על כרטיס מסך בודד.

  • 2,048טוקנים בהקשר
  • 15.3 GBמשקל הקבצים
  • 330הורדות בחודש
  • 750לייקים

מה זה

מדובר בהתאמה של GPT-J-6B לשיחות, כשהבסיס אומן על 56 מגה-בייט של דיאלוגים ממקורות מעורבים שכוללים שיחות אמיתיות ושיחות שנוצרו על ידי מכונה. בסך הכול עברו באימון הנוסף כ־48.5 מיליון טוקנים במשך כ־5,000 צעדים על ארבעה כרטיסי A40 בעזרת DeepSpeed. המפתחים הגדירו אותו כהוכחת היתכנות.

המטרה העיקרית שלו היא לגלם דמויות בתוך פורמט שיחה מובנה, עם שדות להגדרת הדמות, היסטוריית השיחה ותשובות מותאמות. בשונה ממודלי בסיס רגילים בגודל 6 מיליארד פרמטרים שנוטים לפלוט טקסט כללי או להיתקע בלולאות, הוא מתוכנן להישאר בתוך תפקיד מוגדר כל עוד שומרים על הפורמט המבוקש.

מתאים ל

  • בוט למשחקי תפקידים

    הוא אומן במיוחד להגיב לפי אפיון דמות קבוע מראש ומבנה שיחה מוגדר.

  • מחקר על שיחות ללא צנזורה

    הוא מתאים לבדיקת התנהגות של מודלים חופשיים מפילטרים בסביבה מקומית.

  • פיתוח משחקי טקסט עצמאיים

    הגודל שלו מאפשר להריץ אותו מקומית על כרטיס מסך יחיד עבור דמויות בלי שחקן.

איפה זה נופל

האזהרה הכי בולטת של המפתחים היא שהמודל פולט תוכן למבוגרים בנסיבות מסוימות ואינו מיועד לקטינים. הוא מוגבל לאנגלית בלבד, וחלון ההקשר עומד על 2,048 טוקנים בלבד, מה שאומר שבשיחות ארוכות תצטרכו לחתוך היסטוריה באופן אגרסיבי כדי להשאיר מקום להגדרת הדמות. המפתחים עצמם מודים בכרטיס שהם לא בדקו אותו מספיק כדי לפרט את כל הבעיות שלו, כך שאי אפשר לסמוך על היציבות שלו במוצר מסחרי בלי בדיקות קפדניות שלכם.

אותה משפחה

pygmalion יצא ב־5 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

pygmalion-350m518 pygmalion-1.3b154 PygmalionAI/pygmalion-7b0 pygmalion-13b0

שאלות
נפוצות

האם המודל תומך בשיחות בעברית?

לא. המודל אומן והוגדר עבור השפה האנגלית בלבד, ואין לו תמיכה רשמית בעברית.

האם חייבים להשתמש בתבנית הפרומפט של המפתחים?

טכנית אפשר לשלוח כל טקסט כי מדובר במודל גנרטיבי רגיל, אבל היוצרים מציינים שהוא יתפקד בצורה הטובה ביותר רק אם מקפידים על התבנית של הגדרת פרסונה, תגית START והיסטוריית דוברים.

איך מריצים

כדי להריץ את 15.3 הג'יגה-בייט האלה בפורמט float16 תצטרכו כרטיס מסך עם לפחות 16GB זיכרון ייעודי, או לחלופין לבצע קוונטיזציה לחומרה ביתית צנועה יותר. המודל רץ ישירות דרך ספריית transformers בפייתון, והיוצרים שלו מספקים מחברת עם ממשק Gradio שמטפלת בעיצוב הקלט בלי שתצטרכו לשרשר פרומפטים ידנית.

אם אין לכם כרטיס מתאים ואתם רוצים רק לבדוק אותו, עדיף להריץ את המחברת המוכנה בענן במקום להסתבך עם הורדת 24 הקבצים לסביבה מקומית.

from transformers import pipeline

pipe = pipeline("text-generation", model="PygmalionAI/pygmalion-6b")
print(pipe("שלום"))

הקבצים

24 קבצים במאגר, 15.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא creativeml-openrail-m, בדומה לרישיונות של מחוללי תמונות מסוימים. הוא מתיר שימוש מסחרי, אבל מטיל הגבלות שימוש ספציפיות על תחומים מזיקים, פגיעה באחרים או תוכן לא חוקי, ומחייב אתכם להעביר את אותן מגבלות הלאה למשתמשי הקצה שלכם.

  • שימוש מסחרי
  • שינוי הקוד
  • מגבלות שימוש ברישיון

הרישיון המלא בעמוד המודל ↗