stable-diffusion-prompts-uncensored
קוד פתוחjtatmanmit2024-01-04
המאגר מרכז פרומפטים ישירים ופרומפטים שליליים שנשלפו מתמונות באתר Civitai, ללא סינון תוכן. מי שצריך לנתח איך משתמשים כותבים הנחיות למודלי תמונה בלי צנזורה ימצא פה דאטה גולמי מהשטח.
- 60הורדות בחודש
- 28לייקים
מה זה
הנתונים מבוססים על מטא-דאטה של תמונות שנוצרו ושותפו באתר Civitai, מה שאומר שהם משקפים שימוש אמיתי במודלים של Stable Diffusion. אין כאן תמונות עצמן, אלא טקסטים שכוללים את הפרומפטים שהזינו המשתמשים לצד פרומפטים שליליים. המפרסם מצהיר מראש שהתוכן לא עבר שום סינון או צנזורה, והוא כולל תכנים בוטים ונושאים שלא מתאימים לכל עין.
המאגר מכיל בין 100 אלף למיליון רשומות ומחולק לשני קבצי אימון עיקריים. הכוונה המקורית מאחוריו היא לתת בסיס למחקר על מבנה הנחיות, בחינת יעילות של ניסוחים, זיהוי קטגוריות פופולריות ומעקב אחרי האופן שבו סגנון הפרומפטים משתנה לפי גרסאות המודלים השונות.
מתאים ל
- ניתוח מבנה פרומפטים
חקר מילות מפתח נפוצות ופרומפטים שליליים כדי להבין איך משתמשים מייעלים את יצירת התמונות.
- אימון מודל עזר לפרומפטים
בניית מודל שפה קטן שמייצר או מרחיב הנחיות ליצירת תמונות על בסיס דוגמאות אמיתיות.
- מחקר סמנטי וסיווג
בדיקת מתאם בין אורך הפרומפט לסגנון היצירה ומעקב אחרי אבולוציה של הנחיות לאורך זמן.
איפה זה נופל
הבעיה המרכזית כאן היא היעדר הסינון המוחלט. אם אתם בונים שירות שחשוף למשתמשי קצה או לקהל רחב, אי אפשר להזין את הנתונים האלה ישירות למודל בלי להפעיל קודם שכבת ניקוי אגרסיבית משלכם. בנוסף, כל הטקסטים הם באנגלית בלבד ונוצרו על ידי קהילת משתמשים ספציפית מאוד של Civitai, כך שהם מוטים חזק לז'אנרים ולסגנונות שפופולריים שם ולא מייצגים את כלל משתמשי ה־AI.
שאלות
נפוצות
האם יש במאגר הזה תמונות?
לא, המאגר כולל רק טקסטים. אלו מחרוזות של פרומפטים ופרומפטים שליליים שנשלפו מתוך המטא-דאטה של התמונות ב־Civitai, ללא קובצי המדיה עצמם.
האם מותר להשתמש בדאטהסט הזה למוצר מסחרי?
כן, הרישיון המדווח הוא MIT, שמתיר שימוש מסחרי מלא. רק זכרו שהאחריות על התכנים הגולמיים היא עליכם, במיוחד מאחר שמדובר בדאטה לא מסונן בעליל.
האם יש שם טקסטים בעברית?
לא, הדאטהסט מוגדר באנגלית בלבד. כל הניתוחים והאימונים שתעשו עליו רלוונטיים לפרומפטים באנגלית.
כמה מקום צריך בשבילו במחשב?
מדובר בסך הכל בארבעה קבצים במאגר, כשעיקר המידע יושב בשני קובצי parquet. מכיוון שמדובר בטקסט בלבד בהיקף של כמה מאות אלפי רשומות, הנפח קטן מאוד בהשוואה למאגרי תמונות.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets של Hugging Face עם המזהה jtatman/stable-diffusion-prompts-uncensored, בלי צורך לבקש אישור גישה מראש. הקבצים יושבים בפורמט parquet בשני חלקים של train, כך שהטעינה מהירה יחסית ואינה דורשת משאבי אחסון כבדים כמו מאגרי תמונות. לפני שרצים על הנתונים, צריך לשים לב שעיקר העבודה תתרכז בעמודות הפרומפטים והפרומפטים השליליים.
from datasets import load_dataset
ds = load_dataset("jtatman/stable-diffusion-prompts-uncensored")הרישיון
המאגר מפורסם תחת רישיון MIT, שזה הרישיון הכי פתוח שאפשר לבקש. מותר להשתמש בו לצרכים מסחריים ומחקריים, לשנות אותו, ולשחרר מודלים שאומנו עליו בלי חובה לפתוח את הקוד שלכם. הדרישה היחידה היא לשמור על הודעת זכויות היוצרים והרישיון המקורי בקבצים הרלוונטיים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש