civitai-stable-diffusion-337k
קוד פתוחthefcraftרישיון לא דווח2023-04-28
המאגר מרכז 337 אלף פרומפטים וקישורי תמונות שנמשכו מסיביטאי עבור סטייבל דיפיוז'ן. הוא מתאים למי שרוצה לאמן מודלים לזיהוי תוכן למבוגרים או לחקור מבנה של פרומפטים שמשתמשים כותבים.
- 294הורדות בחודש
- 41לייקים
מה זה
הנתונים נמשכו ישירות מה־API של Civitai באפריל 2023 ומכילים פרומפטים, קישורים לתמונות שנוצרו על ידי משתמשים ופרטים נוספים סביב היצירה. החומר הזה משקף את מה שאנשים באמת מייצרים שם, כולל הרבה מאוד תוכן למבוגרים שמסומן בפירוש ככזה על ידי היוצר של המאגר.
בתוך המאגר יש כמה פורמטים שונים של אותם נתונים. תמצאו שם קובץ Parquet לחלוקת train, לצד קובצי CSV ו־JSON בתיקייה נפרדת. בנוסף, יש תיקיית תמונות עם קובצי zip שמכילים חלק מהתמונות עצמן לפי מזהים, מה שחוסך הורדה ידנית של הכל מהרשת למי שרוצה דגימה מוכנה.
היוצר לא מציין שום תהליך של ניקוי, סינון או בדיקת איכות ידנית. זה פשוט מאגר גולמי שנמשך מהאתר, והוא שימש את המפרסם במקור כדי לאמן מודל לזיהוי פרומפטים של תוכן למבוגרים.
מתאים ל
- אימון מסווג NSFW
זיהוי פרומפטים או תמונות עם תוכן למבוגרים, בדיוק המטרה שלשמה נאסף הדאטהסט במקור.
- ניתוח פרומפטים של משתמשים
חקר מילות מפתח, משקולות ומבנה של פקודות טקסטואליות שנכתבו על ידי הקהילה באנגלית.
- אימון מודלי יצירת תמונה
שימוש בטקסט ובקישורים כבסיס להרחבת נתוני אימון למודלי תמונה, בכפוף לסינון ידני קפדני.
איפה זה נופל
הבעיה המרכזית היא תוכן למבוגרים. המאגר מלא בו, ויוצר המאגר מציין את זה בעצמו, כך שאם אתם בונים משהו שמיועד לקהל רחב או לחברות, אי אפשר להשתמש בזה בלי סינון עמוק. בנוסף, כל הטקסט באנגלית בלבד ואין פה מילה בעברית. הנתונים נאספו באפריל 2023, שזה עידן קודם בכל הקשור לגרסאות של סטייבל דיפיוז'ן. אין שום תיעוד על כפילויות או בדיקות איכות שנעשו על הקישורים.
שאלות
נפוצות
האם מותר להשתמש במאגר לפרויקט מסחרי?
לא מומלץ בכלל. לא צוין שום רישיון במאגר, והתמונות והפרומפטים שייכים למשתמשים שהעלו אותם ל־Civitai. שימוש בחומר כזה במוצר מסחרי חושף אתכם לתביעות על זכויות יוצרים.
האם הדאטהסט כולל את התמונות עצמן או רק קישורים?
הוא כולל בעיקר קישורים, אבל יש בתיקיית images שני קובצי zip עם חלק מהתמונות המקוריות. כדי לקבל את כל מאות אלפי התמונות תצטרכו להוריד אותן בעצמכם מהקישורים.
האם יש במאגר תוכן בעברית?
לא. המאגר מתועד כשפה האנגלית בלבד. כל הפרומפטים והטקסטים מבוססים על מה שנאסף מ־Civitai באנגלית.
איך הנתונים נאספו?
היוצר משך את הנתונים ישירות דרך ה־API הציבורי של Civitai באפריל 2023. לא נעשה סינון מיוחד לפני הפרסום, והנתונים נשמרו בפורמטים של Parquet, CSV ו־JSON.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets באמצעות פקודת load_dataset עם המזהה thefcraft/civitai-stable-diffusion-337k. הגישה חופשית לגמרי ואין צורך לבקש אישור מראש. קובץ ה־Parquet המרכזי מגיע מוכן לעבודה, אבל אם אתם צריכים את התמונות עצמן ולא רק את הקישורים והטקסט, תצטרכו להוריד בנפרד קובצי zip מתיקיית images ולפתוח אותם בעזרת ספריית zipfile בפייתון. יש במאגר שבעה קבצים בסך הכל, ומי שמעדיף יכול לגשת ישירות לקובצי ה־CSV וה־JSON שנמצאים שם.
from datasets import load_dataset
ds = load_dataset("thefcraft/civitai-stable-diffusion-337k")הרישיון
היוצר לא הגדיר רישיון למאגר. מבחינה משפטית, כשאין רישיון מוצהר, אסור להניח שמותר להשתמש בו לצרכים מסחריים או לשלב אותו במוצר שלכם. הנתונים נלקחו מפלטפורמה שבה משתמשים מעלים תוכן משלהם, מה שמייצר סיכון של הפרת זכויות יוצרים של היוצרים המקוריים, גם אם משתמשים בזה רק לאימון מודל.