anime-prompts-180K
קוד פתוחFredZhang7creativeml-openrail-m2023-02-09
המאגר מרכז פרומפטים ותגיות מעולמות האנימה כדי לאמן מודלים שמייצרים טקסט לתמונות. הוא חוסך את הגירוד הידני ממאגרי תמונות ומספק דאטה שכבר עבר סינון לפי ציוני פופולריות.
- 36הורדות בחודש
- 28לייקים
מה זה
המאגר כולל מאות אלפי פרומפטים שמחולקים לפי מקורות המידע שלהם ורמת הניקוי. חלק אחד מבוסס על שמונים אלף פרומפטים ייחודיים שנקראים safebooru_clean, ונאספו דרך ה־API של Safebooru רק עבור פריטים שקיבלו ציון של 8 ומעלה. החלק השני מגיע מה־API של Danbooru וכולל שני שדות נפרדים, שכל אחד מהם מכיל מאה אלף פרומפטים ייחודיים עם ציון 3 ומעלה.
השדות מ־Danbooru מפוצלים לגרסה גולמית בשם danbooru_raw ולגרסה שעברה ניקוי בשם danbooru_clean. הרשומות מורכבות בעיקר מרשימות של תגיות ומילות מפתח שמתארות דמויות, סגנונות וזוויות ציור, בדיוק כפי שמשתמשים מקטלגים תמונות בפלטפורמות האלה. המפרסם מפנה לפרויקטים קודמים שלו כדי ללמוד עוד על אלגוריתם הניקוי ועל ההסתייגויות מהמידע הגולמי, ולא מפרט בכרטיס הנוכחי את לוגיקת הסינון המדויקת.
מתאים ל
- אימון מחוללי פרומפטים
כוונון של מודלי שפה קטנים שיודעים להשלים תגיות וסגנונות למחוללי תמונות אנימה.
- השוואת איכות סינון
בדיקת ההבדלים בין תגיות גולמיות לנקיות מתוך Danbooru לבניית מסננים משלכם.
- העשרת פרומפטים אוטומטית
בניית מנגנון שמציע מילות מפתח פופולריות מבוססות ציון קהילה לשיפור תיאורי תמונה.
איפה זה נופל
המידע מבוסס כולו על תגיות באנגלית ומגיע ישירות מאתרי booru, מה שאומר שהוא מכיל את ההטיות, הז'רגון והסגנון המאוד ספציפי של הקהילות האלה. הכרטיס מציין שיש הסתייגויות לגבי המידע מ־Danbooru ומפנה למודל אחר שלו, אבל לא מפרט מה בדיוק סונן החוצה. בנוסף, לא מצוין מה הוסר בעמודות הנקיות לעומת העמודה הגולמית. אם אתם מחפשים תיאורים טבעיים ומשפטים שלמים, לא תמצאו אותם כאן, אלא בעיקר רשימות של תגיות מופרדות בפסיקים שפורסמו בפברואר 2023.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט הזה לפרויקט מסחרי?
הרישיון creativeml-openrail-m מאפשר עקרונית שימוש מסחרי, כולל שילוב במוצרים ואימון מודלים. עם זאת, הוא כולל רשימת הגבלות אתיות על שימושים מסוכנים שאסור להפר. עליכם להעביר את תנאי הרישיון הלאה למשתמשי הקצה שלכם.
האם יש במאגר תמיכה בשפה העברית?
לא, הדאטהסט כולל אך ורק אנגלית. המקור של הנתונים הוא אתרי קהילה בינלאומיים שמתייגים יצירות אנימה באנגלית בלבד. אם תרצו להשתמש בו עבור משתמשים בעברית, תצטרכו לתרגם את המונחים או לאמן שכבת תרגום נפרדת.
איך נאספו הפרומפטים שנמצאים בפנים?
הנתונים נמשכו ישירות מה־APIs של האתרים Safebooru ו־Danbooru. היוצר השתמש בסף ציון של משתמשים כדי לסנן פריטים, 8 ומעלה עבור Safebooru ו־3 ומעלה עבור Danbooru. פרטים נוספים על אלגוריתם הניקוי עצמו מופיעים במאגרים נפרדים של אותו מפתח.
איך טוענים
טוענים את המאגר ישירות דרך ספריית datasets של פייתון בלי צורך באישור גישה מוקדם או מפתח. המידע שמור בקובץ anime_prompts.csv וזמין תחת פיצול train רגיל. בעת הטעינה מקבלים גישה לשלוש עמודות מרכזיות, safebooru_clean, danbooru_clean ו־danbooru_raw. הקוד לדוגמה מראה איך לייצא את השדות הללו בחזרה לקובץ CSV מקומי, כך שאפשר לעבוד איתו גם מחוץ לסביבה של Hugging Face בלי תלויות כבדות.
from datasets import load_dataset
ds = load_dataset("FredZhang7/anime-prompts-180K")הרישיון
הרישיון הוא creativeml-openrail-m, שמוכר בעיקר מעולמות ה־Stable Diffusion. הוא מתיר שימוש מסחרי ומאפשר לאמן מודלים, אבל מחייב אתכם לכלול את תנאי הרישיון ולהגביל שימושים מזיקים או לא חוקיים לפי הנספח שלו. המגבלות האלה חלות גם על מודלים נגזרים שתאמנו על בסיס הנתונים.
- שימוש מסחרי
- שינוי הקוד
- מגבלות שימוש ברישיון