novelai3

מה זה

המאגר מורכב מזוגות של תמונות אנימה והוראות הטקסט ששימשו ליצירתן. הנתונים לא נאספו ממאגרי תמונות רגילים ברשת, אלא הופקו במשך חודש שלם באמצעות סקריפט דפדפן אוטומטי שלחץ ברצף על כפתור יצירת התמונה ושמר את התוצאות מהמחולל. סך הכל הצטברו שם סביב 38 גיגה-בייט של מידע.

התוכן מחולק לקבצי ארכיון נפרדים לפי נושאים וסגנונות, ביניהם קבצים שמוקדשים לסגנונות ציור, אמנים ספציפיים, דמויות ותוכן למבוגרים. החומר לא עבר שום סינון אנושי לפני ההעלאה, כך שהאיכות משתנה לחלוטין מתמונה לתמונה ותלויה במה שהמחולל פלט באותו רגע.

מתאים ל

• זיקוק מודל אנימה

  אימון מודל קל ליצירת אנימה על גבי בסיס קיים באמצעות הזוגות שחולצו מהמחולל.

• כוונון לפי סגנון אמן

  חילוץ קובצי הסגנונות והציירים כדי ללמד מודל לחקות קווים עיצוביים ספציפיים באנימה.

• בדיקת איכות פרומפטים

  מחקר על הקשר בין הוראות טקסט באנגלית לבין התוצר הוויזואלי שנפלט מהמערכת.

איפה זה נופל

היוצרים מודים בגלוי שהמאגר לא סונן ידנית כלל, מה שאומר שיש בו פלטים שבורים, עיוותים ואיכות ירודה. הם ממליצים לא לאמן על כל המאגר בבת אחת בלי לעבור ידנית ולמחוק דוגמאות גרועות. מעבר לזה, הטקסטים הם באנגלית בלבד ואין שום תמיכה בעברית. מאחר שהנתונים נאספו מגרדת מחולל, הפרומפטים עלולים לדרוש שכתוב או תיוג מחדש באמצעות מודלי ראייה לפני שהם יתאימו לשימוש אמיתי.

איך טוענים

אין צורך באישור גישה מיוחד כדי להוריד את המאגר. הוא לא מגיע בפורמט טבלאי נוח כמו פרקט, אלא מפוצל לשלושה עשר קבצים שונים שכוללים קובצי זיפ וטאר דחוסים, כמו style.zip, painter.zip או nsfw.tar.gz. תצטרכו להוריד את הארכיונים, לחלץ אותם מקומית ולחבר בעצמכם בין קובצי התמונה לקובצי הטקסט שמכילים את הפרומפטים.

from datasets import load_dataset

ds = load_dataset("shareAI/novelai3")

הרישיון

המאגר מדווח תחת רישיון אפאצ'י שתיים, שעל הנייר מתיר שימוש מסחרי, שינוי והפצה ללא דרישה לשיתוף תחת אותו רישיון, אך מחייב מתן קרדיט. עם זאת, היוצרים עצמם כתבו בתיאור שהחומר מיועד למטרות לימוד ומחקר בלבד, והעובדה שמדובר בתמונות שנוצרו במקור על ידי שירות מסחרי אחר מעמידה בספק גדול כל ניסיון לבנות על זה מוצר מסחרי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗