MidJourney_v5_Prompt_dataset
קוד פתוחtarungupta83apache-2.02023-05-21
מעל ארבעה מיליון פרומפטים גולמיים שנאספו ישירות מפעילות מידג'רני גרסה חמש. זה מאגר עצום שמיועד למי שרוצה ללמוד איך אנשים מנסחים הנחיות חזותיות בפועל.
- 87הורדות בחודש
- 31לייקים
מה זה
המאגר כולל 4,245,117 רשומות שמציגות הודעות שנשלחו לבוט של מידג'רני בדיסקורד סביב אפריל 2023. כל שורה בטבלה מכילה את מזהה הכותב, שם המשתמש, תאריך ושעה, תוכן הפרומפט המלא, קישור לתמונה שנוצרה בשרתי דיסקורד ותגובות אם היו כאלה. הטקסטים מייצגים את סגנון הכתיבה האופייני למשתמשי גרסה חמש, כולל תיאורי סגנון, שמות אמנים ופרמטרים טכניים שנוספו לפקודות.
היוצר לא ביצע סינון מקדים על הנתונים והעלה אותם כטקסט גולמי לחלוטין. במקום לחלק את המאגר מראש לקבוצות אימון ובדיקה, הוא צירף מחברת פייתון ייעודית לניקוי הנתונים. המבנה הזה משאיר לכם את העבודה להחליט אילו תווים לנקות, איך להתמודד עם שגיאות כתיב וכיצד לסנן פקודות כפולות או חלקיות שנשלחו לבוט.
מתאים ל
- אימון מודל להשלמת פרומפטים
לימוד שפה שמתמחה בהרחבת רעיונות קצרים לפקודות מפורטות ומובנות ליצירת תמונות.
- ניתוח העדפות משתמשים
חקר סגנונות אמנותיים, אמנים פופולריים ומילות מפתח נפוצות ביצירה חזותית.
- בניית כלי הצעות לפרומפטים
פיתוח מנגנון אוטומטי שמציע תוספות תיאוריות למשתמשים שמנסחים פקודות גרפיות.
איפה זה נופל
הנתונים נאספו סביב אפריל 2023, כך שהם מקובעים לסגנון הפרומפטים שהתאים לגרסה חמש של מידג'רני באותה תקופה. כמעט כל הטקסטים באנגלית, וסביר מאוד שלא תמצאו כאן עברית בכלל. מעבר לזה, מדובר באיסוף גולמי בלי שום סינון של תוכן פוגעני, שמות פרטיים של משתמשי דיסקורד או זכויות יוצרים של אמנים שמופיעים בהנחיות. בעיה נוספת היא הקישורים לתמונות, שרבים מהם כבר שבורים היום עקב שינויים במדיניות האחסון של דיסקורד.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
הרישיון המדווח במאגר הוא אפאצ'י שתיים אפס, שמתיר שימוש מסחרי בקוד ובנתונים. יחד עם זאת, הפרומפטים עצמם נאספו ממשתמשי דיסקורד ללא הסכמתם המפורשת. אם אתם בונים מוצר מסחרי, כדאי להתייעץ משפטית לגבי מקור המידע ולא להסתמך רק על הצהרת הרישיון בדף.
האם המאגר מכיל פרומפטים בעברית?
המאגר מבוסס על שרתי דיסקורד של מידג'רני שבהם כמעט כל התקשורת מתנהלת באנגלית. לא נעשה סינון שפות מכוון, אך באופן מעשי הסיכוי למצוא טקסטים בעברית נמוך ביותר. מי שמחפש מידע לאימון מודלים בשפה העברית לא ימצא כאן מענה.
איך הנתונים נאספו והאם הם מסוננים?
הנתונים נאספו ישירות משרתי דיסקורד שבהם הבוט של מידג'רני פעיל, ככל הנראה באמצעות סקריפט איסוף אוטומטי באפריל 2023. הקובץ המקורי מכיל מעל ארבעה מיליון שורות גולמיות ללא סינון תוכן או ניפוי כפילויות. היוצר צירף מחברת פייתון שמאפשרת לבצע את הניקוי בעצמכם בהתאם לצרכים שלכם.
איך טוענים
הנתונים לא מגיעים בטעינה רגילה של ספריית הדאטהסטס מבית האגינג פייס אלא כקובץ מכווץ בשם Midjourney_v5_Prompt.zip שנמצא במאגר. אין צורך לבקש אישור גישה מיוחד כדי להוריד אותו, אבל צריך לפרוק את הארכיון ידנית לקובץ טבלאי לפני שמתחילים לעבוד.
בנוסף לקובץ המכווץ יש במאגר מחברת ג'ופיטר שמסבירה איך לנקות את המידע. כשתפתחו את הקובץ תראו עמודות מרכזיות כמו תוכן הפרומפט והקישור לתמונה. קחו בחשבון שהקישורים מובילים לקובצי תמונה שהועלו לדיסקורד, וחלקם עלולים לא לפעול אם הקבצים נמחקו מהשרתים המקוריים מאז שנת 2023.
from datasets import load_dataset
ds = load_dataset("tarungupta83/MidJourney_v5_Prompt_dataset")הרישיון
המאגר מסומן ברישיון אפאצ'י שתיים אפס. הרישיון הזה מתיר שימוש מסחרי, שינוי של המידע והפצה שלו, ואינו מחייב אתכם לשחרר מודלים שאימנתם תחת אותו רישיון. החובה העיקרית היא מתן קרדיט והצגת עותק של תנאי הרישיון המקוריים. עם זאת, זכרו שמדובר בטקסטים שנלקחו ממשתמשי דיסקורד, והרישיון שהעלה המשתמש אינו מבטיח הגנה מתביעות על זכויות יוצרים של התוכן עצמו.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים