dalle-mini

מה זה

מדובר בניסיון קהילתי מוקדם לשחזר את היכולות של מודל יצירת התמונות המקורי של OpenAI באמצעות קוד פתוח. המבנה מבוסס על שילוב של מקודד VQGAN שהופך תמונות לרצף טוקנים, ומודל שפה מסוג BART שחוזה את הטוקן הבא על בסיס טקסט באנגלית. האימון הראשוני בוצע על שילוב של שלושה מאגרי נתונים, שכללו יחד כחמישה עשר מיליון זוגות של תמונות ותיאורים שנאספו מהרשת.

בניגוד למודלי דיפוזיה מודרניים, מדובר במודל קטן פי עשרים ושבע מהמקור של OpenAI, שאומן כולו בתוך שלושה ימים על חומרת TPU בודדת. אין בכרטיס המודל ציוני בנצ'מרק מספריים, אבל המפתחים מציינים במפורש שהוא נבנה כגרסה מוקדמת וקומפקטית, ומפנים להמשך הפיתוח בגרסת מגה הגדולה יותר.

מתאים ל

• מחקר על הטיות במודלים

  הכרטיס מדגיש שימוש בבחינת סטריאוטיפים והטיות תרבותיות במודלים שנוצרו על דאטה לא מסונן.

• יצירת תוכן הומוריסטי

  התוצאות המעוותות והסוריאליסטיות מתאימות במיוחד לממים, משחקי מילים חזותיים ושילוב מושגים.

• לימוד ארכיטקטורת VQGAN

  בסיס קל וקטן של 1.7 ג'יגה בייט להבנת החיבור בין מודל שפה מסוג BART לחלוקת תמונה לטוקנים.

איפה זה נופל

המודל מציג מגבלות ויזואליות קשות שמתועדות ישירות בכרטיס. פנים ואנשים לא נוצרים כראוי, וחיות נראות כמעט תמיד לא מציאותיות. הוא אומן על מידע גולמי ולא מסונן באנגלית בלבד מהאינטרנט, ולכן הוא לא מתפקד בשפות אחרות, כולל עברית. בנוסף, המפתחים מזהירים מהטיה חברתית כבדה כלפי תרבות מערבית ולבנה, ומנטייה לייצר סטריאוטיפים פוגעניים.

איך מריצים

המשקל הכולל של הקבצים עומד על 1.7 ג'יגה בייט בלבד בספריית transformers, מה שאומר שאפשר להריץ אותו בקלות על כמעט כל כרטיס מסך בסיסי או אפילו על מעבד רגיל. אין כאן דרישות חומרה כבדות כמו במודלים המודרניים, והטעינה שלו לזיכרון מהירה מאוד.

אם אתם רוצים תוצאות ויזואליות איכותיות יותר, המפתחים יצרו גרסה בשם DALL-E Mega שאומנה על אשכול של מאתיים חמישים ושישה מעבדי TPU לאורך יותר מארבעים יום. למטרות שאינן מחקר היסטורי של הארכיטקטורה הזו, כנראה עדיף להשתמש במודלים חדשים יותר דרך ממשקי רשת מוכנים.

from transformers import pipeline

pipe = pipeline("text-to-image", model="dalle-mini/dalle-mini")
print(pipe("שלום"))

הקבצים

10 קבצים במאגר, 1.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• flax_model.msgpack1.8 GB
• enwiki-words-frequency.txt34.2 MB
• tokenizer.json2.1 MB
• vocab.json801.6 KB
• merges.txt460.8 KB
• README.md14.3 KB
• config.json1.3 KB
• .gitattributes1.2 KB
• tokenizer_config.json497 B
• special_tokens_map.json239 B

הרישיון

רישיון apache-2.0 הוא רישיון קוד פתוח מתירני מאוד. אתם רשאים להשתמש בו לצרכים מסחריים, לשנות אותו, להפיץ אותו ולשלב אותו במוצרים שלכם, כל עוד אתם שומרים על הודעת זכויות היוצרים ומצרפים עותק של הרישיון.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗