חדש תמונה, וידאו, קריינות ותמלול בקריאה אחת, בלי להריץ מודל. מנסים בלי שרת

GPT
D

DiT

רץ בדפדפן

wpeeblescc-by-nc-4.02022-12-21

  • gradio

הדגמה שמייצרת תמונות לפי מחלקות מוגדרות מראש מתוך מאגר ImageNet. מתאימה לחוקרים שרוצים לבדוק איך ארכיטקטורת הטרנספורמר עובדת במודלי דיפוזיה.

  • —הורדות בחודש
  • 68לייקים

מה זה

בוחרים קטגוריה מתוך רשימת אלף המחלקות של ImageNet, ומשם מקבלים גלריית תמונות שהמודל מייצר לפי ההגדרה הזו בלבד. אין כאן תיבת טקסט חופשית, כך שאי אפשר לתאר סצנות מורכבות בעברית או באנגלית.

מאחורי הקלעים רץ מודל DiT_XL_2 לצד מודלי פענוח של Stability AI, ספציפית sd-vae-ft-mse או sd-vae-ft-ema. הממשק מאפשר לשנות את הרזולוציה בין 256 על 256 ל־512 על 512, להגדיר את עוצמת הציות להנחיה מ־1 עד 25, ולכוון את מספר צעדי הדגימה בין 4 ל־1000.

מתאים ל

  • בדיקת איכות של DiT

    בוחנים את היכולת של הארכיטקטורה לייצר מחלקות ספציפיות מתוך ImageNet.

  • השוואת מפענחי VAE

    בודקים את ההבדל בתוצאה הסופית בין sd-vae-ft-mse לבין גרסת ה־ema.

  • ניסויי דגימה והנחיה

    משנים את מדדי ה־steps וה־cfg כדי לראות את ההשפעה הישירה על התוצרים.

איפה זה נופל

הבעיה המיידית היא שהאפליקציה במצב תקלה ולא עובדת. מעבר לזה, מי שמצפה למחולל תמונות רגיל יתאכזב, כי אי אפשר להזין פרומפט חופשי אלא רק לבחור מתוך רשימה סגורה של עצמים. המודל גם מוגבל לשתי רזולוציות בלבד, ולא נותן חופש בגדלים. מי שבוחר מספר צעדים גבוה, עד 1000 לפי המחוון, יגרום לזמני המתנה ארוכים מאוד בחומרה הזו, בהנחה שההדגמה תחזור לפעול.

שאלות
נפוצות

האם אפשר להשתמש באפליקציה בחינם?

הגישה פתוחה ללא תשלום ואין צורך בהרשמה או בהזנת כרטיס אשראי. עם זאת, נכון לעכשיו היא נמצאת במצב שגיאה ולא מייצרת תמונות בפועל.

אפשר לכתוב פרומפט חופשי בעברית?

לא. הממשק מאפשר רק לבחור עצם מסוים מתוך רשימה קבועה של אלף מחלקות מוגדרות מראש, ואין תיבה להקלדת טקסט.

האם יש אפשרות להריץ את הקוד באופן מקומי?

כן, הקוד מבוסס על ספריות סטנדרטיות כמו PyTorch ו־diffusers, ומשקולות המודל זמינות תחת רישיון לא מסחרי. תוכלו למשוך את הקבצים ולהפעיל אותם על מחשב עם מעבד גרפי מתאים.

איך משתמשים

בפועל בוחרים מחלקה מהרשימה הנפתחת, משנים ערכים כמו Seed או שלבי דגימה אם רוצים, ולוחצים על Generate. המערכת מוגדרת לרוץ על חומרת t4-medium, כך שהרצה עם 75 צעדי ברירת מחדל ברזולוציה גבוהה תיקח זמן ומאמץ מהכרטיס הגרפי. יש גם דוגמאות מובנות שנשמרו מראש כדי לבדוק תוצאות בלי לחכות לעיבוד. עם זאת, נכון לעכשיו אי אפשר להריץ אותה כלל בדפדפן כי הדף מדווח על RUNTIME_ERROR, ולכן הלחיצה לא תניב תמונה חדשה.

הרישיון

הקוד ומשקולות המודל מופצים תחת רישיון cc-by-nc-4.0. המשמעות היא שהשימוש מוגבל למטרות לא מסחריות בלבד, כמו מחקר או התנסות אישית. לא מעלים כאן קבצים אישיים, והתוצרים שנוצרים כפופים לאותן מגבלות שימוש של הרישיון.

  • שינוי הקוד
  • חובת ייחוס
  • שימוש מסחרי: לא

הרישיון המלא ב־Hugging Face ↗