חדש תמונה, וידאו, קריינות ותמלול בקריאה אחת, בלי להריץ מודל. מנסים בלי שרת

GPT
L

LlamaGen

רץ בדפדפן

FoundationVisionmit2024-06-08

  • gradio

הדגמה שמייצרת תמונות מטקסט באמצעות מודל שפה אוטורגרסיבי במקום מודלי דיפוזיה רגילים. מתאים למי שרוצה לבדוק גישות חלופיות ליצירת תמונה ישירות דרך הדפדפן.

  • —הורדות בחודש
  • 64לייקים

מה זה

אתם מקלידים הנחיית טקסט באנגלית, מכוונים פרמטרים של דגימה, ומקבלים תמונות שנוצרות ישירות אל תוך גלריה מובנית במסך. הממשק חושף שליטה בסיסית אך מקצועית הכוללת סרגלי גרירה עבור מדדי דגימה מוכרים כמו ערכי חיתוך, מידת אקראיות, ורמת ההיצמדות להוראות המקוריות.

מאחורי הקלעים הקוד משתמש במודל טקסט של גוגל לחילוץ ייצוגים ומחבר אותו לרשת מבוססת ארכיטקטורת שפה לצד מקודד תמונה ייעודי. הרעיון במחקר הוא להוכיח שארכיטקטורה של מודלי שפה יכולה לייצר תמונות באיכות תחרותית למודלי דיפוזיה, כאשר המערכת מורידה משקלים ומפרקת את התמונה לטוקנים באופן סדרתי.

מתאים ל

  • בדיקת גישה אוטורגרסיבית

    בחינה מעשית של ייצור תמונות על בסיס מודל שפה חלופי לעומת מודלי הדיפוזיה הנפוצים כיום.

  • התנסות במחקר המקורי

    הרצה מקומית של הקוד והמשקלים שנבדקו במאמר האקדמי כדי להשוות ביצועים ודיוק.

  • הדגמת השפעת פרמטרי דגימה

    בדיקה של האופן שבו שינויי טמפרטורה וחיתוך משפיעים על יציבות של ייצור ויזואלי.

איפה זה נופל

הבעיה המיידית היא שההדגמה מדווחת על תקלת ריצה ולא מגיבה לבקשות. אי אפשר לבדוק אותה כרגע בדפדפן בלי לפתור את השגיאה בקוד או להעתיק אותה לחומרה אחרת. בנוסף, המודל אינו מכיל התאמה מיוחדת לעברית ומתבסס על מודל טקסט שמכוון בעיקר לאנגלית. ההערה בממשק מציינת בפירוש שמדובר בגרסה איטית שממתינה להאצה של פי שלושה או ארבעה, כך שקצב העבודה המקורי שלה רחוק מלהתאים לשימוש שוטף.

שאלות
נפוצות

האם אפשר להשתמש באפליקציה כרגע בדפדפן?

לא. האפליקציה נמצאת במצב של שגיאת ריצה, ולכן לחיצה על כפתור הייצור לא תניב תמונות עד שמפעילי העמוד יתקנו את הקוד או את סביבת ההרצה.

האם השירות כרוך בתשלום?

השימוש בעמוד עצמו פתוח ללא עלות וללא צורך בהזנת אמצעי תשלום. עם זאת, בגלל התקלה הנוכחית הפתרון החינמי היחיד שעובד הוא הורדת הקוד והרצתו על מחשב שלכם.

האם אפשר להריץ את זה מקומית על המחשב?

כן, הקוד ברישיון פתוח ומסתמך על מודלים שזמינים להורדה ברשת. תצטרכו להתקין את הספריות המתאימות, להוריד את המשקלים שמצוינים בקוד, ולהחזיק חומרה מתאימה להרצה כבדה.

איך משתמשים

כדי להתחיל כותבים תיאור בתיבת הטקסט, משנים לפי הצורך את ערכי הדגימה או משאירים את ברירות המחדל, ולוחצים על כפתור ההפעלה הראשי. בעמוד יש גם רשימת דוגמאות מוכנות שנטענות בלחיצה. כרגע לא תצליחו להפיק דבר דרך הדפדפן, משום שהחלל תקוע במצב שגיאת ריצה. מעבר לכך, ההדגמה מוגדרת על מעבד בסיסי בלבד וכוללת הערה על גרסה לא מואצת, כך שאפילו אם היא תתאושש, זמן ההמתנה לתמונה צפוי להיות ארוך מאוד ביחס לכרטיסי מסך ייעודיים.

הרישיון

הקוד מפורסם תחת רישיון קוד פתוח מתירני מסוג MIT שמאפשר שימוש חופשי, עריכה ושילוב בפרויקטים עצמאיים. לגבי התמונות שנוצרות והמידע שמזינים בטפסים, הדברים תלויים ברישיונות המשקלים החיצוניים של גוגל והמאגרים שהורדו בקוד, ואין בממשק מדיניות פרטיות נפרדת מעבר לכללי האתר הכלליים.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא ב־Hugging Face ↗