pez-dispenser

מה זה

מעלים תמונה או מדביקים פרומפט טקסטואלי ארוך, ומקבלים רצף מילים קצר שמייצג את התוכן בצורה ממוקדת. אפשר להגדיר את אורך הפקודה המבוקש, עד שבעים וחמש מילים כשההמלצה היא שמונה עד שש עשרה, ואת מספר צעדי האופטימיזציה עד שלושת אלפים צעדים.

מאחורי הקלעים רצה שיטת PEZ שמשתמשת במודל OpenCLIP בגרסת ViT-H, אותו מקודד טקסט שפועל בגרסה שתיים נקודה אחת של סטייבל דיפיוז'ן. האלגוריתם מבצע אופטימיזציה ישירה במרחב הטקסט כדי למצוא את המילים שיפיקו ייצוג קרוב ככל האפשר לתמונת המקור או לטקסט המקורי.

בדוגמאות המובנות יש תמונת בדיקה שמתומצתת לשמונה מילים, ודוגמת טקסט של סצנת אמנות דיגיטלית עם בקתה בביצה שמזוקקת לשלוש מילים בלבד.

מתאים ל

• הנדסה הפוכה לתמונות

  חילוץ פרומפט קצר מתמונה קיימת לצורך יצירת גרסאות דומות במודלי תמונה.

• קיצור פקודות ארוכות

  דחיסת פרומפטים עמוסים לרשימת מונחים תמציתית ששומרת על המשמעות המקורית.

• התאמה לסטייבל דיפיוז'ן 2

  בניית ניסוחי טקסט שמנצלים ישירות את קידוד OpenCLIP-ViT/H.

איפה זה נופל

נכון לעכשיו העמוד מדווח על שגיאת ריצה, כך שההדגמה בדפדפן עלולה לא להגיב כלל ולא לייצר פלט. מעבר לתקלה, המודל אינו מחזיר תיאור באנגלית שוטפת או בעברית, אלא רצף מונחים מותאם מתמטית למודלי תמונות שלעיתים נראה חסר היגיון תחבירי. בנוסף, האופטימיזציה מכוונת במקור למקודד של סטייבל דיפיוז'ן שתיים, ולכן התוצאות פחות מדויקות במודלים עם ארכיטקטורה שונה.

איך משתמשים

בוחרים בין העלאת תמונה לבין הזנת טקסט, מכוונים את אורך הפקודה ומספר הצעדים ולוחצים על הכפתור המתאים. ריצה רגילה של אלף צעדים על חומרת T4 לוקחת בערך שישים שניות. הממשק פועל עם תור של עד חמש בקשות במקביל, ואין צורך בהתחברות כדי לנסות. למי שרוצה תוצאות מהירות יותר מומלץ להוריד את מספר הצעדים או להשתמש במחברת הגוגל קולאב שהמפתחים צירפו.

הרישיון

המפתח לא הגדיר רישיון שימוש בקוד או בדף. במצב כזה אין אישור מפורש לשימוש מסחרי בתוצרים או בקוד עצמו, ותנאי השימוש הרגילים של השרת קובעים לגבי המידע שמועלה.

הרישיון המלא ב־Hugging Face ↗