CLIP-Interrogator

מה זה

אתם מעלים תמונה ללשונית ההנחיות ובוחרים מצב עבודה, כמו הטוב ביותר, מהיר, קלאסי או שלילי. המערכת מנתחת את הקובץ ופולטת שורת טקסט שמנסה לתאר את הנושא והסגנון האמנותי בצורה שתתאים למודלים של יצירת תמונות. יש גם לשונית ניתוח נפרדת שמפרקת את התמונה לחמש הקטגוריות המובילות במדיום, שם האמן, תנועה אמנותית ומאפיינים נוספים.

מאחורי הקלעים רץ המודל CLIP של OpenAI בגרסת ViT-L שמותאם בעיקר לגרסאות הראשונות של סטייבל דיפיוז'ן. הקוד כולל הכנה גם לדגם של LAION עבור גרסאות מתקדמות יותר, אך האפשרות הזו מנוטרלת כרגע בממשק. בדף משולבות שתי תמונות דוגמה מוכנות מראש שמאפשרות לבדוק את התהליך מיד.

מתאים ל

• הנדסה הפוכה לפרומפטים

  חילוץ תיאור מילוני מתוך תמונה קיימת לצורך יצירת יצירות דומות במודלים של יצירת תמונה.

• זיהוי סגנון אמנותי

  פירוק יצירה לחמשת האמנים, התנועות והמדיומים הבולטים שמרכיבים את המראה שלה.

• יצירת פרומפט שלילי

  הפקת רשימת מונחים לא רצויים מתמונה במצב עבודה שלילי מובנה בממשק.

איפה זה נופל

הבחירה בין מודלים מוגבלת כרגע בפועל רק לגרסה אחת, כך שאין גמישות למי שרוצה לעבוד ישירות מול הגרסה השנייה של המודל. במצב הניתוח מקבלים תגיות בלבד ולא פרומפט שלם, והתוצאות עדיין מוגבלות לאוצר המילים וההטיות של מודל CLIP המקורי. לא הייתי בונה על זה לשחזור מדויק של קומפוזיציות מורכבות.

איך משתמשים

גוררים תמונה לממשק הדפדפן, בוחרים מצב ריצה ולוחצים על כפתור השליחה. אין צורך בהתחברות או בהרשמה כדי להתחיל לעבוד. הביצועים נשענים על מעבד גרפי ייעודי מסוג A10G דרך חבילת Spaces, כך שהעיבוד מהיר יחסית, אבל דוגמאות הממשק אינן נשמרות במטמון וזמני ההמתנה בפועל תלויים בעומס התורים הפעיל ברגע נתון.

הרישיון

הקוד מופץ תחת רישיון MIT שמאפשר שימוש חופשי, שינוי והפצה, גם לפרויקטים מסחריים. תנאי השימוש בתמונות שאתם מעלים או בפרומפטים שנוצרים כפופים למדיניות האתר שמארח את ההדגמה.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗