CLIP-Interrogator-2
רץ בדפדפןfffiloniרישיון לא דווח2022-11-26
מעלים תמונה ומקבלים תיאור טקסטואלי שמתאים ליצירת תמונות ב־Stable Diffusion 2.0. זה מיועד למי שמנסה להבין איך להנדס פרומפטים מתמונות קיימות.
- —הורדות בחודש
- 1,364לייקים
מה זה
אתם מעלים קובץ תמונה ומקבלים מחרוזת טקסט שמפרקת את הסגנון, התוכן והאלמנטים הוויזואליים שלה לפרומפט. המטרה של התיאור הזה היא לא סתם להסביר מה רואים, אלא לספק פקודה מוכנה למודלים של יצירת תמונה, ספציפית עבור Stable Diffusion 2.0.
מאחורי הקלעים רצה הספרייה clip_interrogator יחד עם Torch, שמשלבת מודלים של CLIP כדי להתאים בין התמונה למאגר מילים, סגנונות ושמות אמנים. בממשק יש בורר מצבים, מחוון לכוונון כמות התוספות והפרטים, ואפשרות לבחור דוגמאות מוכנות מראש כדי לראות איך הפירוק עובד בלי להעלות קובץ משלכם.
מתאים ל
- הנדוס לאחור של סגנון
מחלצים את שמות האמנים והאלמנטים הטכניים מתמונה כדי לשחזר מראה דומה במחולל תמונות.
- בניית פרומפט ראשוני
מקבלים בסיס טקסטואלי מוכן לעבודה במקום לנסות לתאר קומפוזיציה מורכבת מאפס.
- התאמה ל־Stable Diffusion 2
מפיקים נוסח פקודה שתואם ספציפית למבנה המילים שהגרסה הזו מגיבה אליו היטב.
איפה זה נופל
הטקסט שנוצר מותאם במיוחד לשימוש מול Stable Diffusion 2.0, ולכן הוא לא מתאים כתיאור נגישות רגיל לעיוורים או לקטלוג תמונות יבש. הדוגמאות בעמוד לא נשמרות במטמון לפי הקוד, כך שגם הן דורשות חישוב מחדש. בנוסף, אם תעלו תמונה בלי לבחור הגדרות נכונות, תקבלו הודעה שמבקשת קובץ תקין במקום תוצאה.
שאלות
נפוצות
האם צריך לשלם או לפתוח חשבון בשביל להשתמש?
לא מופיעה שום דרישת תשלום או הרשמה בקוד. הממשק נפתח ישירות בדפדפן ופתוח לשימוש חופשי.
כמה זמן לוקח לנתח תמונה?
היישום משתמש במאיץ גרפי A10G דרך תשתית spaces, כך שהעיבוד עצמו מהיר יחסית. עם זאת, אם השרת עמוס במשתמשים אחרים ייתכן שתמתינו בתור קצר.
אפשר להריץ את זה באופן מקומי על המחשב?
כן, הקוד מבוסס על ספריית clip_interrogator הפתוחה ומשתמש ב־PyTorch סטנדרטי. תצטרכו מחשב עם מאיץ גרפי מתאים כדי להריץ את זה בעצמכם בלי תלות בדפדפן.
האם התמונות שלי נשמרות?
הקוד משתמש ברכיב תמונה שממיר את הקובץ ישירות בזיכרון לצורך הניתוח, ללא מנגנון שמירה ייעודי לקבצים. למרות זאת, הקובץ כן נשלח לשרת המארח לצורך הריצה.
איך משתמשים
גוררים תמונה לתיבת הקלט, בוחרים מצב עבודה ומכוונים את הסליידר של הפרטים, ואז לוחצים על כפתור השליחה. התוצאה מופיעה בתיבת טקסט ייעודית.
הקוד משתמש בהקצאת חומרה של zero-a10g, מה שאומר שהעיבוד רץ על מאיץ גרפי ייעודי של אנבידיה. הביצועים בפועל תלויים בעומס על המשאבים המשותפים, אבל החומרה הזו חזקה מספיק בשביל לחסוך המתנה ארוכה מדי על כל תמונה.
הרישיון
היוצר לא הגדיר רישיון בקוד או בתיעוד. כשאין רישיון מפורש, אין אישור רשמי לשימוש מסחרי בקוד עצמו או בתוצרים שלו, ומומלץ לקחת בחשבון שכל תמונה שאתם מעלים עוברת דרך השרת שמארח את היישום.