sigclip_vision_384
קוד פתוחComfy-Orgapache-2.02024-11-21
מדובר במקודד תמונה שנארז במיוחד לעבודה חלקה בתוך ComfyUI. מורידים אותו כשרוצים להפעיל מודלים כמו Flux Redux בלי להסתבך עם המרות ידניות.
- 817 MBמשקל הקבצים
- 54,310הורדות בחודש
- 151לייקים
מה זה
הקובץ הזה הוא אריזה מחדש של siglip-so400m-patch14-384 של גוגל, מותאם ישירות לספריית clip vision בתוך ComfyUI. במקום לקחת את המשקלים הגולמיים ולחבר אותם ידנית, Comfy-Org הכינו גרסה מוכנה להרצה שמתחברת ישירות לצנרות עבודה קיימות, כמו הדוגמה של Flux Redux.
הוא לוקח תמונות ברזולוציה של 384 על 384 ומפיק מהן ייצוג וקטורי שהמודל היוצר מבין. אין כאן יצירת תמונה עצמאית אלא עיבוד קלט חזותי עבור מודלים אחרים, כך שאם אתם בונים פלואו מבוסס תמונה לתמונה או הנחיה חזותית, הוא יושב בדיוק בנקודה הזו.
מתאים ל
- עבודה עם Flux Redux
משמש כמקודד התמונה בדוגמת הפלואו הרשמית של Flux Redux בתוך ממשק ComfyUI.
- קידוד תמונות רפרנס
ממיר תמונות קלט לווקטורים עבור מודלי דיפוזיה שדורשים הכוונה ויזואלית ולא רק טקסטואלית.
- התקנה מקומית קלה
מתאים למי שרוצה קובץ safetensors מוכן מראש שלא דורש הגדרות ארכיטקטורה מיוחדות.
איפה זה נופל
זה לא מודל שלם שמייצר תמונות או מבין פקודות טקסט לבד. הקלט שלו מוגבל לרזולוציה המקורית של 384 פיקסלים, כך שתמונות עם פרטים עדינים במיוחד יעברו כיווץ ויאבדו מידע לפני שהם מגיעים למודל היצירה. מעבר לזה, הכרטיס לא מציג שום נתוני מדידה, ציוני דיוק או השוואות ביצועים מול מקודדים אחרים, אלא רק מפנה לריפו המקורי של גוגל ולדוגמת שימוש.
שאלות
נפוצות
האם המודל הזה יכול לייצר תמונות מטקסט?
לא, הוא משמש רק כמקודד ראייה שלוקח תמונה וממיר אותה למידע מספרי. כדי לייצר תמונה צריך לחבר אותו למודל דיפוזיה מתאים כמו פלאקס בתוך צנרת העבודה.
איפה שמים את הקבצים אחרי ההורדה?
מעבירים את הקובץ ישירות לתיקיית models/clip_vision בתוך התיקייה הראשית של ComfyUI. המערכת תזהה אותו אוטומטית בצמתים שמבקשים clip vision.
איך מריצים
ההתקנה מסתכמת בהורדת הקובץ ושמירה שלו תחת תיקיית models/clip_vision בתוך ההתקנה של ComfyUI. כל החבילה שוקלת 817 מגהבייט על פני שלושה קבצים, כך שאין צורך בחומרת שרתים כבדה כדי להחזיק אותו בזיכרון לצד שאר הרכיבים.
אם אתם כבר מריצים את פלאקס מקומית, המשקל של המקודד הזה זניח עבור כרטיס המסך שלכם. שירות ענן או קריאת API נחוצים רק אם כרטיס המסך שלכם לא מחזיק את מודל היצירה הראשי עצמו, ולא בגלל המקודד הזה.
pip install -U huggingface_hub hf download Comfy-Org/sigclip_vision_384
הקבצים
3 קבצים במאגר, 817 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הרישיון הוא Apache 2.0, מה שמאפשר שימוש מסחרי, שינוי והפצה חופשית בקוד פתוח או סגור. התנאי העיקרי הוא שמירה על הודעת זכויות היוצרים והרישיון המקורי בקבצים שתפיצו. אפשר לשלב אותו במוצרים מסחריים בלי לחשוף את הקוד שלכם.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים