Demo
רץ בדפדפןxdecoderafl-3.02022-12-21
הדגמה רחבה שמאפשרת לבחון משימות ראייה ממוחשבת מגוונות על תמונה אחת. מתאימה לחוקרים ומפתחים שרוצים לבדוק שילוב של סגמנטציה, תיוג ועריכה טקסטואלית.
- —הורדות בחודש
- 62לייקים
מה זה
אתם מעלים תמונה ובוחרים באחת מתשע משימות אפשריות, ביניהן חלוקה לסגמנטים לפי תיאור חופשי, יצירת כיתוב לתמונה ועריכה מונחית טקסט. בהתאם למשימה מקלידים הנחיות בשדות הטקסט של הממשק, ומקבלים תמונה מעובדת עם מסיכות זיהוי, כיתוב שנוצר או תמונה ערוכה.
מאחורי הממשק רצים מודלים של X-Decoder יחד עם מודלים נוספים כמו CLIP של OpenAI לעיבוד הטקסט, ומודלי Stable Diffusion לביצוע פעולות Inpainting ועריכה חזותית. הקוד נשען על קבצי משקולות ייעודיים לזיהוי ולכיתוב, ומציג שילוב עמוק בין פענוח שפה טבעית לניתוח פיקסלים ברמות שונות.
מתאים ל
- סגמנטציה פתוחה
זיהוי וחלוקה של אזורים בתמונה לפי שמות עצם חופשיים שמקלידים בטקסט.
- עריכת תמונה לפי מלל
סימון אזור מבוקש ושינוי שלו באמצעות מודל דיפוזיה והנחיה מילולית.
- כיתוב אוטומטי לאזורים
יצירת תיאור מילולי ממוקד לחלקים ספציפיים שנבחרו בתוך התמונה.
איפה זה נופל
הבעיה המרכזית היא שההדגמה מדווחת על שגיאת ריצה ולא עובדת כרגע באתר. בנוסף, עריכת תמונות מורכבת תלויה במודלי דיפוזיה כבדים, שעל חומרת T4 עלולים לרוץ לאט מאוד או להיכשל אם הקלט חורג מההגדרות המדויקות.
שאלות
נפוצות
האם השימוש בהדגמה כרוך בתשלום?
ההדגמה פתוחה בדפדפן ללא תשלום וללא צורך בהזנת כרטיס אשראי. כל מה שנדרש הוא גישה לרשת, אם כי כרגע היא מושבתת עקב שגיאה טכנית.
האם אפשר להריץ את הקוד באופן עצמאי?
כן, הקוד מבוסס על מאגר פתוח בגיטהאב ומשתמש בספריות מוכרות כמו PyTorch ו־Gradio. אפשר להוריד את המשקולות ולהריץ את השרת על מחשב מקומי עם כרטיס מסך תואם.
מדוע מופיעה שגיאה כשמנסים להשתמש בה?
המערכת מדווחת על מצב של שגיאת ריצה בעליית השרת. זה קורה בדרך כלל בגלל בעיות תאימות של ספריות פייתון, קבצי משקולות חסרים או חריגה מזיכרון ה־GPU של החומרה המוקצית.
מה קורה לתמונות שמעלים לממשק?
התמונות נשלחות לשרת המארח של ההדגמה לצורך עיבוד המודל והצגת הפלט. מאחר ומדובר בסביבת בדיקה ציבורית, לא מומלץ להעלות קבצים פרטיים או רגישים.
איך משתמשים
טוענים תמונה, בוחרים משימה מכפתורי הרדיו ומזינים את הטקסט הנדרש. ההדגמה מוגדרת על חומרת T4-medium, אבל כרגע היא במצב שגיאת ריצה ולכן אי אפשר להפעיל אותה ישירות בדפדפן בלי תיקון. כשהיא פועלת, יש דוגמאות מוכנות שנשמרו מראש במטמון ומאפשרות לראות פלטים בלי להמתין לעיבוד מלא.
הרישיון
הקוד מופץ תחת רישיון AFL-3.0. הרישיון מעניק חופש לשימוש, שינוי והפצה של הקוד, אך לגבי תמונות שמועלות או נוצרות מומלץ לבדוק את תנאי המודלים הנוספים של Stable Diffusion ו־CLIP המשולבים בו.