Chain-of-Zoom
רץ בדפדפןalexnasaרישיון לא דווח2025-05-31
הכלי מיועד למי שרוצה לבצע הגדלה קיצונית של אזור מסוים בתמונה. הוא מתמקד בזום חוזר על נקודה נבחרת במקום להגדיל את התמונה כולה בבת אחת.
- —הורדות בחודש
- 321לייקים
מה זה
אתם מעלים תמונה, מסמנים נקודה ספציפית בעזרת לחיצה על התצוגה המקדימה או הזזת סליידרים של קואורדינטות, ובוחרים יחס הגדלה כמו 4x. הממשק מחזיר גלריית תמונות שמציגה את שלבי ההגדלה של אותו אזור ממוקד. יש בממשק גם ארבע דוגמאות מובנות של תמונות מקומיות מוכנות מראש עם יחס הגדלה של 4x במרכז התמונה.
מאחורי הקלעים הקוד משלב כמה מודלים יחד. הוא טוען מודל ראייה שפתי בשם Qwen2.5-VL-3B-Instruct, לצד מודל היצירה Stable Diffusion 3 Medium Diffusers, ומשתמש גם במודלים ממשפחת BERT. הטכניקה מבוססת על תהליך רגרסיבי שבונה פרטים חדשים בהדרגה בכל שלב הגדלה.
מתאים ל
- הגדלת מקטע ספציפי בתמונה
בחירת נקודה מדויקת על גבי התמונה וביצוע זום עמוק על פרט קטן באמצעות כמה שלבי הגדלה.
- בדיקת יכולות הגדלה בינה מלאכותית
בחינה של האופן שבו מודל דיפוזיה ומודל ראייה משלימים פרטים חסרים בהגדלה קיצונית.
- התנסות בדוגמאות מוכנות
הרצה מהירה של ארבע הדוגמאות השמורות במערכת כדי לראות את התוצאות ביחס של 4x ללא צורך בהעלאת קובץ.
איפה זה נופל
הבעיה המרכזית כרגע היא שהעמוד מושהה ולא פעיל. מעבר לזה, הכלי לא מיועד לשחזור תמונה שלמה אלא מתמקד רק באזור קטן שסביב הנקודה שנבחרה. אי אפשר להסתמך עליו ככלי מדויק לפענוח פרטים מטושטשים במציאות, כי השילוב עם מודל דיפוזיה מייצר פרטים חדשים שלא בהכרח היו קיימים במקור.
שאלות
נפוצות
האם השימוש בעמוד עולה כסף?
לא, הדף פתוח לגישה חופשית ולא כולל מנגנון תשלום. עם זאת, נכון לעכשיו הוא במצב מושהה ולכן לא ניתן להריץ אותו בפועל.
כמה זמן לוקח לתמונה להתקבל?
האפליקציה רשומה תחת מעבד בסיסי, אבל מריצה שרשרת מודלים כבדים הכוללת את Stable Diffusion 3 ו־Qwen2.5-VL. על מעבד רגיל תהליך כזה ייקח דקות ארוכות עד קריסה, ורק הרצה על מעבד גרפי תאפשר קבלת תוצאה במהירות סבירה.
האם אפשר להריץ את הכלי במחשב שלי?
הקוד מבוסס על סקריפט פייתון וספריות Gradio ו־Diffusers, כך שניתן טכנית להוריד ולהריץ אותו מקומית. לשם כך תצטרכו חומרה חזקה עם כרטיס מסך שיכול להחזיק את המודלים שמוגדרים בקוד.
איך משתמשים
לוחצים על התמונה כדי לקבוע את מרכז הזום, או משנים ידנית את סליידרי המיקום, ואז לוחצים על כפתור ההרצה. כרגע האפליקציה נמצאת במצב מושהה והחומרה שמוגדרת לה היא מעבד בסיסי, כך שאי אפשר להריץ אותה ישירות בדפדפן בלי שהיוצר יפעיל אותה מחדש על חומרה מתאימה, שכן מודלים בגודל כזה דורשים מעבד גרפי כדי לפעול בזמן סביר.
הרישיון
הרישיון של הפרויקט לא דווח. המשמעות היא שאין הרשאה ברורה לגבי שימוש מסחרי בקוד או שמירה על זכויות היוצרים של התמונות שאתם מעלים ומקבלים.