חדש תמונה, וידאו, קריינות ותמלול בקריאה אחת, בלי להריץ מודל. מנסים בלי שרת

GPT
P

PaintTransformer

רץ בדפדפן

akhaliqרישיון לא דווח2022-03-02

  • gradio

מעלים תמונה רגילה ומקבלים ציור שנבנה במשיכות מכחול ממוחשבות, כולל אנימציה של תהליך הציור. מתאים למי שרוצה לראות הדגמה מהירה של ציור מבוסס רשתות עצביות בלי להתקין סביבת פיתוח.

  • —הורדות בחודש
  • 53לייקים

מה זה

הקלט פשוט לחלוטין. אתם מעלים קובץ תמונה בודד, או בוחרים מתוך דוגמאות מובנות בממשק. בתמורה, הממשק מחזיר שני פלטים: קובץ GIF שמציג שלב אחרי שלב איך משיכות המכחול נערמות על הבד, ותמונת סטילס סופית בפורמט רגיל.

מאחורי הקלעים רץ המודל Paint Transformer, שמבוסס על PyTorch וטכניקות של חיזוי משיכות מכחול ברשת הזנה קדמית. במקום סתם להלביש פילטר צבעוני, הקוד מחשב מיקומים, זוויות וצורות של משיכות צבע כדי לשחזר את התמונה המקורית שכבה אחר שכבה, תוך שימוש במודולים ייעודיים של מורפולוגיה וטרנספורמציות גיאומטריות.

מתאים ל

  • המחשת תהליך ציור ממוחשב

    יצירת קובץ אנימציה שמראה איך אלגוריתם בונה תמונה מתוך משיכות בודדות.

  • המרת תמונה לציור שמן

    קבלת תמונת סטילס מעובדת בסגנון ציור לשימוש פרטי או לבדיקת מראה.

  • בדיקת ארכיטקטורת המודל

    בחינת יכולות השחזור של רשת ההזנה הקדמית על תמונות שונות.

איפה זה נופל

הבעיה המיידית היא שהחלל תקוע במצב שגיאה ולא מגיב. מעבר לזה, חומרת מעבד בסיסית חלשה מאוד לחישובי ראייה ממוחשבת מורכבים כאלה, מה שהיה גורם להמתנה ארוכה גם אם הקוד היה רץ. ההדגמה גם לא כוללת הגדרות שליטה על כמות המשיכות או סגנון הציור, אלא רק עיבוד אוטומטי קבוע.

שאלות
נפוצות

האם השימוש בהדגמה כרוך בתשלום?

הגישה לעמוד פתוחה לגמרי דרך הדפדפן ואין דרישה למנוי או תשלום. עם זאת, נכון לעכשיו המרחב נמצא בשגיאת זמן ריצה ולא מעבד בקשות. אם היוצר יתקן את הבעיה, הגישה הבסיסית אמורה להישאר חופשית.

כמה זמן לוקח לתמונה להתעבד?

החומרה שהוגדרה להדגמה היא מעבד רגיל בלבד ללא האצת כרטיס גרפי. חישוב של משיכות מכחול מרובות על מעבד כזה יכול להימשך דקות ארוכות לכל תמונה. בנוסף, הממשק כולל מנגנון תור שעלול לעכב את התוצאה אם יש משתמשים נוספים.

האם אפשר להריץ את הקוד באופן עצמאי?

כן, הקבצים וקוד המקור זמינים במלואם בעמוד הפרויקט. מי שמחזיק בסביבת פייתון עם PyTorch וכרטיס מסך מתאים יכול להוריד את הקבצים ולהריץ אותם מקומית. זו כרגע הדרך היחידה להשתמש בכלי, בגלל התקלה בשרת ההדגמה.

מה קורה עם התמונות שמעלים?

הקוד שומר את הקבצים שמועלים על השרת המארח של המרחב ומייצר מהם את הפלטים. היות שלא צוינו תנאי שימוש או מדיניות פרטיות מסודרת, לא מומלץ להעלות לשם תמונות פרטיות או רגישות. עדיף להסתמך רק על תמונות פומביות לבדיקה.

איך משתמשים

לוחצים על אזור ההעלאה, בוחרים תמונה מהמחשב או מקליקים על אחת הדוגמאות, ושולחים לעיבוד. ההדגמה מוגדרת עם תור פעיל, אבל מוגדרת לרוץ על מעבד בסיסי בלבד. בפועל, כרגע המצב הרשום שלה הוא שגיאת זמן ריצה, כך שהיא לא תעבוד בדפדפן בלי תיקון קוד של היוצר או שכפול שלו.

הרישיון

הרישיון של המרחב לא דווח כלל. המשמעות היא שאין הרשאה ברורה לשימוש מסחרי בקוד, בתוצרים או במודל, ולא ידוע באילו תנאים נשמרות התמונות שמועלות.

הרישיון המלא ב־Hugging Face ↗