GPT
A

apes

רץ בדפדפן

ykilcherרישיון לא דווח2022-04-01

  • gradio

הכלי מציג ממשק גרפי לייצור תמונות קופים ולמניפולציה שלהן באמצעות היטל טקסטואלי. הוא מתאים למי שרוצה להתנסות בהכוונת מודל StyleGAN בעזרת CLIP ישירות מהדפדפן.

  • הורדות בחודש
  • 87לייקים

מה זה

הבסיס כאן הוא מימוש PyTorch של StyleGAN2-ADA מבית Nvidia, שעליו הוסיף המפתח ממשק Gradio והיטל באמצעות CLIP. במקום להריץ סקריפטים מסובכים בשורת הפקודה, מזינים הנחיות דרך הממשק כדי לנווט במרחב הלטנטי של המודל וליצור וריאציות של קופים.

הקוד המקורי מתמחה באימון וייצור רשתות אדברסריות על כמויות מידע קטנות, וכאן הוא רותם את הראייה הממוחשבת של CLIP כדי לתרגם תיאורים לפלט ויזואלי. התוצאה המתקבלת היא תמונת קוף שנוצרה לפי וקטור ההיטל המבוקש.

מתאים ל

  • יצירת תמונות קופים

    מייצרים פלט חזותי של דמויות קופים שנוצרו מאפס דרך מודל ה־GAN.

  • ניווט לטנטי עם טקסט

    מכוונים את מאפייני התמונה לכיוון מסוים בעזרת היטל מבוסס CLIP.

  • בדיקת ממשק Gradio למודל

    בוחנים איך נראית עטיפת ווב פשוטה מעל קוד מחקר מורכב של PyTorch.

איפה זה נופל

המעבד החלש של ההדגמה לא משקף את הביצועים המהירים שהקוד המקורי של Nvidia מסוגל לספק על כרטיסי מסך תעשייתיים. תהליך ההיטל עם CLIP דורש כוח עיבוד כבד, ועל חומרת מעבד בסיסית הוא עלול להימשך דקות ארוכות או לקרוס עקב חוסר זיכרון. בנוסף, הכלי מאומן על קופים בלבד, ולא יכול לייצר סגנונות או אובייקטים מחוץ למאגר הזה.

שאלות
נפוצות

האם השימוש בדפדפן עולה כסף?

לא, הגישה לדף ההדגמה פתוחה לחלוטין וללא עלות. אין צורך להזין אמצעי תשלום.

למה לוקח ליישום זמן להתחיל לעבוד?

האפליקציה נמצאת במצב שינה כברירת מחדל, ודורשת התנעה של הסביבה. מעבר לכך, היא רצה על חומרת מעבד בסיסית, מה שמאט את פעולת המודל.

האם אפשר להריץ את זה על המחשב הפרטי?

כן, הקוד מבוסס על StyleGAN2-ADA של Nvidia שזמין להרצה מקומית. עם זאת, תיעוד המפתח ממליץ על לינוקס וכרטיס מסך של 12 גיגה זיכרון לפחות כדי לקבל ביצועים סבירים.

מה קורה לקבצים שמזינים בממשק?

המידע נשלח אל שרת ההדגמה לצורך חישוב ההיטל הלטנטי בלבד. מאחר שהרישיון והתנאים לא פורטו, מומלץ לא להעלות תמונות פרטיות.

איך משתמשים

טוענים את הדף בדפדפן, בוחרים את הפרמטרים בממשק Gradio ולוחצים על כפתור ההרצה כדי להתחיל בתהליך. אין צורך בהתחברות או בהגדרת חשבון.

המערכת נמצאת במצב שינה, כך שהפתיחה הראשונית דורשת המתנה של כמה דקות עד שהשרת יתעורר. בנוסף, השרת מוקצה על חומרת מעבד בסיסית בלבד, מה שהופך את פעולת ה־CLIP והחישוב ב־StyleGAN לאיטית משמעותית בהשוואה לכרטיס מסך ייעודי.

הרישיון

הרישיון לא דווח בעמוד הפרויקט. הקוד המקורי של Nvidia דורש פנייה ישירה בנושאי מסחור, ולכן ללא רישיון מוגדר, לא כדאי להשתמש בתוצרים למטרות מסחריות.

הרישיון המלא ב־Hugging Face ↗