GPT
הוספת כלי
I

InstantID

קוד פתוח

InstantXapache-2.02024-01-19

  • diffusers
  • safetensors
  • text-to-image
  • en

הכלי מייצר תמונות חדשות ששומרות על תווי הפנים של אדם מתמונה בודדת. בלי אימון מחדש ובלי לחכות שעות ללמידה על סט נתונים.

  • 3.9 GBמשקל הקבצים
  • 57,931הורדות בחודש
  • 876לייקים

מה זה

במקום לאמן מודל שלם או LoRA על עשרות תמונות של מישהו כדי לקבל דמות עקבית, אתם נותנים פה תמונת פנים אחת ומקבלים תוצאה מיד. זה עובד בעזרת שילוב של מודל פנים ייעודי, מתאמים כמו IP-Adapter ומבנה ControlNet שיושב על בסיס של מודל יצירת תמונות קיים מספרית diffusers.

הגישה הזו חוסכת את כל תהליך ה־tuning היקר והאיטי. הוא לא ממציא מחדש את יצירת התמונה אלא מכריח את המודל הבסיסי לשמור על המבנה של הפנים תוך כדי שהוא משנה את הסגנון, התאורה או הסביבה לפי טקסט שאתם מגדירים.

מתאים ל

  • יצירת אווטארים מתמונה

    מייצר וריאציות של אותו אדם בסגנונות שונים ישירות מתמונת פנים אחת וללא אימון מקדים.

  • החלפת סגנונות לדמויות

    מאפשר לשנות רקע, לבוש ותאורה סביב תווי פנים קיימים בעזרת הנחיות טקסט פשוטות.

  • פייפליין מהיר לפנים

    מתאים לשרתים שצריכים לספק תוצאה מיידית למשתמש קצה בלי להריץ תהליך fine-tuning יקר.

איפה זה נופל

האיזון פה שברירי. הכותבים עצמם מציינים שאם מגבירים יותר מדי את הדמיון לפנים, רוויית הצבעים בתמונה קופצת ומאבדים את השליטה בהנחיות הטקסט. בנוסף, רמת הריאליזם מוגבלת מאוד על ידי מודל הבסיס שבחרתם, וההסתמכות על תמונה בודדת ועל מקודד חיצוני מובילה לפעמים לפנים שנראות מודבקות או מאולצות.

שאלות
נפוצות

האם אפשר להריץ אותו ישירות אחרי שמורידים את המאגר?

לא. המאגר מכיל רק את המתאמים וה־ControlNet. חובה להוריד בנפרד את מקודד הפנים antelopev2 מקישור חיצוני ולהגדיר מודל בסיס מתאים כדי שהכל יעבוד.

למה הפנים דומות אבל שאר התמונה לא נראית טוב?

הכוח של מתאמי הפנים משפיע ישירות על התוצאה הסופית. אם המשקל שלהם גבוה מדי, הצבעים נשרפים והמודל מתעלם ממה שכתבתם בהנחיית הטקסט, ולכן צריך לכוונן את העוצמות ידנית.

איך מריצים

הקבצים שוקלים כמעט 4 גיגה-בייט, אבל הם לא עובדים לבד. מעבר למשקלים של הפרויקט עצמו שמורידים דרך Hugging Face, צריך להוריד ידנית מודל קידוד פנים חיצוני בשם antelopev2 כדי שהתהליך יזהה ויחלץ את הפנים.

בפועל תצטרכו כרטיס מסך מודרני עם כמות זיכרון יפה כדי להחזיק במקביל את מודל הבסיס, ה־ControlNet והמתאמים. זה לא קובץ בודד שמריצים ברגע, אלא פייפליין מורכב של diffusers שמחייב חיבור ידני של כמה רכיבים שונים בקוד.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("InstantX/InstantID")
img = pipe("a photo").images[0]

הקבצים

8 קבצים במאגר, 3.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

רישיון apache-2.0 מתיר שימוש חופשי לחלוטין, כולל שימוש מסחרי, שינוי הקוד והפצה של המודל בתוך מוצרים. התנאי המרכזי הוא שמירה על זכויות היוצרים וצירוף עותק הרישיון המקורי. יש לזכור שמודל קידוד הפנים החיצוני antelopev2 מגיע ממקור נפרד ועשוי לדרוש תנאי שימוש משלו.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗