InfiniteYou

מה זה

בייטדאנס פיתחו רכיב בשם InfuseNet שמתלבש על מודלי DiT, בעיקר על FLUX.1-dev, ומזריק מאפייני זהות דרך חיבורי שאריות. המטרה כאן היא לפתור את הבעיה המוכרת של מודלים קודמים כמו PuLID או IP-Adapter, שבהם התוצאה נראית כמו גזירה והדבקה של הפנים, או שהתמונה מתעלמת מההנחיות בטקסט ומייצרת פגמים כמו ידיים מעוותות.

הפיתוח כולל אימון בכמה שלבים עם נתונים סינתטיים של אותה דמות בפוזיציות שונות. המבנה מודולרי, כך שאפשר להחליף את מודל הבסיס בגרסאות מהירות יותר כמו FLUX.1-schnell, לשלב ControlNet לשליטה בפוזה, או להוסיף סגנונות בעזרת LoRA.

מתאים ל

• שילוב דמות בתוך סצנות

  יצירת תמונות חדשות של אדם על בסיס תיאור טקסטואלי תוך שמירה על תווי הפנים שלו.

• עבודה בתהליכי ComfyUI

  הטמעת שמירת פנים בצנרת יצירה קיימת בעזרת הצומת הרשמי שהמפתחים פרסמו.

• מחקר גנרטיבי על DiT

  בדיקת שיטות הזרקת זהות ואימון דו שלבי על גבי מודלי דיפוזיה מבוססי טרנספורמר.

איפה זה נופל

המודל עדיין מתבלבל במגדר של הדמות שנוצרת, והיוצרים מציינים במפורש שצריך לפעמים להוסיף מילים כמו a man או a woman לפרומפט כדי לתקן את זה. בנוסף, כדי לקבל תוצאה מדויקת צריך לשחק ידנית עם פרמטרים בקוד כמו infusenet_conditioning_scale ו־infusenet_guidance_start, בעיקר כשמשתמשים בגרסת הדמיון הגבוה. תמיכה בשפה העברית בפרומפטים אינה חלק מהפרויקט, והוא פועל באנגלית בלבד.

איך מריצים

המשקל הכולל של הקבצים מגיע ל־40.2 גיגה בייט, וזה עוד לפני שמביאים בחשבון את משקלו של מודל הבסיס FLUX.1-dev ואת כלי חילוץ הפנים של InsightFace. להרצה מקומית תצטרכו כרטיס מסך חזק מאוד עם נפח זיכרון וידאו גדול, בייחוד אם מריצים דרך ComfyUI או בסקריפט ההסקה הרשמי.

יש שתי גרסאות זמינות להורדה. הגרסה המומלצת כברירת מחדל היא aes_stage2, שעברה כוונון עדין ומפיקה תמונות אסתטיות יותר עם היצמדות טובה לטקסט. הגרסה השנייה, sim_stage1, מוותרת על חלק מהאסתטיקה לטובת דמיון מקסימלי לתווי הפנים המקוריים.

pip install -U huggingface_hub
hf download ByteDance/InfiniteYou

הקבצים

28 קבצים במאגר, 40.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• infu_flux_v1.0/aes_stage2/InfuseNetModel/diffusion_pytorch_model-00001-of-00002.safetensors9.8 GB
• infu_flux_v1.0/sim_stage1/InfuseNetModel/diffusion_pytorch_model-00001-of-00002.safetensors9.8 GB
• infu_flux_v1.0/aes_stage2/infusenet_aes_bf16.safetensors5.9 GB
• infu_flux_v1.0/sim_stage1/infusenet_sim_bf16.safetensors5.9 GB
• infu_flux_v1.0/aes_stage2/infusenet_aes_fp8e4m3fn.safetensors3.0 GB
• infu_flux_v1.0/sim_stage1/infusenet_sim_fp8e4m3fn.safetensors3.0 GB
• infu_flux_v1.0/aes_stage2/InfuseNetModel/diffusion_pytorch_model-00002-of-00002.safetensors2.0 GB
• infu_flux_v1.0/sim_stage1/InfuseNetModel/diffusion_pytorch_model-00002-of-00002.safetensors2.0 GB
• supports/optional_loras/flux_anti_blur_lora.safetensors687.5 MB
• infu_flux_v1.0/aes_stage2/image_proj_model.bin338.4 MB
• infu_flux_v1.0/sim_stage1/image_proj_model.bin338.4 MB
• supports/insightface/models/antelopev2/glintr100.onnx260.7 MB
• supports/insightface/models/antelopev2/1k3d68.onnx143.6 MB
• supports/optional_loras/flux_realism_lora.safetensors22.4 MB
• supports/insightface/models/antelopev2/scrfd_10g_bnkps.onnx16.9 MB
• supports/insightface/models/antelopev2/2d106det.onnx5.0 MB
• supports/insightface/models/antelopev2/genderage.onnx1.3 MB
• assets/comparative_results.jpg1.1 MB
• assets/plug_and_play.jpg832.3 KB
• assets/teaser.jpg606.5 KB
• infu_flux_v1.0/aes_stage2/InfuseNetModel/diffusion_pytorch_model.safetensors.index.json32.4 KB
• infu_flux_v1.0/sim_stage1/InfuseNetModel/diffusion_pytorch_model.safetensors.index.json32.4 KB
• LICENSE15.2 KB
• README.md9.1 KB
• .gitattributes1.7 KB
• infu_flux_v1.0/aes_stage2/InfuseNetModel/config.json455 B
• infu_flux_v1.0/sim_stage1/InfuseNetModel/config.json455 B
• config.json68 B

הרישיון

הרישיון הוא CC-BY-NC 4.0, מה שאומר שהשימוש מוגבל למחקר בלבד ואסור לחלוטין לכל מטרה מסחרית. מעבר לכך, התלות במודלים חיצוניים כמו FLUX.1-dev וספריות של InsightFace מחייבת לעמוד גם בתנאי הרישוי הנפרדים שלהם, שכוללים מגבלות מסחריות משל עצמם.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא בעמוד המודל ↗