AuraFlow

מה זה

מדובר במודל מבוסס flow הגדול ביותר ששוחרר בקוד פתוח מלא, עם כמעט שבעה מיליארד פרמטרים. המטרה שלו ברורה, לייצר תמונות באיכות גבוהה ישירות מתיאור טקסטואלי, תוך הקפדה על היצמדות מדויקת להוראות שלכם.

לפי המפתחים שלו, הוא השיג תוצאות מובילות במבחן GenEval. בפועל זה אומר שהוא מבין טוב יותר מרוב המתחרים הפתוחים יחסים מורכבים בתוך הפרומפט, כמו מיקומים של אובייקטים, צבעים ספציפיים וספירה של פריטים, תחום שבו מודלים ישנים יותר נוטים לפספס באופן קבוע.

הוא מביא גישה שונה ממודלי הדיפוזיה הרגילים ששלטו בשוק, ומציע בסיס חזק מאוד למי שמחפש שליטה מלאה במשקולות בלי להיות תלוי בשירותים סגורים.

מתאים ל

• מחקר ובדיקות ארכיטקטורה

  מתאים למי שרוצה לחקור מודלי flow גדולים בקוד פתוח מלא ולשנות את המשקולות באופן ישיר.

• יצירת תמונות מורכבות

  טוב לפרומפטים ארוכים שדורשים הבנה מדויקת של יחסים בין אובייקטים לפי מבחני GenEval.

• אימון והתאמה אישית

  משמש בסיס מעולה לפיין טיונינג ייעודי בזכות רישיון אפאצ'י שמאפשר שימוש מסחרי חופשי.

איפה זה נופל

היוצרים מגדירים את הגרסה הזו במפורש כבטא ראשונית. זה אומר שאתם עלולים להיתקל בארטיפקטים מוזרים, חוסר יציבות בסגנונות מסוימים וזמני ריצה ארוכים יחסית של חמישים צעדים לתמונה. אם אתם בונים מוצר שצריך תגובה מהירה ברמת הלקוח, המודל הזה עדיין לא שם בלי אופטימיזציות כבדות מראש.

אותה משפחה

AuraFlow יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

כדי לעבוד איתו צריך להוריד יותר משישים גיגה בייט של קבצים דרך diffusers וספריות תומכות כמו transformers ו־accelerate. הרצה מקומית ב־float16 דורשת כרטיס מסך חזק מאוד עם שפע של זיכרון וידאו ייעודי, בטח אם אתם מתכננים לייצר תמונות ברזולוציה של 1024 על 1024 עם חמישים צעדים.

אם אין לכם חומרת שרתים מתאימה עם עשרות גיגות של VRAM פנוי, פשוט לא תצליחו לטעון אותו לזיכרון. במקרים כאלה עדיף לגשת אליו דרך שירות ענן או להמתין לכיווצים ולגרסאות קוונטיזציה קהילתיות שיאפשרו להריץ אותו על חומרה ביתית סבירה.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("fal/AuraFlow")
img = pipe("a photo").images[0]

הקבצים

26 קבצים במאגר, 61.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• aura_flow_0.1.safetensors16.4 GB
• transformer/diffusion_pytorch_model-00001-of-00003.safetensors10.0 GB
• transformer/diffusion_pytorch_model-00001-of-00002.fp16.safetensors9.9 GB
• transformer/diffusion_pytorch_model-00002-of-00003.safetensors9.9 GB
• transformer/diffusion_pytorch_model-00003-of-00003.safetensors7.5 GB
• text_encoder/model.safetensors4.9 GB
• transformer/diffusion_pytorch_model-00002-of-00002.fp16.safetensors3.8 GB
• text_encoder/model.fp16.safetensors3.0 GB
• vae/diffusion_pytorch_model.safetensors334.6 MB
• vae/diffusion_pytorch_model.fp16.safetensors167.3 MB
• tokenizer/tokenizer.json1.9 MB
• tokenizer/tokenizer.model499.7 KB
• transformer/diffusion_pytorch_model.safetensors.fp16.index.json37.7 KB
• transformer/diffusion_pytorch_model.safetensors.index.json36.0 KB
• tokenizer/tokenizer_config.json21.0 KB
• LICENSE11.4 KB
• comfy_workflow.json6.8 KB
• tokenizer/special_tokens_map.json2.7 KB
• tokenizer/added_tokens.json2.6 KB
• README.md1.9 KB
• .gitattributes1.6 KB
• text_encoder/config.json949 B
• vae/config.json859 B
• transformer/config.json511 B
• model_index.json453 B
• scheduler/scheduler_config.json142 B

הרישיון

הרישיון הוא Apache 2.0 מלא. אתם יכולים להשתמש בו חופשי, לשנות אותו, לשלב אותו במוצרים מסחריים ולהפיץ אותו בלי לשלם תמלוגים, כל עוד אתם שומרים על הודעת הרישיון המקורית ומציינים את היוצרים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗