Step1X-Edit

קוד פתוח

stepfun-aiapache-2.02025-04-23

transformers
multimodal
image-to-image
en
endpoints_compatible

מודל עריכת תמונות שמבין הנחיות טקסט ומבצע שינויים ממוקדים. הוא משלב מודל שפה ויזואלי עם רשת דיפוזיה כדי לפרש בקשות מורכבות של משתמשים.

48.9 GBמשקל הקבצים
223הורדות בחודש
336לייקים

מה זה

מדובר במודל image to image שנועד לעריכת תמונות על בסיס טקסט. הארכיטקטורה שלו מחברת שני חלקים מרכזיים, מודל שפה רב מודלי שמנתח את התמונה ואת הוראות העריכה, ורשת מבוססת DiT שמייצרת את התמונה הסופית בפועל על בסיס טוקנים מיוחדים. הרעיון כאן הוא לנצל הבנה עמוקה של שפה כדי לתפוס מה בדיוק המשתמש רוצה לשנות, בלי להרוס חלקים אחרים בפריים.

היוצרים שחררו לצד המשקלים מבחן ביצועים ייעודי בשם GEdit Bench, שמבוסס לדבריהם על תרחישי עריכה אמיתיים של משתמשים ולא על מבחנים סינתטיים. תוצאות המדידה הגרפיות מציגות אותו מול מודלים אחרים בתחום העריכה, אך המספרים הספציפיים עצמם לא מפורטים בטקסט אלא בדוח הטכני. המשמעות היא שהם כיוונו מראש לתרחישים יומיומיים שבהם אנשים מבקשים להחליף אובייקט, לשנות רקע או להתאים סגנון, ולא רק למבחני מעבדה תיאורטיים.

מתאים ל

עריכת תמונות לפי טקסט
החלפת אלמנטים או רקעים בתמונות באמצעות פקודות טקסט באנגלית, בזכות שילוב רשת הדיפוזיה.
עיבוד תמונות אוטומטי
הרצת שינויי תמונה מורכבים במערכות פנימיות על גבי חומרת שרתים חזקה ברישיון פתוח.
בדיקות איכות עריכה
בחינת יכולות עריכה מול בנצ׳מרקים קיימים באמצעות מערך הנתונים והקוד הייעודי.

איפה זה נופל

הכרטיס מדווח על תמיכה באנגלית בלבד, כך שהזנת פקודות בעברית עלולה להיכשל לחלוטין או לתת תוצאות מעוותות. בנוסף, מודלים שמשלבים MLLM ורשת דיפוזיה נוטים להיות אטיים משמעותית ממודלי תמונה רגילים, והכרטיס לא מפרט נתוני מהירות, זמני יצירה או דרישות זיכרון מינימליות. חובה לבדוק ידנית דיוק בפרטים קטנים וזמני תגובה לפני שחושבים לחבר אותו לקוד פעיל.

שאלות
נפוצות

האם אפשר להריץ אותו על כרטיס מסך ביתי?

לא. המודל שוקל 48.9 גיגה בייט ומחייב חומרת שרתים מקצועית עם זיכרון וידאו גבוה מאוד כדי להיטען ולעבוד.

האם המודל מבין הוראות בעברית?

הכרטיס מגדיר תמיכה באנגלית בלבד. סביר להניח שהוראות בעברית לא יעבדו כמצופה ויובילו לשגיאות בעיבוד.

איך מריצים

כדי להריץ אותו תצטרכו להוריד 48.9 גיגה בייט של משקלים שמחולקים ל־13 קבצים נפרדים, קוד ההרצה עצמו יושב בריפו גיטהאב ייעודי ומשתלב עם transformers. עם נפח כזה של קבצים אתם חייבים כרטיס מסך מקצועי עם כמות זיכרון נכבדת, לפחות 48 או 80 גיגה בייט VRAM, כדי להחזיק את שני החלקים של המודל בזיכרון בלי לקרוס.

כרגע אין גרסאות מכווצות או קטנות יותר בעמוד, אז אי אפשר להריץ אותו על חומרה ביתית רגילה. אם אין לכם שרת ייעודי בענן שרץ באופן קבוע ומצדיק את העלויות, עדיף להמתין לממשקי API חיצוניים אם וכאשר יהיו כאלה.

from transformers import pipeline

pipe = pipeline("image-to-image", model="stepfun-ai/Step1X-Edit")
print(pipe("שלום"))

הקבצים

13 קבצים במאגר, 48.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא apache 2.0. זה אומר שמותר להשתמש בו לצרכים מסחריים, לשנות את הקוד ולהפיץ אותו הלאה במוצר שלכם, כל עוד שומרים על הודעת זכויות היוצרים והרישיון המקורי.

שימוש מסחרי
שינוי הקוד
הפצה מחדש
שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗