GPT
הוספת כלי
S

SenseNova-U1-8B-MoT

קוד פתוח

sensenovaapache-2.02026-04-22

  • transformers
  • safetensors
  • neo_chat
  • feature-extraction
  • multimodal

מודל אחוד שמייצר תמונות, מבין אותן ומנתח טקסט ברשת אחת בלי מתאמים. הוא מתאים למי שרוצה להריץ מקומית יצירת אינפוגרפיקות וטקסט שמשולב בתוך תמונה.

  • 18Bפרמטרים
  • 32.8 GBמשקל הקבצים
  • 20,939הורדות בחודש
  • 291לייקים

מה זה

במקום לחבר מודל שפה למודל דיפוזיה דרך מתאמים, הרשת כאן בנויה בארכיטקטורת NEO-unify שמבטלת את מקודד התמונה ואת ה־VAE. השם אומר 8B, אבל בפועל מדובר בכ־17.5 מיליארד פרמטרים, כי יש כאן שמונה מיליארד להבנה ועוד שמונה מיליארד ליצירה. המשקל הכולל של הקבצים עומד על 32.8 ג'יגה בייט בפורמט bfloat16.

הוא מתמקד ביצירת תמונות שדורשות חשיבה מוקדמת, עריכת תמונות לפי פקודות טקסט, ובעיקר רינדור של טקסטים צפופים ומורכבים בתוך גרפיקה, כמו פוסטרים, מצגות ואינפוגרפיקות. המפתחים מציגים תוצאות במבחני BizGenEval ו־IGenBench שמראים מהירות יצירה גבוהה יחסית לצד שמירה על מבנה נתונים מסודר, אם כי המדדים האלה בודקים בעיקר אנגלית וסינית.

מתאים ל

  • יצירת אינפוגרפיקות ופוסטרים

    הרשת מסוגלת לרנדר טקסטים ארוכים ומורכבים ישירות בתוך פריסות ויזואליות באנגלית ובסינית.

  • עריכת תמונות לפי פקודה

    הבנת התמונה המובנית מאפשרת לשנות אזורים ספציפיים או סגנון אמנותי בלי להזדקק למודל נפרד.

  • המחשת ניסויים ומדע

    המודל מבצע שלב חשיבה טקסטואלי לפני היצירה כדי לוודא שהתוצאה הוויזואלית תואמת חוקים פיזיקליים.

איפה זה נופל

למרות שהארכיטקטורה אחודה, קוד האימון המלא עדיין לא פורסם ומסומן כפתוח ברשימת המשימות של הפרויקט. הפירוט הטכני ומבחני הביצועים נשענים כולם על אנגלית וסינית, ואין שום תיעוד או בדיקה לגבי יכולת רינדור טקסט בעברית בתוך התמונות, כך שסביר להניח שהיא תישבר. בנוסף, חלוקת הפרמטרים מבלבלת, זה לא מודל 8B רגיל שרץ בקלות על מחשב נייד חזק, אלא מערכת כבדה בהרבה שדורשת התעסקות בכיול ובמשקלים מכווצים כדי לעבוד על חומרה צנועה.

אותה משפחה

SenseNova-U1-8B-MoT יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

SenseNova-U1-8B-MoT-SFT196

שאלות
נפוצות

למה המודל נקרא 8B אם יש לו 17.5 מיליארד פרמטרים בפועל?

השם מתייחס לחלוקה הפנימית של הארכיטקטורה. יש בו כ־8 מיליארד פרמטרים שמיועדים להבנה ועוד כ־8 מיליארד פרמטרים שמיועדים ליצירה, ולכן המשקל הכולל בפועל כפול.

האם אפשר להריץ אותו על כרטיס מסך ביתי בודד?

את הגרסה המקורית אי אפשר להריץ על כרטיס של 16 או 24 ג'יגה בייט כי הקבצים תופסים 32.8 ג'יגה בייט. לצורך הרצה על חומרה כזו צריך להשתמש בגרסאות ה־GGUF המכווצות שהועלו על ידי הקהילה או להשתמש בפריקת שכבות לזיכרון המערכת.

איך מריצים

כדי להריץ את גרסת ה־bfloat16 המקורית תצטרכו כרטיס עם לפחות 40 ג'יגה בייט זיכרון גרפי, כמו A100 או זוג כרטיסים קטנים יותר, בגלל נפח משקלים של כמעט 33 ג'יגה בייט. למי שמחזיק כרטיס ביתי רגיל יש קובצי GGUF מכווצים שנוצרו על ידי הקהילה ומאפשרים פריקה של שכבות לזיכרון המחשב, וקיימת גם גרסת תצוגה מקדימה שמייצרת תמונה בשמונה צעדים באמצעות LoRA.

אם אתם צריכים רק תמונה מזדמנת או ניסוי מהיר, עדיף להשתמש בדמו הרשת שהם העלו. הרצה מקומית משתלמת רק אם יש לכם שרת ייעודי ואתם צריכים לערוך או לייצר כמויות של גרפיקה מבוססת נתונים בלי תלות בשירות חיצוני.

from transformers import pipeline

pipe = pipeline("any-to-any", model="sensenova/SenseNova-U1-8B-MoT")
print(pipe("שלום"))

הקבצים

214 קבצים במאגר, 32.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הפרויקט משוחרר תחת רישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי, שינוי של הקוד והפצה של המשקלים בתוך מוצרים, כל עוד שומרים על הודעת זכויות היוצרים ומצרפים עותק של תנאי הרישיון המקוריים.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗