JanusFlow-1.3B
קוד פתוחdeepseek-aimit2024-11-12
שילוב נדיר של הבנת תמונות ויצירת תמונות חדשות ברשת אחת קטנה. הוא מתאים למי שרוצה לעבד ולייצר תוכן ויזואלי מקומית בלי לתחזק שני מודלים נפרדים.
- 2Bפרמטרים
- 3.8 GBמשקל הקבצים
- 963הורדות בחודש
- 154לייקים
מה זה
במקום להחזיק מודל שפה אחד לראייה ומודל דיפוזיה נפרד לתמונות, המערכת הזו מחברת את שניהם תחת שלד של DeepSeek-LLM-1.3b-base. עבור קלט והבנה ויזואלית הוא משתמש ב־SigLIP-L, ועבור יצירת תמונות הוא משלב שיטה של rectified flow יחד עם ה־VAE של SDXL. הרעיון הוא להראות שאפשר לאמן מודל שפה לייצר תמונות ישירות בלי סיבוכים מיותרים בארכיטקטורה.
המשקל הכולל יושב על שני מיליארד פרמטרים בקירוב בגלל רכיבי הראייה שנוספו לבסיס השפתי. הגישה הזו מייצרת ארכיטקטורה נקייה יחסית שמקבלת תמונה ומחזירה טקסט, או מקבלת טקסט ומחזירה תמונה, באותו תהליך עבודה.
מתאים ל
- מחקר מולטימודלי מקומי
בדיקת אינטראקציה בין טקסט לתמונה במכונה מקומית צנועה בלי צורך במערך שרתים כבד.
- יצירת סקיצות ואייקונים
הפקת תמונות קטנות בגודל 384 על 384 פיקסלים במהירות כחלק מאבטיפוס פנימי.
- תיאור תמונות מהיר
מענה על שאלות פשוטות לגבי תוכן ויזואלי ברמת חומרה נמוכה יחסית.
איפה זה נופל
התמונות מוגבלות לרזולוציה נמוכה של 384 על 384 פיקסלים, גם בקלט להבנה וגם בפלט היצירה. פרטים קטנים, טקסט בתוך תמונה או תמונות חדות לא ייצאו כאן. בסיס השפה נשען על מודל של 1.3 מיליארד פרמטרים בלבד, אז אל תבנו על הבנה מורכבת של הוראות ארוכות או ידע כללי עמוק.
שאלות
נפוצות
האם אפשר לייצר תמונות ברזולוציה גבוהה?
לא ישירות. המודל מפיק תמונות של 384 על 384 בלבד. כדי להגיע לגדלים מקובלים תצטרכו להעביר את הפלט דרך מודל הגדלה נפרד.
איך מחברים אותו לקוד קיים?
הוא עובד עם ספריית transformers המוכרת של פייתון. פרטי הקריאות והדוגמאות נמצאים בריפו של deepseek-ai בגיטהאב.
איך מריצים
הקבצים שוקלים 3.8 גיגה בייט בפורמט bfloat16, כך שכרטיס מסך ביתי בסיסי עם 6 עד 8 גיגה זיכרון יריץ אותו בקלות דרך ספריית transformers. זה מודל קטן שאין היגיון לשלם עליו לספקי ענן לפי קריאה, אלא אם אתם מחפשים אפס תחזוקה של שרתים.
הקוד המלא והוראות ההרצה נמצאים במאגר הגיטהאב של הפרויקט, והמשקלים שפורסמו הם נקודת ביקורת מסוג EMA שעברה גם אימון מקדים וגם כוונון בהנחיה.
from transformers import pipeline
pipe = pipeline("any-to-any", model="deepseek-ai/JanusFlow-1.3B")
print(pipe("שלום"))הקבצים
11 קבצים במאגר, 3.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הקוד במאגר מופץ תחת רישיון MIT המתירני שמאפשר שימוש חופשי כולל שימוש מסחרי. עם זאת, השימוש במשקלי המודל עצמם כפוף לרישיון מודל ייעודי של DeepSeek, ולכן חובה לקרוא את התנאים שלהם לפני שמשלבים אותו במוצר מסחרי.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש