GPT
הוספת כלי
J

Janus-Pro-1B-ONNX

קוד פתוח

onnx-communitymit2025-01-27

  • transformers.js
  • onnx
  • multi_modality
  • text-to-image
  • image-to-text

הסבה של מודל מולטימודלי קטן לפורמט שרץ ישירות בג'אווהסקריפט. הוא מתאים למי שרוצה להבין תמונות וגם לייצר תמונות חדשות מאותו קוד, בלי שרתי פייתון כבדים ברקע.

  • 26.2 GBמשקל הקבצים
  • 1,713הורדות בחודש
  • 51לייקים

מה זה

מדובר בגרסת ONNX של המודל המקורי מבית DeepSeek, שמותאמת במיוחד לעבודה עם הספרייה transformers.js. המאפיין הבולט כאן הוא ארכיטקטורת any-to-any, כלומר מודל יחיד שיודע לקבל טקסט ותמונה כדי לענות בשפה טבעית, ובמקביל יודע לקחת תיאור טקסטואלי ולייצר ממנו תמונה ישירות לקובץ.

בניגוד למערכות שמחברות מודל שפה נפרד ומודל דיפוזיה נפרד, כאן אותו מנגנון מבצע את שתי הפעולות. הגרסה הזו נבנתה בדיוק bfloat16 כדי לשמור על האיכות של המקור, והיא פונה למפתחים שרוצים לשלב יכולות ראייה ויצירה באפליקציות צד לקוח או בסביבות Node.js.

מתאים ל

  • ייצור תמונות בשרתי ג'אווהסקריפט

    מאפשר לייצר תמונות ישירות מתוך סביבת Node.js בלי להקים שרתי פייתון נפרדים.

  • ניתוח מסמכים ותמונות

    מקבל תמונה ושאלה ביחד ומחזיר תשובה טקסטואלית על בסיס התוכן הוויזואלי.

  • פיתוח אפליקציות מולטימודליות

    משלב הבנה ויצירה של תמונות באותו רכיב תוכנה ובספרייה אחת.

איפה זה נופל

הבעיה המרכזית כרגע היא המשקל הכולל של 26.2 גיגה בייט שמחולק על פני עשרות קבצים, מה שהופך את הטעינה למסורבלת מאוד. חוץ מזה, כרטיס המודל מציג קוד דוגמה עבור ייצור תמונה מטקסט, אך לא מפרט דוגמאות מלאות או מדדי ביצועים עבור הבנת תמונה, כך שתצטרכו לבדוק בעצמכם את איכות הניתוח והתגובות שלו לפני שילוב בפרויקט אמיתי.

שאלות
נפוצות

האם המודל מתאים להרצה ישירה בדפדפן של המשתמש?

הוא נתמך טכנית על ידי transformers.js, אבל בגלל משקל הורדה של מעל 26 גיגה בייט, זה לחלוטין לא מעשי לרוב המשתמשים. הייעוד העיקרי שלו בתצורה הזו הוא שרתי קצה מבוססי Node.js או מכונות פיתוח עם חיבור מהיר.

איך מייצרים איתו תמונה בפועל מתוך הקוד?

טוענים את המעבד והמודל, שולחים את הפרומפט בתוך תבנית שיחה עם ההגדרה text_to_image, ומפעילים את הפונקציה generate_images. הפלט מוחזר כאובייקט תמונה שאפשר לשמור ישירות לדיסק.

איך מריצים

ההרצה מתבצעת ישירות בתוך Node.js דרך חבילת transformers.js הרשמית. הקוד עצמו פשוט ודורש רק טעינה של המעבד והמודל דרך AutoProcessor ו־MultiModalityCausalLM, ואז קריאה לפונקציית ייצור התמונות או הטקסט לפי הצורך.

עם זאת, כלל הקבצים במאגר שוקלים 26.2 גיגה בייט, נפח כבד מאוד עבור מודל של מיליארד פרמטרים. אם התכנון שלכם הוא לטעון אותו ישירות בדפדפן של משתמשי קצה, זה לא יעבוד ברוב המקרים בגלל זמני ההורדה ודרישות הזיכרון, ועדיף להרים אותו על שרת ייעודי או לפנות ל־API חיצוני.

pip install -U huggingface_hub
hf download onnx-community/Janus-Pro-1B-ONNX

הקבצים

67 קבצים במאגר, 26.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא MIT, מה שאומר שיש לכם חופש מלא לעשות בו מה שתרצו. מותר להשתמש בו במוצרים מסחריים, לשנות את הקוד ולהפיץ אותו הלאה, בלי דרישה לחשוף קוד מקור. התנאי היחיד הוא שמירת הודעת זכויות היוצרים והצהרת הוויתור המקורית.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא בעמוד המודל ↗