Janus-1.3B-WebGPU

מה זה

מדובר בממשק שמיועד לשלב הבנה חזותית ויצירת תמונות באותו מודל. אתם מזינים קלט טקסטואלי או תמונה, והמערכת מסוגלת לייצר תיאורים או להפיק תמונה בהתאם לפרומפט שכתבתם. הכל עובד סביב קונספט של מודל אוטורגרסיבי מאוחד שמטפל בשני הכיוונים באותו מבנה נתונים.

מאחורי הקלעים רץ המודל onnx-community/Janus-1.3B-ONNX דרך Transformers.js. האפליקציה בנויה כולה בסטטיק בעזרת React ו־Vite, ומשתמשת בהאצת WebGPU כדי לבצע את החישובים של המודל ישירות על גבי המעבד הגרפי של המחשב שלכם.

מתאים ל

• ניסוי מקומי במולטימודל

  בדיקת יכולות הבנה ויצירה של תמונות ישירות בכרטיס המסך המקומי בלי לשלוח מידע לרשת.

• פיתוח יישומי WebGPU

  בחינת שילוב מודלים מסוג Transformers.js בתוך יישומי ווב ללא תלות בתשתיות ענן יקרות.

• בדיקת המודל Janus 1.3B

  הערכת היכולת של גרסת ה־ONNX הקלה מול משימות שמשלבות טקסט ותמונה יחד.

איפה זה נופל

מודל בגודל 1.3B פרמטרים מוגבל בדיוק שלו בהשוואה למודלים ענקיים שנשענים על חוות שרתים, הן ביכולת ההבנה של שאלות מורכבות והן באיכות התמונות שהוא מייצר. בנוסף, מחשבים ללא תמיכה תקינה ב־WebGPU או עם חומרה חלשה יסבלו מאיטיות ניכרת, קריסות של הטאב בדפדפן או חוסר יכולת לטעון את המודל בכלל.

איך משתמשים

טוענים את הדף בדפדפן שתומך ב־WebGPU ומריצים את הפעולות בלי צורך בהרשמה, חשבון או תשלום. אין כאן תור שרתים מרוחק כי הכל מעובד אצלכם במחשב. מהירות הביצוע תלויה לגמרי בכוח של הכרטיס הגרפי המקומי שלכם, והטעינה הראשונית כוללת הורדה של משקלי המודל ישירות לזיכרון הדפדפן.

אפשר גם להוריד את הקוד ממאגר הדוגמאות של transformers.js בגיטהאב, להתקין תלויות ב־npm ולהרים שרת מקומי בפורט 5173 לבדיקות פיתוח.

הרישיון

הפרויקט מופץ תחת רישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי, שינוי והפצה של הקוד. מאחר שהעיבוד נעשה מקומית בדפדפן, המידע והתמונות שאתם מזינים לא נשלחים לשרת חיצוני.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗