Tar

מה זה

הממשק מחולק לשתי לשוניות עיקריות. בלשונית הראשונה מקלידים תיאור טקסטואלי ומקבלים תמונה שנוצרת לפי ההנחיה, ברזולוציות של 512 או 1024 פיקסלים. אפשר לכוונן שם פרמטרים כמו top-p, top-k וסולם CFG שמוגדר כברירת מחדל על 4.0. בלשונית השנייה מעלים תמונה, כותבים שאלה או הוראה בתיבת טקסט, ומקבלים תשובה מילולית שמנתחת את מה שרואים בקובץ.

מאחורי הקלעים הקוד מתבסס על Tar-7B-v0.1 יחד עם רכיבי טוקניזציה של TA-Tok ומפענח תמונות מבוסס llamagen_t2i. המערכת מחברת כמה חלקים במקביל כדי לתמוך גם בהבנה חזותית וגם ביצירה, במקום להפריד בין שני מודלים שונים לחלוטין.

מתאים ל

• יצירת תמונות מטקסט

  כותבים פרומפט באנגלית ומקבלים תמונה ברזולוציה של עד 1024 פיקסלים.

• ניתוח תיאורי של תמונות

  מעלים קובץ תמונה ושואלים עליו שאלה כדי לקבל תיאור קצר או פענוח תוכן.

• בדיקת ארכיטקטורת MLLM

  הערכת היכולת של Tar לחבר ייצוגים טקסטואליים וחזותיים במודל יחיד.

איפה זה נופל

הבעיה המיידית היא שהיא בכלל לא עובדת ומופיעה במצב RUNTIME_ERROR, כך שאי אפשר להוציא ממנה כלום ברשת. מעבר לזה, ניהול מודל 7B יחד עם טוקנייזרים מרובים על חומרת a10g-small דוחק את הזיכרון לקצה. הממשק גם מוגבל מאוד בהבנת תמונה ולא תומך בשיחה רב-שלבית, אלא רק בשאלה ותשובה בודדות בכל פעם.

איך משתמשים

בפועל אין אפשרות להריץ אותה כרגע בדפדפן, כי היא נמצאת במצב שגיאת ריצה. כשהיא פועלת, היא מוגדרת על חומרת a10g-small ללא צורך בהתחברות מיוחדת, ולוחצים על כפתור Generate כדי להפיק פלט. יצירה ברזולוציית 1024 פיקסלים על מאיץ כזה בדרך כלל דורשת כמה שניות עד חצי דקה, אבל נכון לעכשיו העמוד פשוט יקרוס או יציג שגיאה.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי וגם התאמות מסחריות בקוד ובמשקלים, בכפוף לתנאי הרישיון. הקוד עצמו מוריד משקלים ציבוריים מהאגב, אך בשל השגיאה הנוכחית אי אפשר לטעון אליו קבצים דרך הרשת.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗