UI-TARS-1.5-7B

מה זה

המודל מתבסס על ארכיטקטורת Qwen2.5-VL ומיועד לשמש סוכן שמקבל תמונות מסך וטקסט, ופולט פעולות ממשק כמו הקלקות והקלדה. הוא כולל שלב חשיבה לפני ביצוע הפעולה שנבנה בעזרת למידת חיזוק, מה שעוזר לו לא לרוץ עיוור על המסך אלא לתכנן את הצעדים הבאים.

במדד OSworld גרסת ה־7B הזו מגיעה לתוצאה של 27.5 נקודות, שזה שיפור מול דגם 72B הקודם של הסדרה, ובמבחן זיהוי אלמנטים גרפיים ScreenSpotPro היא מגיעה ל־49.6 נקודות. עם זאת, הטבלאות המרשימות יותר בפרסום שייכות לגרסת הדגל הגדולה שלא שוחררה כאן במלואה, כך שביצועי הגרסה הזו נמוכים יותר ממה שמוצג בראש העמוד.

מתאים ל

• אוטומציה לדפדפן

  ניווט בעמודים ומילוי טפסים מורכבים לפי צילומי מסך במקום להסתמך על מזהי HTML שבירים.

• זיהוי אלמנטים בממשק

  איתור כפתורים ותפריטים בתוכנות שולחניות כדי לתרגם כוונת משתמש למיקום מדויק להקלקה.

• סוכן מקומי ומאובטח

  ביצוע פעולות שולחניות על מידע פנימי בלי להוציא צילומי מסך רגישים לספקים חיצוניים.

איפה זה נופל

הגרסה הזו מוגדרת רשמית ככזו שאינה מותאמת למשחקים, בניגוד לגרסת הדגל המלאה שמופיעה ברוב המבחנים. ב־OSworld היא השיגה 27.5 לעומת 42.5 של המודל המלא, שזה פער משמעותי מאוד באמינות של ביצוע משימות מורכבות. בנוסף, המודל מוגדר לשפה האנגלית בלבד, כך שבממשקים בעברית או תוכנות מקומיות הוא צפוי לפספס כפתורים וטקסטים.

איך מריצים

כדי להריץ אותו צריך להוריד קבצים במשקל 30.9 ג'יגה בייט בפורמט bfloat16 דרך ספריית transformers. מודל של 8.3 מיליארד פרמטרים שרץ לצד תמונות וחלון הקשר של 128 אלף טוקנים ידרוש כרטיס מסך עם לפחות 24 ג'יגה בייט זיכרון גרפי, כמו RTX 3090 או RTX 4090, ורצוי יותר אם מנצלים הקשר ארוך.

ההרצה המקומית שווה את המאמץ רק אם אתם חייבים שהמידע הרגיש מהמסך לא ייצא מהרשת שלכם. אם אין לכם חומרה ייעודית כזו בענן או במשרד, קריאה לשירותים חיצוניים תהיה פשוטה ומהירה בהרבה.

from transformers import pipeline

pipe = pipeline("image-text-to-text", model="ByteDance-Seed/UI-TARS-1.5-7B")
print(pipe("שלום"))

הקבצים

19 קבצים במאגר, 30.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00004-of-00007.safetensors5.0 GB
• model-00005-of-00007.safetensors5.0 GB
• model-00002-of-00007.safetensors5.0 GB
• model-00001-of-00007.safetensors5.0 GB
• model-00006-of-00007.safetensors4.9 GB
• model-00003-of-00007.safetensors4.9 GB
• model-00007-of-00007.safetensors3.4 GB
• tokenizer.json11.4 MB
• vocab.json2.8 MB
• merges.txt1.7 MB
• model.safetensors.index.json57.6 KB
• README.md8.4 KB
• tokenizer_config.json7.3 KB
• .gitattributes1.6 KB
• config.json1.4 KB
• chat_template.json1.1 KB
• special_tokens_map.json613 B
• added_tokens.json605 B
• preprocessor_config.json350 B

הרישיון

הקוד והמשקלים שוחררו תחת רישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי מלא, שינוי של הקוד והפצה פנימית או חיצונית, בתנאי ששומרים על הודעת זכויות היוצרים ומצרפים עותק של הרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗