UI-TARS-2B-SFT

מה זה

המודל הזה נבנה על בסיס ארכיטקטורת Qwen2-VL במטרה לאחד תפיסה חזותית, הבנה וביצוע פעולות בממשק משתמש בתוך רשת אחת. במקום להשתמש במערכות מורכבות שמפרקות צילומי מסך לכמה שלבים, הוא מקבל תמונה וטקסט ופולט ישירות את הפעולה והמיקום המדויק על המסך. היכולת הזו מאפשרת לו לנווט באפליקציות שולחניות, אתרים ומכשירי מובייל בצורה ישירה.

במדדי ביצועים של זיהוי אלמנטים על גבי מסכים הוא מציג תוצאות מפתיעות למשקל שלו. במבחן ScreenSpot Pro הוא הגיע לציון ממוצע של 27.7, תוצאה שעוקפת מודלים גדולים בהרבה כמו Claude Computer Use שהשיג 17.1 וגרסאות 7B אחרות. במבחן ScreenSpot הרגיל הוא עומד על ממוצע של 82.3. המספרים האלה מראים שהוא מצליח לאתר כפתורים ושדות טקסט בדיוק גבוה, אם כי המפרסמים עצמם ממליצים על גרסאות ה־7B או ה־DPO למשימות מורכבות יותר.

מתאים ל

• אוטומציה במובייל

  המודל השיג 89.3 אחוזי הצלחה במבחן AndroidControl-Low, מה שמאפשר לו לבצע לחיצות מדויקות באפליקציות.

• איתור אלמנטים באתרי אינטרנט

  עם ציון של 84.3 בזיהוי טקסט בדפדפן, הוא מתאים לסריקה והקלקה על שדות בטפסים מקוונים.

• סוכן בדיקות ממשק מקומי

  הגודל הקטן מאפשר להריץ בדיקות קליקים וניווט רציפות על מכונה מקומית בלי תלות ברשת חיצונית.

איפה זה נופל

החולשה העיקרית שלו מופיעה בזיהוי אייקונים ורכיבים גרפיים מורכבים. במבחן ScreenSpot Pro הציון שלו בזיהוי אייקונים עומד על 8.4 בלבד, לעומת 39.6 בטקסט. בנוסף, בטבלאות המדידה המקוונות למשימות כמו OSWorld, המפרסמים כלל לא טרחו להציג נתונים עבור גרסת ה־2B, מה שמלמד שהיכולת שלו להחזיק תהליכים מורכבים לאורך זמן מוגבלת מאוד בהשוואה לדגמים הגדולים.

אותה משפחה

UI-TARS יצא ב־4 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקל הכולל של הקבצים עומד על 9.1 גיגה בייט בפורמט bfloat16, כך שכרטיס מסך ביתי עם 8 עד 12 גיגה זיכרון וידאו מספיק כדי להעלות אותו בעזרת ספריית transformers. קיימת לפרויקט גם גרסת gguf שמתאימה למי שרוצה לצמצם עוד יותר את צריכת הזיכרון או לרוץ על מעבד רגיל.

אם אתם צריכים אוטומציה של פעולות ארוכות ומרובות שלבים בעולם האמיתי, סביר להניח שעדיף לקחת את גרסאות ה־7B שעברו אימון DPO או להשתמש ב־API חיצוני חזק. גרסת ה־2B הזו מתאימה בעיקר כשרצים מקומית על משאבים צנועים וצריכים מהירות תגובה במשימות ממוקדות.

from transformers import pipeline

pipe = pipeline("image-text-to-text", model="ByteDance-Seed/UI-TARS-2B-SFT")
print(pipe("שלום"))

הקבצים

14 קבצים במאגר, 9.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00001-of-00002.safetensors5.0 GB
• model-00002-of-00002.safetensors4.8 GB
• tokenizer.json11.4 MB
• vocab.json2.8 MB
• merges.txt1.7 MB
• model.safetensors.index.json56.5 KB
• README.md16.4 KB
• tokenizer_config.json4.3 KB
• .gitattributes1.6 KB
• config.json1.2 KB
• chat_template.json1.0 KB
• special_tokens_map.json613 B
• preprocessor_config.json565 B
• added_tokens.json392 B

הרישיון

המודל שוחרר תחת רישיון apache-2.0. הרישיון הזה מאפשר שימוש מסחרי חופשי, שינוי של הקוד והמשקולות והפצה בתוך מוצרים סגורים, כל עוד שומרים על הודעת זכויות היוצרים המקורית והצהרת הרישיון.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗