UI-TARS-7B-SFT

מה זה

בייטדאנס לקחו את ארכיטקטורת Qwen2-VL והכשירו אותה לזהות אלמנטים ולפעול עליהם ישירות מצילומי מסך. במקום לפצל את העבודה לראייה ממוחשבת בנפרד ומודל שפה בנפרד, הכול יושב באותו מקום. הוא מבין איפה ממוקם כפתור, מה כתוב עליו, ואיזו פעולה צריך לשדר הלאה.

במבחני זיהוי כפתורים וטקסט כמו ScreenSpot v2 הוא עוקף את הדגם המקורי ומשאיר מאחור מודלים קנייניים כבדים בהרבה. במבחן OSWorld הוא הגיע לתוצאה של 17.7 באוטומציה חיה של מערכת הפעלה, הישג נדיר לגודל שבעה מיליארד פרמטרים שמראה שהתכנון כאן כוון במדויק לשליטה בממשקים.

מתאים ל

• בדיקות תוכנה אוטומטיות

  זיהוי כפתורים ומילוי שדות במערכות ווב או אפליקציות שולחניות ישירות מתוך צילומי מסך.

• סוכן פעולות לאנדרואיד

  ניווט בין מסכים באפליקציות מובייל בהתבסס על ביצועים גבוהים במבחני AndroidControl.

• בסיס לאימון מותאם

  נקודת מוצא לכוונון עצמאי למי שרוצה לאמן סוכן GUI מותאם אישית למערכת פנימית.

איפה זה נופל

המודל מוגדר רשמית לשפה האנגלית בלבד, כך שאין שום הבטחה שיזהה ממשקים או טקסטים בעברית. בנוסף, במבחן המורכב של ScreenSpot Pro הוא נעצר על דיוק כולל של 35.7 אחוז בלבד, מה שאומר שבמשימות מורכבות של לחיצה על אייקונים עדינים הוא עדיין טועה ברוב המקרים. לא הייתי מחבר אותו לתהליך שמבצע פעולות רגישות ללא פיקוח.

אותה משפחה

UI-TARS יצא ב־4 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

כדי להריץ אותו צריך כרטיס מסך עם לפחות 24 גיגה זיכרון כדי לטעון את המשקלים בנוחות בפורמט bfloat16. הקבצים שוקלים קרוב ל־31 גיגהבייט ודורשים תמיכה בארכיטקטורת Qwen2-VL דרך transformers. מי שאין לו חומרה מתאימה בענן או במשרד יתקשה לקבל זמני תגובה שמאפשרים שליטה חלקה בעכבר בזמן אמת.

המפתחים עצמם מציינים במפורש שעדיף לבחור בגרסת ה־DPO של אותו מודל, שעברה כוונון העדפות ומשיגה תוצאות עדיפות במבחנים. שווה להוריד את גרסת ה־SFT הזו רק אם אתם מתכננים להמשיך לאמן אותה בעצמכם או לבצע השוואות מחקר מדויקות.

from transformers import pipeline

pipe = pipeline("image-text-to-text", model="ByteDance-Seed/UI-TARS-7B-SFT")
print(pipe("שלום"))

הקבצים

19 קבצים במאגר, 30.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00004-of-00007.safetensors5.0 GB
• model-00005-of-00007.safetensors5.0 GB
• model-00002-of-00007.safetensors5.0 GB
• model-00001-of-00007.safetensors4.9 GB
• model-00006-of-00007.safetensors4.9 GB
• model-00003-of-00007.safetensors4.9 GB
• model-00007-of-00007.safetensors3.4 GB
• tokenizer.json11.4 MB
• vocab.json2.8 MB
• merges.txt1.7 MB
• model.safetensors.index.json56.5 KB
• README.md16.0 KB
• tokenizer_config.json4.3 KB
• .gitattributes1.6 KB
• config.json1.2 KB
• chat_template.json1.0 KB
• special_tokens_map.json613 B
• preprocessor_config.json565 B
• added_tokens.json392 B

הרישיון

הרישיון הוא Apache 2.0 מלא. אפשר להשתמש בו בחופשיות למוצרים מסחריים, לשנות את המשקלים ולשלב אותם בקוד סגור, בלי צורך לשלם תמלוגים. התנאי היחיד הוא שמירה על הודעת זכויות היוצרים והרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗