GPT
הוספת כלי
U

UI-TARS-7B-DPO

קוד פתוח

ByteDance-Seedapache-2.02025-01-22

  • transformers
  • safetensors
  • qwen2_vl
  • image-text-to-text
  • multimodal

מודל ראייה ושפה קומפקטי שמכוון כולו לשליטה בממשקי משתמש ומחשב. הוא תוכנן להמיר צילומי מסך לפעולות לחיצה והקלדה ישירות, בלי צורך במערכות פירוק מורכבות מסביבו.

  • 8.3Bפרמטרים
  • 32,768טוקנים בהקשר
  • 15.5 GBמשקל הקבצים
  • 4,183הורדות בחודש

מה זה

בייטדאנס לקחו את הבסיס של Qwen2-VL והכשירו אותו במיוחד לתפקיד של סוכן ממשק גרפי. בניגוד לפתרונות שמחברים כמה מודלים נפרדים לזיהוי כפתורים, לתכנון ולביצוע, כאן מודל יחיד קולט את המסך, מחליט מה הצעד הבא ומוציא את הקואורדינטות לפעולה. גרסת ה־DPO עברה כוונון שמעדיף החלטות נכונות על פני שגיאות גרירה ולחיצה שרואים בגרסאות הבסיס.

במבחני מיקום אלמנטים כמו ScreenSpot Pro, המודל מציג זינוק חד מול מתחרים. הוא מגיע לדיוק כולל של 35.7 אחוז לעומת 17.1 של Claude Computer Use ו־18.9 של OS-Atlas בגודל דומה. גם במבחן הפעולות בעולם האמיתי OSWorld ב־15 צעדים, הוא מגיע להצלחה של 18.7 אחוז, מעל היכולת שמפגינים מודלים סגורים ענקיים כשבוחנים אותם באותם תנאים ישירים.

מתאים ל

  • אוטומציה לבדיקות תוכנה

    ניווט ישיר בממשקי ווב ומובייל לצורך הרצת בדיקות קצה לקצה לפי צילומי מסך.

  • סוכן תפעול מערכות שולחניות

    לחיצה על כפתורים והקלדת נתונים בתוכנות מדור ישן שאין להן שום API חיצוני.

  • חילוץ מידע מדפי אינטרנט

    אינטראקציה עם אלמנטים דינמיים וטפסים מורכבים ברשת כדי לדלות מידע שאינו נגיש ישירות.

איפה זה נופל

הנתונים מראים נפילה חדה כשעוברים מטקסט לאייקונים. במבחן ScreenSpot Pro הוא צונח מ־47.8 אחוז הצלחה בזיהוי טקסט ל־16.2 אחוז בלבד באייקונים, ובסביבות מורכבות כמו כלי CAD הוא מגיע ל־9.4 אחוזי דיוק באייקונים. בנוסף, המודל אומן על אנגלית בלבד. אם תזרקו עליו ממשקים מקומיים בעברית עם כיווניות מימין לשמאל, הוא צפוי לפספס אלמנטים וקואורדינטות באופן קבוע.

אותה משפחה

UI-TARS יצא ב־4 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

UI-TARS-2B-SFT4,346 UI-TARS-7B-SFT1,005 UI-TARS-72B-DPO320

שאלות
נפוצות

האם המודל ידע להפעיל תוכנות עם ממשק בעברית?

הכרטיס מצהיר על תמיכה באנגלית בלבד. כפתורים עם כיתוב עברי או פריסות מימין לשמאל יבלבלו את זיהוי הטקסט ואת חישוב המיקום, ולכן עדיף להגביל את השימוש בו למערכות באנגלית.

מה ההבדל בין גרסת ה־SFT לגרסת ה־DPO הזו?

גרסת ה־DPO עברה שלב אימון נוסף שמחדד את ההעדפה לפעולות מדויקות על פני טעויות נפוצות. בבדיקות OSWorld היא משיגה 18.7 אחוזי הצלחה לעומת 17.7 בגרסת ה־SFT, ולכן היא הגרסה המומלצת לשימוש.

איך מריצים

המשקל הכולל יושב על 15.5 גיגה בייט בפורמט bfloat16, מה שאומר שכרטיס מסך בודד עם 24 גיגה זיכרון יחזיק אותו בקלות להסקה מקומית. מי שמשתמש בספריית transformers יכול להרים אותו ישירות, אך כדי לקבל זמני תגובה שמתאימים לשליטה בזמן אמת עדיף להריץ אותו דרך מנועי הסקה ייעודיים שתומכים בארכיטקטורת Qwen2-VL.

אם אתם צריכים אוטומציה מורכבת שדורשת מעל 15 צעדים שונים ברצף, גרסת ה־72B משיגה תוצאות עקביות יותר. עם זאת, הרצת גרסת 72B דורשת חומרת שרתים יקרה בהרבה, ולכן עבור תרחישי בדיקה שגרתיים או עבודה מול אפליקציות מוכרות, גרסת ה־7B המקומית סוגרת את הפינה בלי עלויות ענן שוטפות.

from transformers import pipeline

pipe = pipeline("image-text-to-text", model="ByteDance-Seed/UI-TARS-7B-DPO")
print(pipe("שלום"))

הקבצים

17 קבצים במאגר, 15.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הפרויקט מופץ תחת רישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי מלא, שינוי של קוד המקור והפצה מחדש של המשקלים בתוך מוצרים פנימיים או שירותים ללקוחות. התנאי העיקרי הוא שמירת הודעת זכויות היוצרים והצהרת הרישיון המקורית של המפתחים בכל עותק או נגזרת, ללא דרישה לשחרר את הקוד שלכם.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗