GPT4Tools

מה זה

האפליקציה מקבלת תמונה מקומית לצד שאלות או בקשות טקסטואליות בחלון צ'אט ייעודי. בתגובה, מקבלים טקסט ופעולות על התמונה שמוצגים ישירות בתוך ממשק השיחה. יש בקרים ידניים שמאפשרים לבחור את מודל השפה, לשלוט בכמות הטוקנים, ולכוונן ערכי טמפרטורה ודיוק.

מאחורי הקלעים רץ שילוב של Vicuna המבוסס על LLaMA עם מתאמי LoRA, שאומנו על 71 אלף הוראות ייעודיות. המערכת מנתחת את הטקסט ומפעילה מודלי ראייה שונים לפי הצורך כדי לטפל בדרישות הוויזואליות שמועלות בשיחה. הממשק כולל דוגמאות מובנות מראש שנשמרו במטמון ומדגימות שימוש בפקודות נפוצות על תמונות.

מתאים ל

• עיבוד תמונה בשיחה

  מעלים תמונה ומבקשים לבצע עליה פעולות ניתוח מבוססות ראייה ממוחשבת.

• שליטה במודלים חזותיים

  הפעלת מודלי תמונה שונים דרך הנחיות שפה טבעית מתוך ממשק צ'אט.

• בדיקת פרמטרים למודל

  כוונון טמפרטורה ואורך פלט כדי לבחון איך מודל השפה מנתב את הפקודות.

איפה זה נופל

הבעיה המרכזית היא שההדגמה שבורה כרגע ולא פועלת בפועל בגלל שגיאת ריצה. מעבר לזה, הממשק נשען על קריאות רשת ומודלי בסיס שונים שלא רצים ישירות על החומרה החלשה הזו, ולכן אי אפשר ללמוד ממנו על הביצועים האמיתיים של המערכת. אין כאן כלי לעריכה גרפית עדינה, אלא הדגמה להפעלת כלים חיצוניים דרך מודל שפה.

איך משתמשים

בפועל מעלים תמונה בעמודה השמאלית, מקלידים הנחיה בתיבת הטקסט ולוחצים על Submit. אין צורך בהתחברות לחשבון כדי לנסות את הממשק. עם זאת, המרחב נמצא כרגע במצב של תקלת ריצה ולא מגיב. גם אם הוא עולה, הוא מוגדר על חומרת מעבד בסיסית, מה שהופך עיבוד של מודלים חזותיים לכבד ואיטי מאוד.

הרישיון

הפרויקט פורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי בקוד כולל התאמות מסחריות תחת תנאי הרישיון. הקוד עצמו אינו מפרט תנאי שמירה או מדיניות פרטיות על קבצים שמועלים אליו בממשק.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗