InternGPT

מה זה

אתם מעלים תמונה או וידאו, מקלידים הוראות בטקסט או מדברים בקול, ומסמנים אזורים ספציפיים באמצעות קליקים או תיחום ידני. בחזרה מקבלים תמונות ערוכות, הסרת אובייקטים, תיאורי תמונה וקטעי וידאו, טקסט שחולץ מהמסמך, או תשובות לשאלות על תוכן התמונה.

מאחורי הקלעים רץ סוכן מבוסס LangChain שמפעיל מודלים שונים לפי הצורך. בין הכלים נמצאים Segment Anything לבידוד אלמנטים, Stable Diffusion יחד עם ControlNet ו־InstructPix2Pix לעריכה ויצירה, HuskyVQA למענה על שאלות חזותיות, EasyOCR לחילוץ טקסט, ו־Whisper לקלט קולי. הדגמות המפתחים מציגות הסרת אובייקט ממורקר, עריכת סגנון חזותי, מענה לשאלות מבוססות מיקום בתמונה, וניתוח של קטעי וידאו.

מתאים ל

• הסרת אובייקטים מתמונות

  סימון עצם לא רצוי באמצעות קליק וטעינת כלי הציור כדי למחוק אותו ולשחזר את הרקע.

• עריכת סגנון לפי הנחיה

  שינוי אווירה, צבעים או פרטים בתמונה קיימת באמצעות שילוב של טקסט ומודל InstructPix2Pix.

• שאלות על אזורים בתמונה

  הצבעה על חלק מסוים במסמך או בתצלום וקבלת הסבר מילוני על מה שמופיע באותה נקודה.

• חילוץ טקסט מתמונות

  סריקת תווים מתוך שלטים, מסמכים או צילומי מסך באמצעות שילוב של EasyOCR בסוכן השיחה.

איפה זה נופל

ההדגמה הנוכחית לא מתפקדת ברשת בגלל קריסה ודורשת מפתח OpenAI כדי שסוכן השיחה יעבוד. אין כאן מודל אחוד שעושה הכל לבד, אלא שרשור של כלים נפרדים שלעיתים מייצר תוצאות לא מדויקות. בנוסף, חסרה תמיכה מובנית בעברית, והמערכת מסתמכת על עיבוד באנגלית ובסינית.

איך משתמשים

כרגע אי אפשר להריץ את הממשק בדף הזה כי הוא מוגדר במצב של שגיאת ריצה. באופן תיאורטי מעלים קובץ, מצביעים על נקודה במסך ושולחים פרומפט, אך ההרצה תלויה בחומרה עצמאית.

הקוד דורש כרטיס מסך עם לפחות 17GB זיכרון רק כדי לטעון את כלי הבסיס. מאחר שההגדרה כאן היא מעבד בסיסי בלבד ללא מאיץ גרפי, התהליך אינו מתחיל לפעול כלל.

הרישיון

הפרויקט מופץ תחת רישיון apache-2.0 ומאפשר שימוש מסחרי, שינוי והפצה של הקוד. לגבי המידע והקבצים שמעלים, יש לקחת בחשבון שהם עוברים דרך שרתי המודלים וספקי צד שלישי כמו OpenAI.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗