GPT-4o

מה זה

האפליקציה מחולקת לשתי לשוניות מרכזיות, צ'אט מורחב ושיחה קולית. אתם מעלים תמונות, מקליטים קול דרך המיקרופון או כותבים טקסט, ומקבלים תגובה כתובה, מענה קולי או קישור לתמונה שנוצרת חיצונית דרך שירות pollinations.ai.

מאחורי הקלעים אין שום קשר ל־OpenAI. הקוד טוען מודלים פתוחים כמו idefics2-8b וגרסת ה־chatty שלו לעיבוד תמונה וטקסט, יחד עם Mixtral-8x7B. התמלול הקולי נשען על streaming-stt-nemo והדיבור מופק באמצעות edge-tts.

בדוגמאות המובנות בממשק תמצאו תמונות של מסמך עם טקסט, השוואה בין אילון מאסק לסטיב ג'ובס, שאלות מתוך מבחני MMMU ודיאגרמות AI2D, לצד תמונות רגילות כמו בקבוק שמפו או ציור של דרקונים.

מתאים ל

• ניתוח מסמכים ותמונות

  העלאת צילום של טקסט או דיאגרמה כדי לחלץ מידע או לקבל הסבר בעזרת idefics2.

• השוואה בין תמונות

  טעינת שני קבצים במקביל, כמו הדוגמה עם מאסק וג'ובס, ובקשת ניתוח של ההבדלים ביניהם.

• שיחה קולית בסיסית

  דיבור לתוך המיקרופון וקבלת מענה קולי מוקלט באמצעות מנוע התמלול והדיבור המשולב.

איפה זה נופל

השם GPT-4o מטעה לחלוטין. לא מדובר במודל המקורי אלא בטלאי של כמה כלים נפרדים שמנסים להחליף אותו, כשיצירת התמונות מתבססת בסך הכל על הרכבת כתובת אינטרנט חיצונית לפי תבנית קבועה.

הבעיה העיקרית היא שהספייס קרס ולא פועל. גם אם יעלה שוב, ריצה של מודלים כמו idefics2 על מעבד רגיל תגרום לזמני תגובה איטיים מאוד שהופכים שיחה קולית לרצף של שתיקות.

איך משתמשים

בפועל אתם בוחרים מודל מתוך תפריט נפתח, מכוונים פרמטרים כמו טמפרטורה ומספר טוקנים, שולחים שאלה וממתינים. אם מעלים תמונה, חייבים לצרף גם טקסט כדי שהבקשה תרוץ.

האפליקציה יושבת על מעבד בסיסי בלבד וללא מאיץ גרפי ייעודי, אבל המצב המדווח שלה כרגע הוא שגיאת ריצה. זה אומר שנכון לעכשיו היא פשוט לא נטענת ולא תגיב לפעולות שלכם בדפדפן.

הרישיון

היוצר לא דיווח על רישיון עבור הקוד והספייס. המשמעות היא שזכויות היוצרים שמורות לו במלואן, ואין לכם היתר מוגדר להעתיק את הקוד, להשתמש בו בפרויקטים מסחריים או להסתמך עליו. תנאי השימוש בתוכן שתעלו תלויים גם במדיניות של Hugging Face ושל השירותים החיצוניים שמוטמעים בו.

הרישיון המלא ב־Hugging Face ↗