חדש תמונה, וידאו, קריינות ותמלול בקריאה אחת, בלי להריץ מודל. מנסים בלי שרת

GPT
O

OpenCHAT-Mini

רץ בדפדפן

KingNishרישיון לא דווח2024-07-20

  • gradio

ממשק צ'אט שמחבר שיחה טקסטואלית, ניתוח תמונות, יצירת תמונות וחיפוש ברשת במקום אחד. הוא מתאים למי שרוצה לבדוק שילוב של כמה מודלים פתוחים בחלון יחיד.

  • —הורדות בחודש
  • 73לייקים

מה זה

אתם כותבים הודעה בתיבת הטקסט או מצרפים תמונה, והמערכת מחליטה לבד באיזה כלי להשתמש לפי הבקשה שלכם. היא יכולה לענות על שאלה כללית, לחפש מידע בגוגל ולחלץ ממנו תוכן, לענות על שאלות לגבי תמונה שהעליתם, או לייצר תמונה חדשה מתיאור מילולי.

מאחורי הקלעים הקוד מפעיל כמה מודלים שונים במקביל. לניתוח התמונות רץ המודל המקומי llava-interleave-qwen-0.5b, ליצירת תמונות מוגדר stable-diffusion-3-medium, ובצד הטקסט רשומים מודלים חזקים כמו Llama 3 8B, Yi-34B ו־Mixtral. החיבור ביניהם מתבצע דרך קריאות לפונקציות שמנתבות את הפנייה לפי הצורך.

מתאים ל

  • שאלות על תמונות

    מעלים תמונה ושואלים עליה שאלות כדי לקבל ניתוח טקסטואלי מהיר.

  • חיפוש מידע ברשת

    שואלים שאלה שדורשת בדיקה עדכנית, והממשק מושך מידע מגוגל ומנסח תשובה.

  • יצירת תמונות מטקסט

    מבקשים ציור או תמונה בתוך השיחה ומקבלים פלט ויזואלי ישירות בחלון הצ'אט.

איפה זה נופל

המגבלה הכי גדולה היא שהיישום לא פעיל כרגע. מעבר לזה, ניתוח התמונות מתבסס על מודל זעיר של חצי מיליארד פרמטרים שרץ על מעבד רגיל, כך שרמת הדיוק והבנת הפרטים שלו נמוכה משמעותית ממודלי ראייה גדולים.

יצירת התמונות והחיפוש נשענים על שירותים חיצוניים וקריאות רשת שעלולות להיכשל או להיתקע אם יש עומס.

שאלות
נפוצות

האם השימוש באפליקציה עולה כסף?

הגישה לממשק עצמו חופשית לגמרי ואינה דורשת תשלום. עם זאת, נכון לעכשיו המרחב נמצא במצב מושהה ולכן לא ניתן להשתמש בו ישירות.

מה קורה עם התמונות והטקסט שאני מעלה?

הקבצים מעובדים בתוך השרת של היישום ובחלק מהמקרים נשלחים לממשקי מודלים חיצוניים לצורך עיבוד. אין כאן התחייבות לפרטיות, לכן אל תעלו מידע אישי או קבצים רגישים.

כמה זמן לוקח לקבל תשובה?

תשובות טקסט רגילות חוזרות תוך שניות בודדות. יצירת תמונה חדשה מציגה התרעה שמבקשת להמתין עשר שניות, וחיפוש ברשת תלוי במהירות שליפת הנתונים מהאתרים.

אפשר להריץ את זה על המחשב שלי?

כן, הקוד פתוח לצפייה ובנוי על ספריית gradio וספריות פייתון מוכרות. תצטרכו להתקין את התלויות, להוריד את מודל הראייה ולהגדיר גישה למודלים שרצים דרך ממשקי ה־API.

איך משתמשים

נכנסים לממשק וכותבים בתיבה הרב-תכליתית שכוללת כפתור להעלאת תמונות. הממשק מציג חיווי בזמן אמת כשהוא מחפש ברשת, מנתח תמונה או מייצר תמונה חדשה, פעולה שלפי ההודעה במסך לוקחת לפחות עשר שניות.

הבעיה המרכזית כרגע היא שהאפליקציה נמצאת במצב מושהה על מעבד בסיסי. כל עוד היא מושהית אי אפשר להריץ אותה בדפדפן בלי להפעיל אותה מחדש או לשכפל את הקוד.

הרישיון

היוצר לא הגדיר רישיון לפרויקט. במצב כזה זכויות היוצרים שמורות לו ואין הרשאה ברורה לשימוש מסחרי או הפצה מחדש של הקוד.

הרישיון המלא ב־Hugging Face ↗