חדש תמונה, וידאו, קריינות ותמלול בקריאה אחת, בלי להריץ מודל. מנסים בלי שרת

GPT
M

Megrez-3B-Omni — הדגמה

קוד פתוח

Infinigenceapache-2.02024-12-15

  • gradio

ממשק צ'אט רב מודלי שמריץ אינטראקציה משולבת של טקסט, תמונה וקול. הכלי מתאים למי שרוצה לבדוק יכולות של מודל קטן עם סוגי קלט שונים ישירות מהדפדפן.

  • 4Bפרמטרים
  • 4,096טוקנים בהקשר
  • 7.5 GBמשקל הקבצים
  • —הורדות בחודש

מה זה

בממשק הזה אתם מקלידים הודעות רגילות או מעלים קבצים מול מודל השפה. הקוד תומך בקבצי תמונה ובאודיו, כך שניתן לצרף צילום לשאלות או להקליט קטע דיבור קצר, ולקבל תשובת טקסט בצ'אט.

מאחורי הקלעים רץ Megrez-3B-Omni, מודל קומפקטי יחסית של שלושה מיליארד פרמטרים שפותח על ידי Infinigence ומיועד להתמודד עם כמה סוגי מדיה במקביל. אפשר לפתוח תפריט פרמטרים ולכוון ידנית ערכי דגימה כמו טמפרטורה, top-p, top-k ועונש על חזרתיות כדי להשפיע על היצירתיות של התשובות.

מתאים ל

  • שאלות על תמונה

    מעלים תצלום יחיד יחד עם שאלה טקסטואלית כדי לקבל תיאור או פענוח של מה שמופיע בו.

  • בדיקת פקודות קוליות קצרות

    מקליטים דיבור של עד שלושים שניות כדי לבדוק איך המודל מבין הוראות שמע ישירות.

  • כוונון פרמטרי יצירה

    משנים ערכי חזרתיות וטמפרטורה דרך התפריט כדי לבחון את יציבות התשובות של המודל.

איפה זה נופל

יש פה מגבלות קשיחות בקוד שאי אפשר לעקוף. מותר להעלות רק תמונה אחת או קובץ קול אחד בכל פעם, ואסור לערבב בין הקלטה לקובץ קיים באותו שיגור. מעבר לזה, אורך קטע האודיו מוגבל לעד שלושים שניות בלבד, כך שאי אפשר להזין הרצאות או שיחות ארוכות. הודעות השגיאה של הממשק מופיעות בסינית, מה שמקשה על ההבנה כשמשהו נכשל.

שאלות
נפוצות

האם השימוש בממשק עולה כסף?

לא, הגישה לממשק הדפדפן חופשית לחלוטין. אין צורך לשלם מנוי כדי לשלוח הודעות או להעלות קבצים.

כמה זמן לוקח לקבל תשובה?

האפליקציה רצה על חומרת מעבד בסיסית ללא כרטיס מסך ייעודי. בגלל זה המענה איטי יחסית, במיוחד כשמעבדים קבצי קול או תמונות.

אפשר להעלות קובץ שמע של כמה דקות?

לא, הקוד חוסם במפורש קבצים ארוכים. המגבלה מוגדרת לחצי דקה בדיוק, וכל חריגה מקפיצה שגיאה.

אפשר להריץ את זה באופן עצמאי?

כן, הקוד והמערכת מבוססים על גרדיו תחת רישיון פתוח מסוג apache-2.0. אפשר להוריד את הקבצים ולהרים אותם על חומרה משלכם.

איך מריצים

נכנסים לעמוד, כותבים שאלה בתיבה, או מוסיפים קובץ ולוחצים על שליחה. יש אפשרות להקליט ישירות מהמיקרופון או להעלות קובץ אודיו קיים. ההדגמה מוגדרת על מעבד בסיסי בלי מאיץ גרפי ייעודי, אז התגובות עלולות לקחת זמן, במיוחד בעיבוד קבצי מדיה, אבל אין צורך להתקין שום דבר מקומית או לשלם על הגישה.

pip install -U huggingface_hub
hf download Infinigence/Megrez-3B-Omni

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי כולל שינוי והפצה של הקוד. המידע שתעלו עובר דרך שרתי השירות שבו מתארח המרחב, ולכן לא מומלץ להזין קבצי קול או תמונות רגישים שאינכם רוצים לחשוף.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗