חדש תמונה, וידאו, קריינות ותמלול בקריאה אחת, בלי להריץ מודל. מנסים בלי שרת

GPT
G

google-gemma

רץ בדפדפן

Omnibusרישיון לא דווח2024-02-21

  • gradio

ממשק שיחה שמאפשר לבדוק את ארבעת דגמי Gemma של גוגל מול שרתי Hugging Face. מתאים למי שרוצה להתנסות בהגדרות טקסט שונות בלי להרים שרת משלו.

  • —הורדות בחודש
  • 89לייקים

מה זה

כותבים פקודת טקסט רגילה, מוסיפים הנחיית מערכת אם רוצים, ומקבלים תגובה ישירה בחלון צ'אט. הממשק מאפשר לבחור בין ארבע גרסאות שונות של המודל: google/gemma-2b, google/gemma-2b-it, google/gemma-7b וגם google/gemma-7b-it. אפשר להתערב ישירות במבנה השאילתה דרך שדה שמציג את התבנית של המודל, ולכוונן ערכים כמו טמפרטורה, חזרתיות ומספר התשובות הקודמות שנשמרות בזיכרון.

הקוד שמאחורי הדף לא מחזיק את המודלים בזיכרון המקומי אלא פונה אליהם דרך ספריית Hugging Face InferenceClient. בנוסף לחלון השיחה, מופיע מודול שמיועד ליצירת צילום מסך של קטעי שיחה נבחרים לפי רוחב, גובה וזמן המתנה מוגדרים.

מתאים ל

  • השוואת גרסאות Gemma

    בדיקת ההבדל בין גרסאות הבסיס לגרסאות ה־Instruct של דגמי 2B ו־7B על אותו הטקסט.

  • ניסוי במבנה פרומפטים

    שינוי ידני של תבניות השיחה כדי לראות איך המודל מגיב לשינויי תגיות קלט.

  • תיעוד שיחות לתמונות

    הפקת צילומי מסך מותאמים של חלקי צ'אט לפי מידות וזמני השהיה.

איפה זה נופל

הבעיה המרכזית היא שהיישום שבור ולא מגיב. מעבר לזה, הממשק מסומן כניסיוני לחלוטין, והוא לא מספק תמיכה בהעלאת קבצים או מסמכים, אלא רק בטקסט חופשי. מי שמתכנן לבדוק ביצועים של דגמי ה־7B צריך לזכור שפנייה מרוחקת דרך שרת בסיסי עלולה לייצר השהיות ולא משקפת מהירות ריצה על חומרה ייעודית.

שאלות
נפוצות

האם השימוש בממשק הזה עולה כסף?

לא. מדובר בדף שרץ על גבי Hugging Face, ואין בו דרישת תשלום או מדרגות מחיר.

האם אפשר להשתמש באפליקציה כרגע?

לא. הדף מדווח כרגע על שגיאת ריצה (RUNTIME ERROR), ולכן הוא לא מתפקד עד שהיוצר יתקן את הקוד.

מה קורה לטקסט שכותבים בשיחה?

הטקסט מועבר דרך השרת אל שירותי ה־Inference של Hugging Face כדי לחשב את התשובה. אין פירוט לגבי שמירת נתונים מעבר להגדרת זיכרון השיחה המקומית.

האם המודלים רצים על המחשב שלי?

לא. הממשק פונה לשרתים מרוחקים. אם רוצים להריץ אותם מקומית, צריך להוריד את המשקלים של Gemma ולהשתמש בחומרה מתאימה.

איך משתמשים

בפועל, כרגע אי אפשר להריץ כאן כלום. הממשק נמצא במצב שגיאת ריצה (RUNTIME ERROR), כך שניסיון לשלוח טקסט בלחיצה על כפתור Chat פשוט לא יעבוד. במצב תקין, הכלים הללו פועלים על חומרת מעבד בסיסית ומשתמשים בקריאות רשת לממשקי קצה חיצוניים, כך שזמני התגובה תלויים לחלוטין בעומס על שרתי היעד.

הרישיון

הרישיון של הממשק עצמו לא דווח בקוד או בתיעוד. המשמעות היא שאין תנאי שימוש ברורים לגבי הקוד של האפליקציה, אם כי המודלים עצמם כפופים לתנאי ההפצה המקוריים של גוגל.

הרישיון המלא ב־Hugging Face ↗