huggingface-projects/gemma-2-2b-it
רץ בדפדפןhuggingface-projectsרישיון לא דווח2024-07-29
הדגמת שיחה פשוטה שמאפשרת לבדוק את היכולות של מודל השפה הקטן של גוגל ישירות בדפדפן. היא מתאימה למפתחים שרוצים להרגיש את קצב התגובה ואיכות הטקסט לפני שמורידים אותו.
- —הורדות בחודש
- 90לייקים
מה זה
מקלידים הודעה בתיבת הצ'אט ומקבלים תשובת טקסט רציפה שמוזרמת בזמן אמת. הממשק מציג שיחה רגילה, ומאחורי הקלעים הקוד טוען את google/gemma-2-2b-it באמצעות ספריית transformers של פייתון, יחד עם טוקנייזר ייעודי ורכיב סטרימינג.
לפי רשימת המודלים מוגדר גם המודל הגדול יותר בסדרה, אבל הקוד בונה את הממשק עם מודל ה־2B כברירת מחדל. יש בממשק דוגמאות מובנות להרצה מהירה וכמה סליידרים לכיוון פרמטרים, אבל הדוגמאות לא נשמרות במטמון אלא מחושבות בכל פעם מחדש.
מתאים ל
- בדיקת איכות של מודל קל
רואים איך המודל של שני מיליארד פרמטרים מנסח תשובות קצרות לפני שמחליטים אם להוריד אותו לטלפון או לשרת מקומי.
- התנסות בפרמטרים של טקסט
משחקים עם הסליידרים השונים בממשק כדי לראות איך שינוי הגדרות היצירה משפיע על התשובה של המודל בזמן אמת.
- בדיקת שאלות בעברית
כותבים פרומפטים ישירים כדי להבין לבד אם המודל הקומפקטי הזה בכלל מבין ומחזיר עברית קריאה בלי אימון נוסף.
איפה זה נופל
אם תמלאו את כל חלון ההקשר, המערכת תזרוק שגיאה מפורשת שאין מקום לייצר טוקנים חדשים. המודל קטן מאוד עם שני מיליארד פרמטרים בלבד, ולכן הוא לא מתאים למשימות היגיון מורכבות, ניתוח קוד מסובך או עבודה בעברית עמוקה בלי בדיקה יסודית מראש.
אותה משפחה
gemma-2 יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
האם השימוש באפליקציה עולה כסף?
לא, הגישה בדפדפן פתוחה לגמרי ולא דורשת תשלום או הרשמה. היא רצה על גבי שרתי הניסיון של Hugging Face. כל מה שצריך זה רק חיבור רשת תקין.
כמה זמן לוקח לקבל תשובה?
הטקסט מתחיל לזרום תוך שניות בודדות ברגע שהמעבד הגרפי מוקצה. מאחר שמדובר בחומרת A10G ומודל קטן של 2B, קצב ייצור המילים מהיר מאוד. אם יש עומס רגעי, ייתכן עיכוב קצר לפני שהמילה הראשונה מופיעה.
במה הדף הזה שונה מלהוריד את המודל למחשב?
כאן מקבלים ממשק צ'אט מוכן שרץ על שרת מרוחק בלי צורך להתקין ספריות פייתון או להחזיק כרטיס מסך חזק. מצד שני, אתם מוגבלים לחלון ההקשר שהוגדר בקוד ולזמינות של השרת הציבורי.
מה קורה אם כותבים הודעה ארוכה מדי?
הקוד כולל בדיקה מפורשת של אורך הטקסט מול מגבלת המודל. אם תכניסו טקסט שסותם את כל חלון ההקשר, הדף יקפיץ שגיאה ויסרב לענות עד שתקצרו את הפרומפט.
איך משתמשים
נכנסים לדף, בוחרים דוגמה או כותבים הודעה בתיבת הטקסט ושולחים. אין צורך להתחבר או להירשם. הריצה מתבצעת על חומרת zero-a10g שמקצה כרטיס גרפי לפי דרישה, כך שאם השרת חם התשובה מגיעה כמעט מיד, אבל אם המשאב נרדם ייתכן עיכוב קל בתחילת הפלט.
הרישיון
הרישיון לא דווח בעמוד של האפליקציה. המשמעות היא שאין הגדרה ברורה לגבי זכויות שימוש מסחריות או מה מותר לעשות עם הפלטים, ולכן עדיף לא להזין לשם שום מידע רגיש או פרטי.