llama-3.2-3B-Instruct
רץ בדפדפןhuggingface-projectsרישיון לא דווח2024-09-23
ממשק שיחה פשוט לבדיקת מודל השפה הקטן של מטא ישירות בדפדפן. אתם מקלידים שאלה או בקשה ומקבלים תשובת טקסט מוזרמת בזמן אמת, בלי להגדיר שרתים.
- —הורדות בחודש
- 128לייקים
מה זה
כותבים הודעה בתיבת הטקסט ומקבלים מענה ישיר מהמודל. מתחת למכסה המנוע רץ Llama 3.2 3B Instruct, מודל של שלושה מיליארד פרמטרים שמיועד למשימות שיחה וטקסט קלות. הממשק כולל דוגמאות מובנות להרצה מהירה של שאלות נפוצות, ומאפשר לשחק עם חמישה סליידרים שונים של הגדרות היצירה.
התשובה לא מגיעה בבת אחת אלא מוזרמת תוך כדי כתיבה באמצעות מנגנון ייעודי בקוד. זה נותן תחושה חיה של צ'אט, אבל האיכות הכוללת מוגבלת מטבע הדברים לגודל של מודל קטן יחסית שלא מתחרה בגרסאות הענק.
מתאים ל
- ניסוח ושכתוב מהיר
הדבקת פסקאות קצרות לצורך עריכה לשונית, קיצור או שינוי סגנון.
- בדיקת יכולות המודל
בחינה מעשית של גרסת 3B לפני שמחליטים להוריד אותה למחשב המקומי.
- מענה על שאלות ידע
קבלת הסברים פשוטים או סיכומים קצרים בנושאים מוגדרים היטב.
איפה זה נופל
אם תדביקו טקסט ארוך מדי שימלא את כל חלון ההקשר, המערכת תזרוק שגיאה מפורשת ולא תייצר שום מילה. בנוסף, חל איסור לשלוח הודעות ריקות. מודל של שלושה מיליארד פרמטרים נוטה לפספס בהוראות מורכבות או בעברית קשה, והממשק לא שומר היסטוריה או קבצים מעבר לסשן הנוכחי.
שאלות
נפוצות
האם השימוש באפליקציה עולה כסף?
לא, הגישה בדפדפן פתוחה וחינמית לחלוטין. כל עוד יש מכסות פנויות בחומרת השרת השיתופית, אפשר להשתמש בלי לשלם.
מה קורה אם הטקסט שלי ארוך מדי?
הקוד בודק את נפח הקלט מראש. אם תנצלו את כל חלון ההקשר, תקבלו הודעת שגיאה שהמודל לא יכול לייצר טוקנים חדשים והפעולה תיעצר.
האם אפשר להריץ את זה באופן מקומי?
כן, המודל והקוד פתוחים להורדה. תצטרכו סביבת פייתון, את חבילת transformers וכרטיס מסך שיכול להחזיק מודל של 3B.
איך משתמשים
נכנסים לדף, מקלידים הודעה בתיבה ולוחצים על שליחה. האפליקציה רצה על חומרת zero-a10g שמקצה כרטיס מסך לפי דרישה. כשאין עומס המענה מתחיל כמעט מיד, אבל אם המשאב נרדם או שיש תור בשרת, תצטרכו להמתין כמה שניות עד שהמעבד הגרפי יתעורר ויטען את הפעולה.
הרישיון
בדף הפרויקט לא דווח רישיון שימוש. המשמעות היא שאין הגדרה רשמית מה מותר לעשות עם הפלט ואם מותר להשתמש בו לצרכים מסחריים, כך שכדאי לבדוק את תנאי הרישיון המקוריים של מטא למודל עצמו.