falcon-mamba-playground
רץ בדפדפןtiiuaeרישיון לא דווח2024-08-12
ממשק שיחה פשוט לבדיקת מודל השפה tiiuae/falcon-mamba-7b-instruct ישירות בדפדפן. המרחב מיועד למי שרוצה להתנסות בארכיטקטורת Mamba בלי להוריד משקלים או להגדיר שרת.
- —הורדות בחודש
- 65לייקים
מה זה
אתם מקלידים הודעות טקסט בחלון צ'אט ומקבלים תשובות שנוצרות בזמן אמת באמצעות הזרמת טקסט. הממשק כולל חלון שיחה בגובה 600 פיקסלים ותפריט הגדרות מתקדם שמאפשר לשחק עם פרמטרים שונים של הדגימה דרך סליידרים ייעודיים. בנוסף שולבו דוגמאות מוכנות מראש להרצה מהירה כדי להמחיש את היכולות של המודל.
מאחורי הקלעים הקוד טוען את המודל tiiuae/falcon-mamba-7b-instruct בעזרת ספריית transformers של Hugging Face. המודל מתבסס על ארכיטקטורת Mamba שמיועדת למשימות שפה ומעקב אחרי הוראות כחלופה לרשתות מבוססות טרנספורמר רגילות.
מתאים ל
- הערכת תגובות להוראות
בדיקת איכות התשובות של המודל להנחיות טקסט ישירות וקצרות.
- כוונון פרמטרי יצירה
משחק עם סליידרים שונים כדי לראות איך פרמטרי הדגימה משפיעים על הפלט.
- שכפול סביבת עבודה
העתקת קוד הממשק לחשבון פרטי לצורך בדיקות עצמאיות עם חומרה מותאמת.
איפה זה נופל
הבעיה המרכזית כרגע היא שהאפליקציה פשוט לא עובדת ונמצאת במצב שגיאה, כך שאי אפשר להריץ עליה שום בדיקה מעשית. מעבר לכך, היא מוגדרת על מעבד בסיסי בלבד ודוגמאות הריצה שלה לא נשמרות במטמון. גם אם השגיאה תתוקן, מודל של שבעה מיליארד פרמטרים ללא מאיץ גרפי ייעודי יתקשה מאוד להגיב במהירות סבירה.
שאלות
נפוצות
האם השימוש באפליקציה הזאת כרוך בתשלום?
הגישה למרחב עצמו היא בחינם ואינה דורשת תשלום. אם תרצו לשכפל אותו לחשבון הפרטי שלכם, הפעולה הזאת עשויה לדרוש מכם משאבי חומרה בתשלום. כרגע המרחב המקורי בכל מקרה אינו שמיש עקב שגיאת ריצה.
מה קורה עם הטקסט והמידע שאני מזין בצ'אט?
הטקסט נשלח ישירות למודל לצורך יצירת התשובה בתוך המרחב הפומבי. מכיוון שלא הוגדר רישיון ולא פורטו תנאי פרטיות מיוחדים, לא מומלץ להזין שם מידע רגיש. עדיף להניח שהקלט עלול להישמר ביומני השרת של הפלטפורמה.
במה המרחב הזה שונה מהרצת המודל ישירות בקוד?
המרחב עוטף את המודל בממשק גרפי של ספריית gradio ומציג צ'אט עם סליידרים מוכנים. הוא חוסך כתיבת קוד טעינה והתקנת ספריות מקומיות. לעומת זאת, הרצה עצמאית נותנת לכם שליטה מלאה על החומרה בלי תלות בשגיאות של הממשק הציבורי.
האם אפשר להריץ את האפליקציה הזאת מקומית?
כן, אפשר להוריד את קובץ app.py ולהריץ אותו במחשב שלכם עם סביבת פייתון מתאימה. תצטרכו להתקין ספריות כמו torch ו־transformers ולהוריד את משקלי המודל. בנוסף תצטרכו חומרה חזקה כדי להריץ מודל של שבעה מיליארד פרמטרים בצורה חלקה.
איך משתמשים
כדי להשתמש כותבים הודעה בתיבת הקלט של רכיב ChatInterface, או בוחרים באחת הדוגמאות המוכנות, ולוחצים על שליחה. אפשר לפתוח את תפריט הפרמטרים ולשנות את ערכי הסליידרים כדי להשפיע על התוצאה. המרחב כולל גם כפתור לשכפול מהיר לשימוש פרטי בחשבון שלכם. עם זאת, נכון לעכשיו המרחב מוגדר על חומרת cpu-basic ונמצא במצב של שגיאת ריצה, כך שהממשק פשוט לא מגיב ולא מייצר פלט כרגע בדפדפן.
הרישיון
הרישיון של המרחב עצמו לא דווח בקוד או בפרטי העמוד. המשמעות היא שאין תנאי שימוש ברורים לגבי קוד הממשק, ומומלץ לבדוק את הרישיון הישיר של מודל המקור falcon-mamba-7b-instruct לפני שמסתמכים על תוצרים כלשהם.