vilarin/aya-expanse-8b

מה זה

אתם מקלידים הודעות טקסט בחלון שיחה ומקבלים תשובות שנוצרות בזמן אמת באמצעות הזרמת טקסט. הממשק מבוסס על Gradio ומציג חלון צ'אט רגיל בגובה שש מאות פיקסלים, עם תיבת קלט ותפריט פרמטרים מתקדם שמסתתר תחת תיבת בחירה סגורה. בתפריט הזה יש תיבת טקסט ייעודית וכמה מחוונים שמאפשרים לשנות את הגדרות הריצה של המודל.

מאחורי הקלעים רץ המודל CohereForAI/aya-expanse-8b דרך ספריית transformers של פייתון. הקוד משתמש בטוקנייזר תואם, תומך בקוונטיזציה של BitsAndBytes ומריץ תהליכון נפרד כדי להזרים את המילים ברגע שהן נוצרות. יש בממשק גם דוגמאות מוכנות מראש ללחיצה, אבל הקוד מגדיר במפורש שהן לא נשמרות במטמון, כך שכל בחירה בדוגמה מפעילה חישוב מלא מההתחלה.

מתאים ל

• בדיקת שאלות ותשובות

  מזינים שאלות ידע כללי או הנחיות פשוטות ובודקים את רמת הדיוק של המודל ישירות בחלון הצ'אט.

• כוונון פרמטרי יצירה

  משנים את המחוונים בתפריט ההגדרות כדי לראות איך שינוי פרמטרים משפיע על אורך ותוכן הפלט.

• שכפול סביבת עבודה פרטית

  לוחצים על כפתור השכפול המובנה בקוד כדי להעתיק את המרחב לחשבון אישי ולהריץ אותו בלי תלות באחרים.

איפה זה נופל

ההדגמה מוגבלת לשיחה בסיסית בלבד ואינה תומכת בהעלאת קבצים, מסמכים או תמונות. המודל עצמו בגודל שמונה מיליארד פרמטרים, ולכן הוא לא מתאים למשימות היגיון מורכבות במיוחד שדורשות מודלי ענק. בנוסף, הקצאת החומרה הדינמית עשויה לנתק את החיבור באמצע שיחה ארוכה אם יש עומס על השרתים הציבוריים.

איך משתמשים

נכנסים לעמוד, כותבים שאלה בתיבה ולוחצים על שליחה. מכיוון שהאפליקציה במצב שינה, הטעינה הראשונה תדרוש המתנה של דקה או שתיים עד שהשרת יתעורר וימשוך את המשקלים לזיכרון. המערכת מוקצית לחומרת zero-a10g של Hugging Face Spaces, מה שאומר שכשהיא פעילה, המעבד הגרפי מייצר תשובות תוך שניות בודדות, אבל אתם חולקים את המשאב עם משתמשים אחרים ברשת.

הרישיון

הפרויקט מופץ תחת רישיון apache-2.0, רישיון קוד פתוח מתירני שמאפשר שימוש חופשי, שינוי הקוד והפצה מחדש, כולל למטרות מסחריות. הרישיון מכסה את קוד הממשק של המרחב עצמו. לגבי התוכן שאתם מקלידים, הוא נשלח ישירות לתשתית שמריצה את המודל, ולכן אין להזין בו מידע רגיש או סודי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗