aya_expanse
רץ בדפדפןCohereLabsרישיון לא דווח2024-10-23
הממשק מציג יכולות שיחה, ראייה ממוחשבת ויצירת תמונות מבוססות טקסט בשפות שונות. הוא מיועד למי שרוצה לבדוק בפועל את משפחת המודלים של Cohere ישירות בדפדפן.
- —הורדות בחודש
- 336לייקים
מה זה
אתם מזינים טקסט חופשי, קובצי תמונה או קלט קולי, ומקבלים תגובות טקסטואליות, ניתוח חזותי או תמונות חדשות שנוצרות לפי התיאור. המערך כולל לשונית ייעודית למודל הראייה aya-vision-32b שמאפשרת להעלות תמונה ולשאול עליה ב־23 שפות נתמכות, לצד לשונית שיחה רגילה שמריצה את aya-expanse-32b בטמפרטורה של 0.3.
מאחורי הקלעים הקוד משלב שרשרת של כלים חיצוניים ולא רק מודל בודד. הממשק משתמש ב־fasttext לזיהוי שפת הקלט, ב־whisper-large-v3-turbo לתמלול אודיו, ובמודל FLUX.1-schnell שמייצר תמונות בפועל דרך תיאור באנגלית ש־Aya בונה עבורו. בדף מובנות דוגמאות מוכנות מראש לשיחה, לשאלות על תמונות ולהמרת טקסט לתיאורי תמונה בשפות שונות.
מתאים ל
- ניתוח תמונות רב-לשוני
העלאת תמונה ושאילת שאלות עליה בעשרות שפות שונות דרך מודל הראייה.
- שיחה ומענה לשאלות
הרצת שיחות טקסט חופשיות מול aya-expanse-32b לקבלת מידע וניסוח.
- בניית פרומפטים לתמונות
הזנת רעיון בשפה מקומית, תרגומו לתיאור מדויק באנגלית ויצירת תמונה ב־FLUX.
איפה זה נופל
ההדגמה לא מייצרת תמונות ישירות מתוך המודל של Cohere אלא משתמשת בו רק כמתרגם פרומפטים עבור FLUX, מה שעלול להטעות לגבי היכולות העצמאיות שלו. בנוסף, חומרת ההרצה היא t4-small בסיסית, ואם שירותי ה־API החיצוניים או חיבורי הענן של ההדגמה חווים עומס, חלק מהפונקציות פשוט ייכשלו.
שאלות
נפוצות
האם השימוש בממשק עולה כסף?
לא, הממשק פתוח לשימוש חופשי בדפדפן דרך Hugging Face. אין צורך להזין אמצעי תשלום כדי להריץ שאילתות.
מה קורה עם הקבצים והמידע שמעלים?
הקוד פונה לשירותי ענן ו־API חיצוניים כמו Hugging Face Inference API ו־Google Cloud Storage. מאחר שהרישיון ותנאי השימוש לא צוינו, אל תעלו לשם תמונות פרטיות או מידע רגיש.
האם אפשר להריץ את המערכת הזו מקומית?
אפשר להוריד את הקוד, אבל להריץ אותו בשלמותו ידרוש מפתחות API תואמים והרבה משאבים. מודלי ה־32B דורשים כרטיסי מסך חזקים בהרבה ממה שיש במחשב ביתי רגיל.
במה הממשק שונה מהרצת המודל עצמו?
הממשק מחבר כמה כלים יחד ברצף. הוא מזהה את השפה, מעביר את השאלה למודל של Cohere, ומשתמש במודלים נפרדים של Whisper ו־FLUX לקול ולתמונות.
איך משתמשים
לוחצים על הלשונית הרצויה, כותבים שאלה בתיבה, מעלים תמונה אם בחרתם בראייה, ולוחצים על Submit. התשובות בשיחה מגיעות בהזרמה ישירה. השרת פועל על חומרת t4-small צנועה למדי, אבל מודלי הענק של 32 מיליארד פרמטרים והפקת התמונות לא נשענים על המעבד הזה ישירות אלא פונים ל־API חיצוניים, כך שזמן התגובה תלוי בעיקר ברשת ובזמינות השירותים המרוחקים.
הרישיון
הרישיון של המרחב לא דווח. המשמעות היא שאין הגדרה רשמית לזכויות השימוש בקוד של ההדגמה עצמה, ולא ברור מהם תנאי הפרטיות או השימוש לגבי תמונות וטקסטים שמועלים ונשלחים דרך ה־API.