OpenELM_3B_Demo

מה זה

הממשק מציג צ'אט מבוסס טקסט. אתם מקלידים הנחיה או שאלה באנגלית ומקבלים תגובה ישירה שנוצרת בזמן אמת באמצעות הזרמת טקסט, לצד דוגמאות מובנות לבדיקה מהירה וכפתורי מחוון לשליטה בפרמטרי היצירה.

מאחורי הקלעים רץ המודל OpenELM-3B-Instruct של אפל, שנטען באמצעות ספריית transformers ומשתמש בטוקנייזר של Llama 2. המודל אומן על מאגרי מידע ציבוריים כדי לבדוק ביצועים של מודלים קטנים וממוקדי יעילות, והקוד כולל מנגנון שגוזר את הקלט אם הוא חורג ממגבלת הטוקנים שהוגדרה.

מתאים ל

• בדיקת יכולות מענה

  הרצת שאלות ובקשות ישירות כדי לראות איך מודל הוראות קטן של אפל מנסח תשובות.

• השוואת ביצועי גודל

  בחינת יכולות ההסקה של מודל של 3 מיליארד פרמטרים מול מודלים קלים אחרים.

• שכפול והרצה עצמאית

  העתקת הקוד של החלל ותיקון ההגדרות שלו כדי להריץ סביבת צ'אט פרטית.

איפה זה נופל

החיסרון המרכזי כרגע הוא שההדגמה שבורה ומדווחת על שגיאת הגדרה, כך שאי אפשר להשתמש בה כלל. מעבר לזה, אפל מציינת במפורש שהמודל שוחרר ללא מנגנוני בטיחות או סינון, ולכן הוא עלול לפלוט מידע שגוי, מוטה או פוגעני. הוא לא מתאים להסתמכות בעברית או למשימות מורכבות שמצריכות אמינות גבוהה.

איך משתמשים

הממשק מבוסס על צ'אט פשוט, שבו מקלידים טקסט, מכווננים את המחוונים במידת הצורך ושולחים. הוא מוגדר לרוץ על מעבד גרפי מסוג zero-a10g שמקצה משאבים לפי דרישה לצורך יצירת טקסט מהירה, אבל כרגע האפליקציה נמצאת במצב שגיאת קונפיגורציה ולא ניתנת להרצה בדפדפן בלי תיקון.

הרישיון

הרישיון מוגדר כ־other, כלומר תנאי שימוש ייעודיים של אפל ולא רישיון קוד פתוח סטנדרטי. המודל שוחרר לצורכי מחקר, ומי שמתכנן להשתמש בו או בתוצרים שלו צריך לבדוק את תנאי הרישיון המקוריים של אפל לפני כל שימוש מסחרי.

הרישיון המלא ב־Hugging Face ↗