Falcon3-demo

מה זה

אתם כותבים הודעה בתיבת הטקסט ומקבלים תשובה שנוצרת במקום, בדומה לכל צ'אטבוט סטנדרטי. הממשק מאפשר לבחור בין ארבע גרסאות של המודל בארכיטקטורת Instruct בגדלים של 1B, 3B, 7B ועד 10B פרמטרים.

מתחת למכסה המנוע הקוד טוען את המודלים והטוקנייזרים ישירות דרך ספריית transformers ומשתמש ב־TextIteratorStreamer כדי להזרים את התשובה תוך כדי כתיבה. אפשר גם לפתוח לשונית הגדרות ולכוונן פרמטרים כמו טמפרטורה, top-p, top-k, עונש על חזרתיות ומספר טוקנים מקסימלי שמגיע עד 32,768.

מתאים ל

• השוואת גדלי מודלים

  מעבר בין גרסאות 1B עד 10B כדי לראות איך גודל הפרמטרים משפיע על איכות התשובות לאותה הנחיה בדיוק.

• בדיקת פרמטרי יצירה

  משחק עם טמפרטורה ועונש חזרתיות כדי לבחון את יציבות התוצאות של מודלי Falcon3 בהגדרות שונות.

• התנסות קלה לפני הורדה

  בדיקה מהירה של מודל ההוראות בדפדפן בלי צורך להוריד עשרות גיגה-בייט למחשב האישי.

איפה זה נופל

הבעיה המיידית היא שהאפליקציה במצב תקלה ולא מגיבה כלל כרגע. מעבר לכך, הקוד כולל רכיב CommitScheduler ששומר לוגים של השיחות במאגר נפרד, כך שאין כאן פרטיות מלאה למי שמזין מידע רגיש. הרצה של מודל עשרה מיליארד פרמטרים על מעבד רגיל גם צפויה להניב זמני תגובה גרועים מאוד בהשוואה לכרטיסי מסך.

איך משתמשים

בוחרים את גודל המודל הרצוי בכפתורי הרדיו, מקלידים שאלה בתיבה ולוחצים על Send. המערכת מוגדרת על חומרת מעבד בסיסית, מה שבדרך כלל אומר שהרצת מודלים בסדר גודל כזה עלולה להיות איטית מאוד, אך כרגע הדף מדווח על שגיאת ריצה כללית, כך שאי אפשר לשלוח הודעות בפועל עד שהיוצרים יתקנו את התקלה.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0, שמתיר שימוש חופשי בקוד כולל שינויים והפצה. יחד עם זאת, הקוד מתעד את השיחות ל־logs_id באמצעות מזהה ייחודי, ולכן כל טקסט שאתם מזינים שם עשוי להישמר אצל המפתחים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗