Chat-with-Bitnet-b1.58-2B-4T

מה זה

כותבים הודעת טקסט רגילה בתיבת השיחה ומקבלים מענה טקסטואלי ישיר מהמודל. לצד תיבת הקלט יש סליידרים שונים לכוונון פרמטרים של תהליך היצירה, לצד דוגמאות מובנות להרצה מהירה כדי להתרשם מיד מסגנון התשובות ומהיכולות שלו.

מאחורי הקלעים רץ המודל bitnet-b1.58-2B-4T של מיקרוסופט, עם שני מיליארד פרמטרים שאומנו על ארבעה טריליון טוקנים. הטכניקה הזו דוחסת את המשקולות לערכים של 1.58 ביט בלבד, מה שמאפשר חיסכון גדול במשאבי חישוב תוך ניסיון לשמור על רמת ביצועים של מודלים בגודל מלא.

מתאים ל

• בדיקת איכות של מודל קטן

  בוחנים איך מודל מכווץ של מיקרוסופט עונה לשאלות קצרות ולבקשות ניסוח.

• ניסוי בפרמטרים של טקסט

  משחקים עם הסליידרים בממשק כדי לראות איך ההגדרות משפיעות על פלט המודל.

• התרשמות ממחקר 1.58 ביט

  רואים בפועל אם דחיסה קיצונית של משקולות מצליחה להחזיק שיחה קוהרנטית.

איפה זה נופל

זה עדיין מודל קטן של 2B פרמטרים, אז אל תצפו ממנו לתשובות מורכבות או להיגיון עמוק של מודלים ענקיים. בנוסף, כל הרעיון של ביטנט הוא לרוץ ביעילות קיצונית על מעבדים רגילים, אבל כאן בהדגמה מריצים אותו על כרטיס גרפי של אנבידיה, כך שאי אפשר להרגיש את היתרון האמיתי של הרצת המודל על מעבד חלש.

איך משתמשים

נכנסים לעמוד, מקלידים שאלה או בוחרים דוגמה, ומקבלים פלט מיידי בלי צורך בהתחברות או בהרשמה. הכל רץ על תשתית zero-a10g שמוקצית לפי דרישה, כך שאם השרת קר יכולה להיות המתנה קצרה של שניות ספורות בהפעלה, אבל ברגע שהמודל נטען התגובות מגיעות במהירות גבוהה.

הרישיון

הפרויקט מפורסם תחת רישיון MIT, שמאפשר שימוש חופשי כולל שינוי והפצה. התוכן שאתם מקלידים נשלח לשרת של האפליקציה לצורך יצירת התשובה, ללא התחייבות לפרטיות.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗