QuixiAI/chat

מה זה

הממשק מציג חלון שיחה מבוסס גרדיו שבו כותבים הודעות ומקבלים תגובות מהמודל שנבחר. מתחת למכסה המנוע הקוד מוריד קובצי GGUF מכווצים, ביניהם Dolphin 3.0 מבוסס Mistral 24B בכימות Q8_0 ו־Dolphin 2.9.2 מבוסס Qwen2 72B בכימות Q3_K_M. הריצה נעשית מקומית בעזרת ספריית llama-cpp וסוכן ייעודי לניהול ההיסטוריה.

בצד ההגדרות אפשר לבחור מודל מתוך תפריט נפתח ולכוונן פרמטרים. הממשק חושף סליידר לכמות טוקנים מקסימלית שמגיע עד 8192, ובקרת טמפרטורה שמוגדרת כברירת מחדל על 0.6 וניתנת לשינוי בין 0.05 ל־4.0.

מתאים ל

• בדיקת גרסאות דולפין

  השוואה מהירה בין גרסת Mistral 24B לבין Qwen2 72B באותו ממשק שיחה.

• כוונון פרמטרי יצירה

  משחק עם טמפרטורה מ־0.05 עד 4.0 ואורך פלט של עד 8192 טוקנים.

• שיחה פתוחה ללא סינון

  בדיקת מענה של מודלים ממשפחת דולפין לשאלות שחסומות במודלים מסחריים אחרים.

איפה זה נופל

הבעיה המיידית היא שהכלי תקוע על שגיאת ריצה, ולכן כרגע אי אפשר לשוחח איתו כלל בדפדפן. מעבר לכך, מודל של 72 מיליארד פרמטרים שרץ בכימות Q3_K_M מאבד דיוק לעומת המקור כדי להידחס לזיכרון. אין כאן חיבור לרשת בזמן אמת או תמיכה בהעלאת קבצים ומסמכים.

איך משתמשים

נכנסים לעמוד בדפדפן בלי צורך בהתחברות או הגדרת חשבון, בוחרים מודל ומתחילים להקליד. המערכת מוגדרת לרוץ על חומרת zero-a10g שמקצה מעבד גרפי לפי דרישה. יחד עם זאת, נכון לעכשיו היא נמצאת במצב של שגיאת ריצה, כך שהממשק לא מגיב בפועל עד שהיוצר יתקן את הקוד.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי, שינוי הקוד והפצה מסחרית. תוכן השיחות שתקלידו מועבר ישירות לשרתי הריצה של המרחב בהאגינג פייס.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗