ddg-web-search-chat

מה זה

אתם מקלידים שאלה בתיבת הטקסט ומקבלים תשובה מנומקת שמסתמכת על חיפוש מקוון. מאחורי הקלעים הקוד מפעיל את ספריית llama-cpp-agent עם כלי חיפוש שמזין את תוצאות הדפדפן ישירות לפרומפט, כך שהמודל מחזיר ציטוטים של המקורות שמצא ברשת.

המערכת מושכת גרסאות מכווצות בפורמט GGUF של Mistral-7B-Instruct-v0.3 ושל Meta-Llama-3-8B-Instruct, לצד תמיכה בקוד בדגם Mixtral-8x7B. בהגדרות הממשק אפשר לבחור את המודל, לערוך את הודעת המערכת, ולקבוע פרמטרים כמו טמפרטורה שמוגדרת כברירת מחדל על 0.45 ומספר תווי פלט מרבי של עד 4096.

מתאים ל

• שאילתות על מידע עדכני

  שליפת נתונים מנוע החיפוש בזמן אמת וקבלת סיכום שאינו מוגבל לתאריך אימון הדגם.

• בדיקת מקורות ברשת

  קבלת תשובה הכוללת ציטוטים והפניות למקורות ש־DuckDuckGo מצא ברשת.

• השוואת מודלים קטנים

  בדיקת התנהגות של לאמה מול מיסטרל תחת אותה הגדרת סוכן וטמפרטורה.

איפה זה נופל

הבעיה המיידית היא שהאפליקציה במצב תקול של שגיאת ריצה, ולכן אי אפשר להשתמש בה כרגע בדפדפן. בנוסף, מודלים בגודל 7B או 8B נוטים לפספס עובדות או לקרוא לא נכון תוצאות חיפוש מורכבות, וצריך לבדוק ידנית את הקישורים המצוטטים.

איך משתמשים

בפועל אין צורך בהרשמה או התחברות. בוחרים דגם בתפריט, משאירים או משנים את הטמפרטורה, ולוחצים שליחה. השרת מוגדר לרוץ על מעבד גרפי מסוג zero-a10g שמקצה משאבים לפי דרישה, אך נכון לעכשיו העמוד נמצא במצב שגיאת ריצה ולא מייצר מענה.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי, שינוי והפצה כולל שימוש מסחרי בקוד. לגבי המודלים עצמם והטקסט המופק, יש לפעול לפי תנאי הרישיון המקוריים של מטא ומיסטרל.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗