demo-groq-tool-use

מה זה

אתם כותבים טקסט חופשי בתיבת השיחה, כולל שאלות שמערבות חשבון, ומקבלים תשובה מנומקת בחלון הצ'אט. מאחורי הקלעים רץ המודל llama3-groq-70b-8192-tool-use-preview דרך ה־API של Groq, שמזהה מתי יש ביטוי שדורש חישוב ומפעיל כלי ייעודי.

הכלי היחיד שמוגדר בקוד הוא מחשבון שמבוסס על ספריית numexpr בפייתון. במקום שהמודל ינחש מספרים או יטעה בחישובים מורכבים, הוא מעביר למחשבון ביטוי מתמטי תקין, מקבל את התוצאה המדויקת, ומשלב אותה בחזרה בתוך התשובה שהוא מחזיר לכם.

מתאים ל

• בדיקת דיוק מתמטי

  מזינים שאלות מילוליות עם חישובים מסובכים ובודקים אם המודל בוחר להפעיל את המחשבון כדי לא לטעות.

• לימוד חיבור כלים

  צופים בקוד כדי להבין איך מגדירים פונקציה חיצונית ומעבירים אותה ל־API של Groq בתור Tool.

• בחינת מהירות המודל

  בודקים את זמן התגובה של מודל Llama 3 בגודל 70B בעבודה מול שרתי Groq בזמן אמת.

איפה זה נופל

ההדגמה מוגבלת מאוד לעומת היכולות המלאות של המודל. יש בה רק כלי אחד, מחשבון, והוא תומך רק בתחביר פייתון תקין כמו כוכביות כפולות לחזקה. אם תבקשו חיפוש ברשת, קריאת קבצים או הרצת קוד מורכב, זה לא יעבוד כאן כי הפונקציות האלה פשוט לא מומשו בקוד.

איך משתמשים

נכנסים לממשק ורואים תיבת טקסט פשוטה של Gradio ChatInterface. כותבים שאלה, לוחצים אנטר או על כפתור השליחה, והשיחה מתעדכנת מיד. אין צורך בהתחברות, בהרשמה או בהזנת מפתח API משלכם.

ההדגמה רצה על חומרת cpu-basic של Hugging Face, אבל החישוב של המודל עצמו לא מתבצע שם אלא נשלח ישירות לשרתי Groq. זה אומר שהתשובות חוזרות מהר מאוד וללא תור מורגש, למרות שהשרת המארח של הממשק הוא הבסיסי ביותר.

הרישיון

הקוד פתוח ברישיון apache-2.0, שמאפשר שימוש חופשי ושינוי. כל טקסט שאתם מקלידים נשלח דרך הרשת ל־API של Groq ושל Hugging Face, ולכן לא מומלץ להזין שם מידע רגיש.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗