GPT
הוספת כלי
L

Llama-3-Groq-70B-Tool-Use

קוד פתוח

Groqllama32024-06-25

  • transformers
  • safetensors
  • llama
  • text-generation
  • facebook

יש כאן גם סקירה על Groq עצמו.

גרסה מכווננת של לאמה שמיועדת כולה להפעלת פונקציות וקריאות לכלים חיצוניים. היא שוברת שיאי דיוק בקטגוריה שלה אבל דורשת חומרה כבדה במיוחד.

  • 71Bפרמטרים
  • 8,192טוקנים בהקשר
  • 131 GBמשקל הקבצים
  • 2,178הורדות בחודש

מה זה

המודל הזה עבר אימון מלא ושיפור באמצעות DPO על גבי מודל הבסיס של מטא, במטרה ברורה להפוך אותו למדויק בהפעלת כלים. הוא לא מנסה להיות הכל מהכל, אלא מתמקד בהבנת ממשקים, החזרת פלט מובנה ואינטראקציה מול ספריות קוד ומערכות חיצוניות.

במבחן BFCL, שבודק קריאות לפונקציות ברמות מורכבות שונות, הוא הגיע לציון דיוק של 90.76 אחוז. זה הציון הגבוה ביותר שנמדד למודל קוד פתוח בסדר הגודל של 70 מיליארד פרמטרים, מה שאומר שהוא מייצר קריאות תקינות תחבירית ולוגית באמינות גבוהה מאוד ביחס למתחרים הפתוחים.

מתאים ל

  • סוכני תוכנה חכמים

    פיתוח מנגנונים שמריצים קוד, מפעילים כלי שורת פקודה וקוראים לספריות חיצוניות לפי בקשת משתמש.

  • ניתוב שאילתות לממשקים

    קבלת טקסט חופשי ותרגומו לקריאת שרת מדויקת עם כל הפרמטרים הנכונים בפורמט קשיח.

  • עיבוד מידע מובנה

    שליפת נתונים מטקסט ותרגומם למבנים הנדרשים להזנה במערכות מידע ומאגרי נתונים.

איפה זה נופל

היוצרים מבהירים שההתמקדות בכלים באה על חשבון דברים אחרים, כך שלמשימות של ידע כללי, כתיבה חופשית או שיחה פתוחה עדיף לבחור במודל רגיל. בנוסף, הוא רגיש מאוד להגדרות הדגימה, והיוצרים ממליצים להתחיל מטמפרטורה של 0.5 וערך טופ פי של 0.65 כדי למנוע קריסות או הזיות. השפה הנתמכת רשמית היא אנגלית בלבד, וחלון ההקשר עומד על 8,192 טוקנים, מגבלה שתכביד אם תרצו להעביר לו תיעוד ארוך של עשרות ממשקים בו זמנית.

שאלות
נפוצות

האם המודל מתאים לשיחה כללית בעברית?

הכרטיס מצהיר על תמיכה באנגלית בלבד, והוא אומן באופן ייעודי לפונקציות ולא לשיחות פתוחות. לשיחה רגילה, במיוחד בעברית, מודל בסיס רגיל יעשה עבודה טובה בהרבה.

איך כדאי להגדיר את הפרמטרים של הריצה?

היוצרים מציינים שהמודל רגיש מאוד לערכים האלה וממליצים מפורשות להתחיל בטמפרטורה של 0.5 ובטופ פי של 0.65. שינוי חד מההגדרות האלה עשוי לפגוע בדיוק של הוצאת הכלים.

איך מריצים

מדובר במשקל כבד של 131 גיגה בייט בפורמט של שש עשרה ביט, שמתפרס על שלושים ותשעה קבצים. כדי להריץ דבר כזה לבד בבית או בשרת פרטי תצטרכו מערך של כמה כרטיסי מסך חזקים עם זיכרון כולל של לפחות 140 גיגה בייט, רק כדי לטעון אותו לפני שמחשבים טוקן אחד של קלט.

אם אין לכם אשכול שרתים ייעודי, הניסיון להחזיק אותו מקומית יעלה הרבה כסף וידרוש תחזוקה מסורבלת. במקרה כזה כדאי פשוט לפנות ישירות לגישה דרך השרתים של גרוק או שירותי ענן אחרים שמציעים אותו בממשק קריאות מוכן.

from transformers import pipeline

pipe = pipeline("text-generation", model="Groq/Llama-3-Groq-70B-Tool-Use")
print(pipe("שלום"))

הקבצים

39 קבצים במאגר, 131 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון כאן הוא רישיון הקהילה של מטא עבור לאמה 3. הוא מתיר שימוש מסחרי ומחקר, אך כפוף למדיניות השימוש וההגבלות הסטנדרטיות שהוגדרו במקור על ידי מטא למשפחת המודלים הזו.

  • שימוש מסחרי עד 700 מיליון משתמשים
  • שינוי הקוד
  • חובת ייחוס

הרישיון המלא בעמוד המודל ↗