Octopus-v2

מה זה

המודל מבוסס על Gemma של גוגל ואומן במיוחד כדי לקצר תהליכים בעבודה עם סוכנים אוטומטיים. במקום להעביר לפרומפט עשרות אלפי טוקנים עם תיעוד של פונקציות ושיטות אחזור מידע, הצוות הטמיע טוקנים ייעודיים שמייצגים פונקציות ישירות. זה מאפשר לו לייצר קריאות בודדות, מקביליות או מקוננות בלי לסחוב הקשר כבד.

בבדיקות שהיוצרים הציגו מול מתחרים באותו סדר גודל, המודל סיפק 99.5 אחוזי דיוק עם זמן תגובה ממוצע של 0.38 שניות, לעומת פאי 3 שהגיע ל־45.7 אחוזים ב־10.2 שניות. המשמעות בפועל היא שהוא לא מנסה לנהל שיחה פילוסופית, אלא מתפקד כנתב פקודות זריז שמחזיר קריאת קוד מובנית כמעט מיידית.

מתאים ל

• שליטה קולית במכשיר

  תרגום פקודות ישיר לפעולות במערכת אנדרואיד בלי לשלוח פקודות לשרת חיצוני.

• סוכן מקומי ליישומי רכב

  זיהוי פקודות נהג והפעלת פונקציות ברכב במהירות תגובה אפסית וללא צורך בחיבור רשת.

• ניתוב קריאות API במכשיר

  פיענוח בקשות מורכבות והרצת פונקציות מקביליות בתוך אפליקציות מובייל מאובטחות.

איפה זה נופל

החיסרון המרכזי מופיע בהערת אזהרה קטנה שהיוצרים השאירו, הקלט חייב לכלול את כל הפרמטרים הנדרשים לפונקציה מראש. המודל לא יודע לשאול שאלות הבהרה, הוא לא מנחש מידע חסר, והאימון שלו כלל 20 תיאורי פונקציות בלבד של אנדרואיד. בנוסף, הוא תומך רשמית באנגלית בלבד. אם תזרקו לו קלט בעברית או תבקשו ממנו להבין ארגומנט חסר מתוך הקשר רחב, הוא ייכשל.

איך מריצים

המשקל הכולל של הקבצים עומד על 4.7 גיגה בייט בפורמט bfloat16, כך שכרטיס מסך בסיסי עם 6 עד 8 גיגה בייט זיכרון יריץ אותו בקלות בסביבת פיתוח מקומית דרך ספריית transformers. מאחר שהוא תוכנן למכשירי קצה, המטרה היא להריץ אותו ישירות על מעבד של טלפון או מחשב מקומי בלי לפגוש שרת.

אם אתם צריכים רק כמה מאות קריאות ביום לשרת מרכזי ואין לכם בעיית פרטיות או זמני שהייה, פנייה ל־API של מודל ענן סגור תהיה פשוטה יותר לתחזוקה. המודל הזה משתלם כשאתם חייבים עבודה אופליין מלאה, או כשהשהיית הרשת פוגעת בחוויית השימוש באפליקציה.

from transformers import pipeline

pipe = pipeline("text-generation", model="NexaAI/Octopus-v2")
print(pipe("שלום"))

הקבצים

21 קבצים במאגר, 4.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00001-of-00002.safetensors4.9 GB
• model-00002-of-00002.safetensors67.1 MB
• tokenizer.json17.5 MB
• tokenizer.model4.2 MB
• tool-usage-compressed.png643.6 KB
• OpenELM-benchmark.jpeg550.8 KB
• Octopus-logo.jpeg439.0 KB
• octopus-v3.jpeg318.3 KB
• android_benchmark.xlsx131.5 KB
• accuracy_plot.jpg46.4 KB
• latency_plot.jpg28.0 KB
• model.safetensors.index.json13.5 KB
• README.md10.0 KB
• car_functions.txt7.7 KB
• android_functions.txt7.4 KB
• tokenizer_config.json6.3 KB
• .gitattributes1.6 KB
• special_tokens_map.json957 B
• config.json673 B
• added_tokens.json500 B
• generation_config.json137 B

הרישיון

הרישיון הוא cc-by-nc-4.0, מה שאומר שמותר להוריד, לחקור ולפתח איתו לצרכים פנימיים או אקדמיים, אבל אסור לחלוטין להשתמש בו במוצר מסחרי או לייצר ממנו הכנסה. אם תרצו לשלב אותו באפליקציה שמניבה כסף, תצטרכו לפנות ליוצרים בנפרד ולבקש רישיון מתאים.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא בעמוד המודל ↗