GPT
הוספת כלי
Q

Qwythos-27B-v1

קוד פתוח

empero-aiapache-2.02026-07-13

  • transformers
  • safetensors
  • qwen3_5
  • image-text-to-text
  • qwen3.5

גרסה מכווננת של קוון בגודל עשרים ושמונה מיליארד פרמטרים ששומרת על יכולות הראייה וחלון הקשר העצום. הבחירה בה מתאימה למי שבונה סוכנים אוטומטיים שצריכים להריץ פקודות מסוף וקריאות לכלים.

  • 28Bפרמטרים
  • 1,048,576טוקנים בהקשר
  • 51.8 GBמשקל הקבצים
  • 4,464הורדות בחודש

מה זה

היוצרים לקחו את מודל הבסיס והעבירו אותו תהליך אימון מלא בשלושה שלבים: כוונון עדין, אופטימיזציית העדפות ישירה ואימון עדין נוסף. בניגוד לקהילה שנוהגת להסיר שכבות כדי לחסוך מקום, כאן השאירו את ראש חיזוי הטוקנים המרובה, את מגדל הראייה המלא ואת תצורת ההקשר המורחבת שמגיעה למיליון טוקנים באמצעות שקלול יארן.

ההבדל המרכזי מורגש בהפעלת כלים ובסביבות פקודה. במדידת פרפלקסיטי על פלטי מסוף סגורים, המודל צנח מציון של 356.6 במודל הבסיס לציון של 2.76, מה שאומר שהוא למד לפלוט תחביר פקודות בצורה אמינה מאוד. בנוסף, בעוד גרסת התשעה מיליארד הקודמת נזקקה לחיפוש רשת כדי לדעת להימנע מפיזוסטיגמין בהרעלת זרחן אורגני, הגודל הנוכחי החזיק את המידע הזה ישירות במשקלים שלו.

מתאים ל

  • סוכן בדיקות אבטחה

    פילוח פלטי סריקות רשת ותרגומם לפקודות מסוף מדויקות ישירות בסביבות ניטור.

  • הפעלת פונקציות בקוד

    פליטת קריאות מבניות לכלים ללא צורך במעטפות תוכנה חיצוניות או כוונון מיוחד.

  • ניתוח מסמכים חריגים באורכם

    עיבוד טקסטים טכניים ארוכים במיוחד הודות להרחבת חלון ההקשר למיליון טוקנים.

איפה זה נופל

המודל הזה אומן על טקסט בלבד, כך שמגדל הראייה נשאר קפוא ולא נבדק או שופר באימון הנוכחי, מה שאומר שאין לצפות לשיפור בעיבוד תמונות מעבר למודל הבסיס. בנוסף, מדובר בגרסת טרום למידת חיזוק, נתוני האימון וההיפר פרמטרים נשמרו בסוד, והוא מוגדר במפורש כלא מצונזר, כך שהוא מייצר תוכן רגיש בתחומי אבטחת מידע וביולוגיה בלי מסננות הגנה מובנות.

אותה משפחה

Qwythos יצא ב־4 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

Qwythos-9B-v2-GGUF636,661 Qwythos-27B-v1-GGUF336,680 Qwythos-9B-v24,334

שאלות
נפוצות

האם כדאי להשאיר את המודל בהגדרת ההקשר המקסימלית של מיליון טוקנים?

לא מומלץ אם אתם לא צריכים את זה. מנגנון יארן מקצר מעט את הדיוק בטקסטים קצרים, ולכן אם הקלטים שלכם נשארים בטווח של עד 260 אלף טוקנים, כדאי לשחזר את הגדרות הבסיס מהקובץ המצורף כדי לקבל תוצאות מדויקות יותר.

איך צריך לכוון את הטמפרטורה בריצה?

עבור הפעלת כלים וביצוע משימות מסוף מוגדרות, היוצרים ממליצים להישאר על 0.6 כדי לשמור על יציבות תחבירית. לעומת זאת, למשימות הסקה פתוחות או חשיבה חופשית מומלץ לעלות ל־1.0 ולתת לו לפחות 16,384 טוקנים של פלט כדי שתהליך החשיבה לא ייחתך באמצע.

האם הוא מדבר ומבין עברית?

המודל סווג רשמית עבור אנגלית בלבד. אף על פי שמודל הבסיס קוון מכיל יכולות רב לשוניות רחבות, האימון הייעודי הזה התמקד באנגלית טכנית, כך ששימוש בעברית עלול לייצר פלטים פחות עקביים.

איך מריצים

המשקלים בפורמט ביפלוט16 תופסים כמעט 52 גיגה בייט, כך שתצטרכו לפחות שני כרטיסי מסך מקצועיים עם 48 גיגה בייט זיכרון גרפי כדי להריץ את גרסת המקור. אם אתם עובדים מקומית על חומרה צנועה יותר, קיימת גרסת קוונטיזציה נפרדת בפורמט קבצי גי ג'י יו אף, למשל קוואנט 4_K_M שמתאים לטעינה באולמה או למה נקודה סי פי פי, יחד עם קובץ מקרן נפרד לתמונות.

להרצה עם שרתים יעודיים כמו וי אל אל אם, נדרשות ספריות מותאמות לתשתיות הליניאריות של הארכיטקטורה. אם חלון ההקשר העצום לא באמת נחוץ לכם, מומלץ לכבות את מנגנון ההרחבה ולחזור להגדרת הבסיס, שכן הוא גובה מחיר קטן בדיוק של טקסטים קצרים.

from transformers import pipeline

pipe = pipeline("image-text-to-text", model="empero-ai/Qwythos-27B-v1")
print(pipe("שלום"))

הקבצים

24 קבצים במאגר, 51.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הפרויקט מופץ תחת רישיון אפאצ'י 2.0 המקורי של מודל הבסיס. הרישיון מתיר שימוש מסחרי, שינוי קוד והפצה של המשקלים לכל מטרה, בתנאי ששומרים על הודעות זכויות היוצרים וההסתייגות מאחריות.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗