cogito-v1-preview-llama-8B

מה זה

המודל הזה לוקח את הבסיס של לאמה ומאמן אותו בשיטת זיקוק והגברה איטרטיבית. הרעיון המרכזי כאן הוא שילוב בין שני מצבי עבודה. הוא יכול לענות ישירות כמו כל מודל טקסט רגיל, או להפעיל שגרת חשיבה שבה הוא מנתח את הבעיה לפני שהוא פולט תשובה, בהתאם לפרומפט המערכת שתגדירו לו.

היוצרים שלו התמקדו במשימות תכנות, מדעים, הפעלת כלים ומעקב אחרי הוראות, ואימנו אותו בלמעלה משלושים שפות עם תמיכה בהקשר של 128 אלף טוקנים. על פי הכרטיס, הוא מנצח מודלים מקבילים בגודל שלו כמו גרסאות הזיקוק של דיפסיק או קוון במבחנים כמו לייבבנץ', בעיקר בזכות הגמישות במעבר בין תגובה מהירה לחשיבה מעמיקה.

מתאים ל

• פיתוח סקריפטים וקוד

  מצב החשיבה המובנה מסייע לפתור בעיות אלגוריתמיות וכתיבת קוד הדורשות תכנון מוקדם.

• סוכנים מבוססי כלים

  התאמה ספציפית לקריאות כלים בודדות או מקבילות מאפשרת שילוב נוח במערכות אוטומציה.

• עיבוד מסמכים ארוכים

  תמיכה בהקשר של 128 אלף טוקנים מתאימה לקריאה וניתוח של טקסטים טכניים נרחבים.

איפה זה נופל

מדובר בגרסת תצוגה מקדימה, מה שאומר שהיציבות שלו עדיין לא מובטחת בהפקות רגישות. הכרטיס אינו מפרט את רשימת שלושים השפות המדויקת, ולכן חובה לבדוק את איכות העברית שלו לפני שבונים עליו משהו מקומי. בנוסף, חלון הקשר מלא של 128 אלף טוקנים עלול לגרור זמני תגובה איטיים במיוחד כשמפעילים את מנגנון החשיבה העצמית על חומרה צנועה.

אותה משפחה

cogito-v1-preview-llama יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

כדי להריץ אותו מקומית צריך כרטיס מסך עם לפחות 16 עד 24 גיגה זיכרון וידאו, מכיוון שמשקלי המודל שוקלים 15 גיגה בפורמט bfloat16. הרצה של הקשר ארוך קרוב למגבלה תדרוש זיכרון נוסף או שימוש בכימות למספר ביטים נמוך יותר.

ההפעלה נעשית ישירות דרך ספריית טרנספורמרס של האגינגפייס. אם אתם צריכים רק מענה מהיר מדי פעם ולא רוצים להחזיק שרת ייעודי שעולה כסף בכל שעה, עדיף להשתמש בנקודת קצה מנוהלת.

from transformers import pipeline

pipe = pipeline("text-generation", model="deepcogito/cogito-v1-preview-llama-8B")
print(pipe("שלום"))

הקבצים

16 קבצים במאגר, 15.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00004.safetensors5.0 GB
• model-00001-of-00004.safetensors5.0 GB
• model-00003-of-00004.safetensors4.9 GB
• model-00004-of-00004.safetensors1.2 GB
• tokenizer.json17.2 MB
• images/8b_benchmarks.png708.2 KB
• images/livebench_global_average.png469.9 KB
• images/3b_8b_tool_calling_benchmarks.png300.2 KB
• images/deep-cogito-logo.png77.3 KB
• tokenizer_config.json55.1 KB
• model.safetensors.index.json23.9 KB
• README.md8.5 KB
• .gitattributes1.8 KB
• config.json875 B
• special_tokens_map.json296 B
• images/README47 B

הרישיון

הוא מופץ תחת רישיון הקהילה של לאמה 3.1. הרישיון מאפשר שימוש מסחרי, כל עוד המוצר שלכם לא עוקף את מגבלת 700 מיליון המשתמשים הפעילים בחודש של מטא, ומחייב לכלול את תנאי הרישיון המקוריים בהפצה.

• שימוש מסחרי עד 700 מיליון משתמשים
• שינוי הקוד
• חובת ייחוס

הרישיון המלא בעמוד המודל ↗