deepthought-8b-llama-v0.01-alpha

מה זה

במקום לפלוט תשובה ישירה, המודל הזה מחזיר שרשרת חשיבה מובנית באובייקטים של ג'ייסון. כל שלב מתויג לפי סוג הפעולה, מהבנת הבעיה, דרך איסוף מידע וחישוב, ועד שלב האימות והמסקנה הסופית. זה הופך את הפלט לנוח לעיבוד בקוד בלי צורך לחלץ שלבים באמצעות ביטויים רגולריים.

היוצרים שלו מציגים אותו כמודל שמביא יכולות של מודלים גדולים לגודל שמונה מיליארד, עם אפשרות לשלוט בעומק החשיבה לפי מורכבות המשימה. עם זאת, אין בכרטיס המודל תוצאות מדידה מספריות מול בנצ'מרקים מוכרים, כך שקשה לדעת בדיוק כמה הוא קרוב לביצועים של מודלים מובילים באותם תחומים.

מתאים ל

• מעקב אחרי תהליכי החלטה

  פלט הג'ייסון המובנה מאפשר לנתח שלב אחרי שלב איך המודל בנה את הפתרון.

• צינורות עיבוד נתונים

  התוצאה מגיעה במבנה נתונים אחיד שאפשר לקרוא ישירות בסקריפטים ובקוד.

• אימות שלבי חישוב וקוד

  שלב האימות המובנה עוזר לבדוק לוגיקה לפני שליפת המסקנה הסופית.

איפה זה נופל

היוצרים מודים במפורש בחולשות בכמה תחומים מרכזיים. המודל מתקשה בחשיבה מתמטית מורכבת, מתקשה בטיפול במקרי קצה, ומאבד דיוק בעיבוד הקשרים ארוכים. בנוסף, המודל אומן על אנגלית בלבד, וקוד הטעינה שלו דורש הרצת קוד מרוחק, מה שמחייב זהירות בסביבות ייצור סגורות.

איך מריצים

כדי להריץ אותו בפורמט המקורי צריך כרטיס מסך עם לפחות 16 גיגה זיכרון. טוענים אותו דרך ספריית הטרנספורמרס הרגילה בפייתון, ומגדירים שימוש בביפלוט16 כדי שהקבצים במשקל 15 גיגה ייכנסו לזיכרון בלי להתרסק. מומלץ להוסיף את פלאש אטנשן כדי לזרז את הריצה.

אם אין לכם חומרה ייעודית בענן או כרטיס חזק מקומית, עדיף לבדוק את ממשק הצ'אט שהיוצרים מציעים באתר שלהם לפני שמשלמים על שרת, במיוחד כשמדובר בגרסת אלפא ראשונית.

pip install -U huggingface_hub
hf download ruliad/deepthought-8b-llama-v0.01-alpha

הקבצים

13 קבצים במאגר, 15.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00004.safetensors5.0 GB
• model-00001-of-00004.safetensors5.0 GB
• model-00003-of-00004.safetensors4.9 GB
• model-00004-of-00004.safetensors1.2 GB
• tokenizer.json17.2 MB
• tokenizer_config.json56.1 KB
• model.safetensors.index.json23.9 KB
• deepthought_inference.py5.7 KB
• README.md3.5 KB
• .gitattributes1.6 KB
• config.json892 B
• special_tokens_map.json444 B
• generation_config.json184 B

הרישיון

הרישיון המדווח הוא רישיון לאמה 3.1, שמתיר שימוש מסחרי ומחקר בכפוף לתנאי השימוש של מטא. הכרטיס מציין גם קיומו של רישיון מסחרי ייעודי לארגונים, לכן כדאי לוודא מול היוצרים אם יש הגבלות נוספות מעבר לתנאי הבסיס.

• שימוש מסחרי עד 700 מיליון משתמשים
• שינוי הקוד
• חובת ייחוס

הרישיון המלא בעמוד המודל ↗