llama-30b-supercot

מה זה

מדובר במיזוג של מודל LLaMA המקורי בגודל 30B עם שכבת LoRA בשם SuperCOT. המטרה המרכזית באימון הזה הייתה לחדד את יכולות החשיבה הלוגית בשיטת Chain of Thought, במיוחד עבור תרחישים שבהם מפעילים פרומפטים מורכבים בתוך סביבות כמו LangChain.

ההבדל העיקרי מול מודל הבסיס הרגיל הוא האופן שבו הוא מקבל הוראות ומפרק בעיות. הוא מצפה לפורמט בסגנון Alpaca עם שדות מוגדרים של הוראה וקלט, ומגיב טוב במיוחד להנחיות שמבקשות ממנו להסביר את ההיגיון שלו או לחשוב צעד אחר צעד לפני מתן תשובה סופית.

בכרטיס לא צורפו תוצאות של מבחני ביצועים או ציונים כמותיים. הדגש כאן הוא על התאמה מבנית לתהליכי עבודה קיימים בקוד פתוח ולא על שיאים חדשים בטבלאות ציונים.

מתאים ל

• פירוק משימות בסיסי

  מתאים להרצת שרשראות חשיבה שמחייבות ניתוח הגיוני צעד אחר צעד ללא תלות ברשת חיצונית.

• ניסויי LangChain מקומיים

  היוצר ייעד אותו לעבודה ישירה מול תבניות הפרומפטים והספריות של LangChain בסביבה מקומית.

• מענה במבנה Alpaca

  עובד בצורה יציבה עם פניות המחולקות לשדות ברורים של הוראה וקלט עזר.

איפה זה נופל

הבעיה הבולטת ביותר היא חלון ההקשר המקורי שעומד על 2,048 טוקנים בלבד. במשימות חשיבה מורכבות שמפרקות בעיות לצעדים, ההקשר נגמר מהר מאוד, בטח כשמוסיפים לזה היסטוריה של שיחה או קטעי טקסט חיצוניים. בנוסף, הכרטיס מדגיש שהתגובות תלויות מאוד בניסוח מדויק של הפרומפט, ושינוי קל במבנה ההוראה עלול להניב פלט שונה לגמרי. אין כאן מנגנון בטיחות מובנה או התאמה מיוחדת לעברית.

איך מריצים

כדי להריץ אותו בדיוק המקורי של float16 תצטרכו להחזיק בזיכרון מעל שישים גיגה בייט של משקלים, מה שדורש לפחות שני כרטיסי מסך חזקים. היוצר מפנה למחברת שמבוססת על המודולים של Oobabooga ומציין שהמשקלים נבנו כך שיתאימו גם להמרות קוונטיזציה של 4 ביט.

אם אין לכם תחנת עבודה ייעודית עם כרטיסי מסך מתאימים, הניסיון לטעון מעל שישים גיגה בייט בקוד פייתון רגיל על מעבד פשוט יזחל. במצב כזה עדיף לפנות לפתרונות מרוחקים במקום לתחזק שרת כזה בעצמכם.

from transformers import pipeline

pipe = pipeline("text-generation", model="ausboss/llama-30b-supercot")
print(pipe("שלום"))

הקבצים

253 קבצים במאגר, 60.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model-00002-of-00243.bin426.0 MB
• pytorch_model-00243-of-00243.bin426.0 MB
• pytorch_model-00003-of-00243.bin354.4 MB
• pytorch_model-00006-of-00243.bin327.2 MB
• pytorch_model-00010-of-00243.bin327.2 MB
• pytorch_model-00014-of-00243.bin327.2 MB
• pytorch_model-00018-of-00243.bin327.2 MB
• pytorch_model-00022-of-00243.bin327.2 MB
• pytorch_model-00026-of-00243.bin327.2 MB
• pytorch_model-00030-of-00243.bin327.2 MB
• pytorch_model-00034-of-00243.bin327.2 MB
• pytorch_model-00038-of-00243.bin327.2 MB
• pytorch_model-00042-of-00243.bin327.2 MB
• pytorch_model-00046-of-00243.bin327.2 MB
• pytorch_model-00050-of-00243.bin327.2 MB
• pytorch_model-00054-of-00243.bin327.2 MB
• pytorch_model-00058-of-00243.bin327.2 MB
• pytorch_model-00062-of-00243.bin327.2 MB
• pytorch_model-00066-of-00243.bin327.2 MB
• pytorch_model-00070-of-00243.bin327.2 MB
• pytorch_model-00074-of-00243.bin327.2 MB
• pytorch_model-00078-of-00243.bin327.2 MB
• pytorch_model-00082-of-00243.bin327.2 MB
• pytorch_model-00086-of-00243.bin327.2 MB
• pytorch_model-00090-of-00243.bin327.2 MB
• pytorch_model-00094-of-00243.bin327.2 MB
• pytorch_model-00098-of-00243.bin327.2 MB
• pytorch_model-00102-of-00243.bin327.2 MB
• pytorch_model-00106-of-00243.bin327.2 MB
• pytorch_model-00110-of-00243.bin327.2 MB
• pytorch_model-00114-of-00243.bin327.2 MB
• pytorch_model-00118-of-00243.bin327.2 MB
• pytorch_model-00122-of-00243.bin327.2 MB
• pytorch_model-00126-of-00243.bin327.2 MB
• pytorch_model-00130-of-00243.bin327.2 MB
• pytorch_model-00134-of-00243.bin327.2 MB
• pytorch_model-00138-of-00243.bin327.2 MB
• pytorch_model-00142-of-00243.bin327.2 MB
• pytorch_model-00146-of-00243.bin327.2 MB
• pytorch_model-00150-of-00243.bin327.2 MB

הרישיון

בעמוד המודל לא דווח רישיון כלל. מעבר לזה, הוא מבוסס על משקלי LLaMA הראשונים של מטא, ששוחררו במקור לשימוש מחקרי בלבד. בלי רישיון ברור ובגלל מקור המשקלים, מסוכן לשלב אותו במוצר מסחרי או להפיץ אותו ללקוחות.

הרישיון המלא בעמוד המודל ↗