Big-Tiger-Gemma-27B-v1-GGUF
קוד פתוחTheDrummerרישיון לא דווח2024-07-14
גרסה לא מצונזרת של ג׳מה בגודל 27 מיליארד פרמטרים שנועדה לענות על כל שאלה בלי לסרב. היא מתאימה למי שנתקל במעצורים קשיחים במודלים הרגילים ומחפש מודל פתוח ועצמאי.
- 104 GBמשקל הקבצים
- 2,693הורדות בחודש
- 74לייקים
מה זה
מדובר בהתאמה של ג׳מה המקורית שעברה הסרה של מנגנוני הסירוב המובנים. היוצר מכוון ישירות לבעיה שמוכרת בכל המודלים של גוגל, שבהם המודל מסרב לענות על מגוון רחב של בקשות בגלל סינון יתר. המטרה כאן הייתה להוריד את החסימות האלה לחלוטין בלי לפגוע ביכולות ההבנה והחשיבה של המודל המקורי, מה שהיוצר מכנה שמירה על תפקוד ללא נזק מוחי.
בכרטיס המודל אין מבחני ביצועים מספריים או מדידות בינלאומיות, ולכן קשה לדעת מראש איך הוא מתפקד במשימות מורכבות של קוד או תרגום ביחס למקור. ההבדל המרכזי מול חלופות באותו סדר גודל הוא היעדר מוחלט של סירובים לפי הצהרת המפתח, לצד קישורים לגרסאות בפורמטים שונים כמו קווינטיזציות מתקדמות ופורמט אקסל.
מתאים ל
- מחקר על מנגנוני סירוב
הוא מגיע ללא חסימות מובנות ומאפשר לבחון איך מודל גדול מגיב לשאילתות קיצון בלי חסימה יזומה.
- כתיבה יצירתית ללא הגבלות
הוא לא עוצר בעלילות מורכבות או בנושאים אפלים שמערכות מסחריות רגילות חוסמות מיד.
- בדיקות חוסן פנימיות
אפשר לאתגר איתו מערכות הגנה וסינון אחרות כדי לבדוק איך הן מתמודדות עם פלטים ישירים.
איפה זה נופל
היוצר מציין בעצמו שהמודל לא נבדק לעומק בכל תרחיש, וייתכנו סירובים נדירים שזלגו מהאימון של הדגם הקטן יותר. בנוסף, הסרת הסינונים אומרת שהמודל עלול לפלוט מידע שגוי, רעיל או בעייתי בלי שום אזהרה, ולכן אי אפשר לסמוך עליו ישירות מול לקוחות קצה בלי שכבת בדיקה שלכם.
אותה משפחה
Big-Tiger-Gemma יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
האם המודל באמת לא מסרב לאף בקשה?
היוצר מצהיר שעד כה לא נרשמו סירובים, למעט מקרים נדירים שמקורם בגרסת התשעה מיליארד פרמטרים. עדיין מומלץ לבדוק את השאילתות הספציפיות שלכם לפני שמסתמכים על זה בעבודה שוטפת.
אפשר להריץ אותו על מחשב נייד רגיל?
מחשב נייד סטנדרטי לא יחזיק מודל בגודל כזה בצורה שמישה. תצטרכו מחשב נייח עם כרטיס מסך ייעודי של עשרים וארבעה גיגה זיכרון או שרת ייעודי כדי לקבל מהירות תגובה סבירה.
איך מריצים
כדי להריץ מודל של 27 מיליארד פרמטרים בפורמט הזה, תצטרכו כרטיס מסך חזק עם לפחות עשרים וארבעה גיגה זיכרון גרפי עבור גרסאות מכווצות, או חלוקה בין כרטיס המסך לזיכרון הראשי של המחשב. חבילת הקבצים המלאה שוקלת מאה וארבעה גיגה בייט שמתחלקים בין שמונה קבצים שונים, כך שתצטרכו שטח אחסון מהיר ונפח עבודה מכובד.
אם אין לכם כרטיס מקצועי או תחנת עבודה מתאימה, ההרצה המקומית תהיה איטית מאוד ותכביד על המעבד. במקרים כאלה עדיף לשכור מכונה לפי שעה בענן או להשתמש בשרת שמריץ ממשק מרוחק במקום להשקיע ברכישת חומרה כבדה.
ollama run hf.co/TheDrummer/Big-Tiger-Gemma-27B-v1-GGUF:Q4_K_M
איזו גרסה
אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.
הקבצים
8 קבצים במאגר, 104 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
היוצר לא דיווח על רישיון בעמוד המודל. במצב כזה אין אישור חוקי ברור להשתמש בו במוצר מסחרי, וחברות לא יכולות לקחת את הסיכון המשפטי הכרוך בהפצה שלו בלי הסדרה רשמית של תנאי השימוש.