Violet_Twilight-v0.2-GGUF

קוד פתוח

Epiculousapache-2.02024-09-13

gguf
merge
text-generation
en
fr

מיזוג ניסיוני של שני מודלים שנועד ליצירת טקסט בסגנון שיחה. הוא מגיע בפורמט מכווץ שמחייב חומרה כבדה ושימוש בתבנית הנחיות מדויקת.

200 GBמשקל הקבצים
8,782הורדות בחודש
77לייקים

מה זה

מדובר במיזוג מסוג SLERP של שני מודלים אחרים מאותו יוצר, Azure Dusk בגרסה 0.2 ו־Crimson Dawn בגרסה 0.2. המטרה של שילובים כאלה היא בדרך כלל לייצר אופי כתיבה שונה שלא קיים במודלי בסיס סטנדרטיים, בלי לאמן מודל חדש מאפס. היעד המרכזי כאן הוא יצירת טקסט ושיחה פתוחה, כשהיוצר מציע מגוון הגדרות דגימה ייעודיות למי שמחפש סגנון יצירתי.

המודל אומן לעבוד עם הפורמט של ChatML, מה שאומר שצריך להקפיד על מבנה הקלט כדי לקבל תוצאות עקביות. אין בעמוד שלו מבחני ביצועים מסודרים, ציוני בנצ'מרק או השוואות כמותיות מול מודלים מסחריים. המשמעות היא שבוחרים בו בעיקר בגלל סגנון התגובה והטון, ולא בגלל יכולות הוכחות במשימות לוגיות מורכבות.

מתאים ל

משחקי תפקידים באנגלית
המיזוג ופרופילי הדגימה הייעודיים מתאימים למי שמחפש כתיבה יצירתית ושיחות עשירות.
בדיקת סגנונות כתיבה
ניסויים ביצירת טקסט לא שגרתי בשפות הנתמכות, בעיקר עבור כותבים שרוצים גיוון.
הרצה מקומית ללא רשת
מתאים לסביבות מבודדות לחלוטין למי שמחזיק בחומרה כבדה וצריך פורמט GGUF.

איפה זה נופל

החיסרון הכי ברור כאן הוא שאין שום תמיכה בעברית. רשימת השפות כוללת אנגלית, צרפתית, גרמנית, ספרדית, איטלקית, פורטוגזית, רוסית וסינית בלבד, כך שלמוצר ישראלי אין מה לחפש כאן בלי בדיקה קפדנית מראש. בנוסף, מודלי מיזוג סובלים לעיתים מחוסר יציבות, הזיות ואיבוד עקביות, ובגלל היעדר מדידות רשמיות לא כדאי להסתמך עליו למשימות שדורשות דיוק עובדתי.

אותה משפחה

Violet-Twilight יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

Violet_Twilight-v0.2169

שאלות
נפוצות

האם המודל תומך בעבודה בעברית?

לא. המודל מוגדר רשמית לשמונה שפות ובהן אנגלית, צרפתית, רוסית וסינית, ועברית אינה מופיעה ביניהן. לא מומלץ לבנות עליו לפרויקטים שדורשים הבנה או פליטה של עברית.

איך צריך לשלוח אליו את הפרומפט?

המודל דורש תבנית ChatML קשיחה עם תגיות התחלה וסיום מוגדרות למשתמש ולעוזר. שימוש במבנה טקסט חופשי בלי התבנית הזו יוביל לפלט משובש ולא יציב.

האם יש ציוני מבחנים שמראים כמה הוא חכם?

לא פורסמו שום תוצאות מדידה או מבחני ביצועים בכרטיס המודל. מדובר בפרויקט שמכוון ליצירתיות ולא למדדי דיוק רשמיים, ולכן צריך לבדוק אותו ידנית כדי להבין את רמתו.

איך מריצים

הקבצים בגרסה הזו שוקלים סך הכול 200 גיגה בייט ומחולקים לעשרים ושלושה קבצים בפורמט GGUF. כדי להריץ את הגרסאות המלאות או הקוונטים הגדולים מקומית תצטרכו שרת עם כמה כרטיסי מסך חזקים בעלי זיכרון וידאו מרווח, או מחשב עם כמות חריגה של זיכרון מערכת מאוחד. ההרצה מתבצעת במנועים שתומכים בפורמט הזה, כמו llama.cpp.

אם אין לכם תחנת עבודה ייעודית בעלות של עשרות אלפי שקלים, אין טעם לנסות להרים את זה אצלכם. במקרה כזה עדיף לחפש מודל שזמין דרך ספק ענן או לשכור שרת לפי שעה רק כדי לבדוק אם הסגנון בכלל מתאים לצרכים שלכם.

ollama run hf.co/Epiculous/Violet_Twilight-v0.2-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

23 קבצים במאגר, 200 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הפרויקט מופץ תחת רישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי, שינוי של הקוד והמשקלים והפצה מחדש במוצרים סגורים. התנאי העיקרי הוא שמירה על הודעת זכויות היוצרים וציון הרישיון המקורי בקבצים.

שימוש מסחרי
שינוי הקוד
הפצה מחדש
שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗