lille-130m-instruct

מה זה

מדובר במודל קטן במיוחד שעבר אימון בסיסי על 4.27 מיליארד טוקנים מתוך FineWeb-Edu, ואז כוונון הוראות על מאגר Kyoto-Corpus. הארכיטקטורה שלו נשענת על מנגנוני GQA, RoPE ו־RMSNorm עם 24 שכבות וגודל וקטור מוטבע של 640. היוצר שלו שחרר סביבו סטאק קוד פתוח מלא, כולל טוקנייזר עצמאי בשם Hastings ומנגנון אופטימיזציה ייעודי.

בגודל כזה של פרמטרים, המטרה היא לא להתחרות בענקים אלא לספק יכולת מעקב בסיסית אחרי פקודות ושיחה במעטפת מינימלית. הדגש העיקרי כאן הוא מחקר, שקיפות של כל שרשרת האימון, והרצה מקומית קלת משקל שלא דורשת כרטיסי מסך יקרים.

מתאים ל

• צ'אט מקומי במכשיר קצה

  מתאים לשיחות פשוטות על מעבדים חלשים בלי חיבור אינטרנט.

• מחקר והתנסות בארכיטקטורה

  מאפשר לבחון אימון וטוקניזציה מקצה לקצה על חומרה ביתית.

• השלמת פקודות קצרות באנגלית

  מגיב לפקודות מוגדרות היטב שלא דורשות חלון הקשר רחב.

איפה זה נופל

החיסרון המרכזי הוא חלון הקשר קצר במיוחד של 512 טוקנים בלבד. אי אפשר להזין לו מסמכים, והיכולת שלו לנהל שיחה מתמשכת מוגבלת מאוד. הוא אומן באנגלית בלבד, כך שעברית לא נתמכת כאן. בנוסף, הכרטיס מבהיר שהוא עלול לייצר מידע לא מדויק עובדתית, חוסר עקביות לוגית והטיות שמקורן בנתוני האימון. הוא לא מתאים לשליפת מידע אמין.

איך מריצים

אפשר להריץ אותו דרך LM Studio באמצעות קובצי GGUF, או בקוד פייתון בעזרת החבילה simpleai-sdk שתומכת במנועי Hugging Face ו־ONNX. בשביל לעבוד איתו ישירות בספריית transformers הרגילה, עדיין צריך להתקין גם את simpleai-sdk.

מבחינת חומרה, 127 מיליון פרמטרים רצים בלי בעיה על מעבד של לפטופ רגיל או כרטיס גרפי פשוט. למעשה, כל האימון שלו התבצע על כרטיס RTX 4070-TI בודד. אם אתם צריכים ניתוח טקסט מורכב או הקשר ארוך, עדיף להשתמש ב־API חיצוני, כי המשאבים שתשקיעו בעקיפת המגבלות של גודל כזה לא ישתלמו.

ollama run hf.co/Nikity/lille-130m-instruct:Q8_0

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

18 קבצים במאגר, 3.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• original/best_model.pt1.5 GB
• gguf/lille-130m-instruct-f32.gguf509.8 MB
• model.safetensors509.0 MB
• lille-130m_fp16_kv.onnx297.0 MB
• gguf/lille-130m-instruct-f16.gguf255.6 MB
• gguf/lille-130m-instruct-q8_0.gguf136.4 MB
• vocab.json673.7 KB
• tokenizer/Hastings.pkl399.3 KB
• merges.txt322.9 KB
• assets/evaluations.png139.7 KB
• assets/lille-header.png31.5 KB
• README.md14.1 KB
• .gitattributes1.8 KB
• tokenizer_config.json1.4 KB
• special_tokens_map.json954 B
• config.json346 B
• chat_template.jinja233 B
• generation_config.json73 B

הרישיון

הרישיון הוא Apache-2.0. מותר להשתמש בו לצרכים מסחריים ופרטיים, לשנות את הקוד ולהפיץ אותו כחלק ממוצר סגור או פתוח. התנאי העיקרי הוא שמירת הודעת זכויות היוצרים והרישיון המקורי, בלי אחריות מצד המפתח.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗