chunk_visualizer

מה זה

אתם מדביקים פנימה טקסט משלכם או משתמשים בדוגמה המוכנה בממשק, ומקבלים תצוגה מודגשת שמראה איפה כל מקטע מתחיל ונגמר. המטרה היא להבין איך הגדרות שונות משפיעות על פריסת המידע לפני ששולחים אותו לאחסון או לחיפוש וקטורי.

מאחורי הקלעים הכלי נשען על מחלקות הפיצול של ספריית LangChain. הוא מאפשר לבחור שיטות כמו פיצול רקורסיבי, להגדיר מפרידים ידנית או דרך תבניות מוכנות, ולשחק עם סליידרים שקובעים את גודל המקטע ואת מידת החפיפה ביניהם. בשביל מדידת אורכים ומילים, הקוד טוען את הטוקנייזר של bert-base-uncased, ויש בו גם חיבור למודל zephyr-7b-beta דרך Hugging Face Hub.

מתאים ל

• כיוונון חפיפה ב־RAG

  בדיקה ויזואלית של גודל החפיפה בין פסקאות כדי לוודא שמשפטים לא נחתכים באמצע.

• השוואת מפרידים

  ניסוי של מפרידי שורות ופסיקים שונים על טקסט קיים כדי למצוא חלוקה הגיונית.

• המחשת צ'אנקים למפתחים

  הצגה גרפית פשוטה לצוות שמסבירה איך טקסט גולמי מתפרק לחלקים קטנים.

איפה זה נופל

הבעיה המיידית היא שהאפליקציה במצב תקול ולא רצה כרגע ברשת. מעבר לזה, הטוקנייזר שמודד את היחידות מבוסס על מודל אנגלי בלבד, כך שלא כדאי לבנות עליו לבדיקת טוקנים בעברית. השימוש במודל שפה חיצוני מוגבל למה שמוגדר בקוד, ואין כאן דרך לבדוק חיתוכים מול מודלים סגורים או טוקנייזרים מותאמים אישית.

איך משתמשים

לוחצים על הקישור בדפדפן, בוחרים מתוך התפריטים את שיטת החיתוך, ומשחקים עם הסליידרים כדי לראות את השינוי בטקסט. הממשק פועל ישירות בעמוד בלי צורך בהרשמה או כניסה לחשבון, והחומרה שמוגדרת עבורו היא מעבד בסיסי. עם זאת, נכון לעכשיו מוגדרת שגיאת בנייה בעמוד, מה שאומר שההדגמה החיה פשוט לא עולה עד שהיוצר יתקן את הקוד.

הרישיון

הקוד פתוח תחת רישיון apache-2.0, שמאפשר שימוש חופשי, שינוי והפצה גם בפרויקטים מסחריים. הטקסט שאתם מזינים עובר דרך השרת שמארח את ההדגמה, ולכן לא מומלץ להדביק בו מידע רגיש.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗