CLM-8B

CLM-8B זה עתה יצא: מודל הבינה המלאכותית הפתוח החדש שטוען שהוא מהיר עד פי 9 מ-Jev עבור סוכנים

תשובה קצרה: CLM-8B הוא מודל שפה ניגודי שמטרתו לקבל החלטות מהירות של סוכנים, כאשר מחברי הפרויקט טוענים שהשהיה נמוכה עד פי 9 בהשוואה לדגמים דומים ברמת Jev. נתונים אלה נותרים בלתי מאושרים מחוץ להגדרת הגרסה. אם אתם בונים סוכני קידוד, בצעו A/B עליהם בעצמכם לפני שאתם סומכים על הגרפים.

נקודות מפתח:

טענות השהיה: התייחסו לעלייה בקצב ההאצה של Jev ב-~9× כאל דיווח של המחבר עד שאחרים ישכפלו אותה.

רתמת הערכה: כלי החזקה והנחיות קבועים בעת בדיקת A/B CLM-8B.

מחסנית היברידית: השתמשו ב-CLM עבור לולאות חמות; שמרו על רציונל איטי יותר עבור משימות חדשות.

משקולות פתוחות: אשרו קבצי רישיון של Apache לפני משלוח מזלגות מסחריים.

סיכון שימוש לרעה: גישה לכלים וסודות הפיכים כאשר סוכנים מחליטים באלפיות השנייה.

מה ש-CLM-8B מנסה להיות ⚡

אימון מודל שפה מנוגדת, כפי שתואר על ידי האנשים המקדמים את הירידה הזו, עוסק בחיבור מצבים ופעולות במקום למקסם את הסבירות של "הבא בתור" בנפרד. במונחים ברורים: המודל נדחק למפות את "הנה המצב" ל"הנה המהלך", יותר כמו ראש מדיניות מאשר סופר. זהו האנלוגיה של מערכת 1 שחוקרים ממשיכים לשאוף אליה - מהיר, אסוציאטיבי, מעוצב החלטה - בניגוד לטנור מערכת 2 של שרשרת מחשבה ארוכה ששורפת אסימונים בזמן שהיא חושבת בקול רם.

CLM-8B הוא המשקל הציבורי הראשון שנקבע בקו זה. הוא ממוקם כגרסה מחקרית פתוחה עם רישוי Apache 2.0 על הכיסוי שליווה את הירידה, דבר שחשוב אם רוצים לכוונן, לשלוח או למכור ללא פיקניק של עורך דין. ג'קי קוווק הציג את העבודה; אזליה מירחוסייני, הקשורה לסטנפורד, הרחיבה אותה; והמסגרת הרחבה יותר מציירת לסטנפורד ו-NVIDIA. חוקרים בעלי שם, משקלים ציבוריים, קוד פתוח - לא דליפה אנונימית. עדיין מוקדם לשכפול על ידי צד שלישי, אז שמרו על כיוון הספקנות איפשהו בין "מעניין" ל"הראו לי את הלוח העצמאי".

גודל הכרטיס הוא שמונה מיליארד פרמטרים, קטן מספיק כדי שמעבדות ובוני כרטיסים עצמאיים יוכלו לארח אותו מבלי למכור כליה אחת בזמן H100. כבר יש דיבורים על כרטיס המשך גדול יותר ל-CLM-35B . האם האח הגדול הזה ישמור על סיפור ההשהיה או יחליף את המהירות בעומק נותר לא ברור, אבל אות מפת הדרכים ברור: זה אמור להיות משפחה, לא כרטיס הדגמה חד פעמי.

  •  מיקוד: מצב → לולאות פעולה עבור סוכנים, לא כתיבת חיבורים
  •  רישוי ממוסגר כאפאצ'י 2.0 בסיקור סביב השחרור
  •  סגנון: מערכת 1 / סיפור הדרכה מוכוון החלטות
  •  המשך: CLM-35B גדול יותר הוזכר כתוכנית

מערכת 1 סגנון לעומת הליכון אסימון רגיל 

רוב תוכניות ה-LLM בתעשייה שאתם מכירים מייצרות טקסט אסימון אחד בכל פעם. זה עובד מצוין עבור פרוזה, קוד dumps ועקבות חשיבה זהירות. זו גם הסיבה שסוכן שזקוק לעשרים מיקרו-החלטות בדקה יכול להרגיש איטי גם כאשר המודל "חכם". כל צעד משלם את המס האוטורגרסיבי.

גובה הצליל של מודל השפה הניגודית הופך את הדגש. במקום לבקש מהרשת לספר את דרכה אל תוך תשובה, אתם מאמנים אותה להעדיף את הפעולה הנכונה בהינתן מצב - חשבו על משיכות ניגודיות בין מהלכים טובים לרעים, לא רק המשכים שוטפים. בוני שפות כבר מכירים את הדפוס: לפעמים לא צריך נימוק של אלף מילים; אתם צריכים שהמודל יקליד pytest במקום rm -rf. לולאות מהירות אכפת מההבחנה הזו.

שום דבר מזה לא אומר ש-CLM-8B לא יכול לפלוט טקסט. משמעות הדבר היא שמטרת האימון וסיפור ההערכה נוטים לכיוון שליטה סוכנית. זוהי צורת מוצר שונה מ"מודל צ'אט שיכול גם לקרוא לכלי עבודה". התעשייה השקיעה שנים בשיפור מודלים בדיבורים על כלים, ועדיין נותרה צוואר בקבוק בשיחה עצמה. מודל שמתמקד בהחלטות הוא סוג של מהלך צדדי שנראה ברור מאליו במבט לאחור או נכשל כאשר נקודות המידה מסתבכות. שתי התוצאות אפשריות.

מהירות ומספרי ספסל נטענים (יש להתייחס אליהם כטענות)

הנה החלק שמניע פוסטים ברשתות החברתיות: מקדמי מכירות טוענים להסקה מהירה יותר של עד פי 9 בהשוואה למודלים ברמת Jev. לאחר כוונון קל, הם גם מדווחים על תוצאות חזקות בקידוד סוכני - DeepSWE עם כ-81.6% הצלחה ו-Terminal-Bench 2.1 עם כ-87.6%. בחלק מההערכות הם מתארים ביצועים של "zero-shot" כדומים ל-Jev, בעוד שההשהיה נשארת נמוכה בהרבה. סיכום אשכול אחד שצף עם שיחות השחרור ציין זמני תגובה של כ-32 אלפיות השנייה בהגדרת מסוף. נסחו זאת בזהירות: דווח ונטען, לא נבדק באופן עצמאי במאמר זה.

אם נתוני השהייה הללו מתכללים, הניצחון המעשי הוא פחות מעבדים גרפיים לכל סוכן בו-זמני, או יותר סוכנים לכל מעבד גרפי. סוכני קידוד שמפעילים מעטפת רגישים במיוחד מכיוון שמחסניות המתנה של שעון קיר; החלטה של ​​200 אלפיות השנייה והחלטה של ​​30 אלפיות השנייה מרגישות כמו מוצרים שונים לאחר כמה מאות סיבובים. משתמשים מרבים להאשים את "המודל שהוא טיפש" כאשר הכאב החד יותר הוא השהייה אינטראקטיבית.

ועדיין - וזוהי פסקת ההשגחה על מבוגרים - ספסלי מחברים משווקים עד שמישהו אחר משכפל אותם על חומרה משותפת עם הנחיות משותפות. תוצאות כוונון עדין קלות יכולות גם להסתיר הרבה פיגומים. מספרים חזקים של DeepSWE ו-Terminal-Bench מרגשים דווקא משום שסוויטות אלו מענישות סוכנים שבירים, אבל התרגשות אינה שכפול. שמרו פתק דביק שאומר CLAIM על ה-9× ועל נתון המחלקה של 32 אלפיות השנייה. 

טבלת השוואה: LLMs אסימון-אחר-אסימון לעומת מסגור בסגנון CLM

טבלאות עוזרות כאשר שפת השיווק הופכת להיות חמקמקה. טבלה זו משווה הרגלי יצירת מודל LLM טיפוסיים עם סיפור מודל השפה הניגודית כפי שמתארים אותו חוקרים. תאים מעט לא אחידים בכוונה מכיוון שהשוואות קונקרטיות תמיד כאלה.

זָוִית LLM טיפוסי (אסימון אחר אסימון) מסגור בסגנון CLM / מערכת 1 למה זה חשוב לסוכנים
לולאה ראשית ניבוי האסימון הבא, לעתים קרובות עם עקבות ארוכות מיפוי מצב לפעולה; הטיה החלטה מנוגדת פחות אסימונים מבוזבזים בין קריאות לכלי (בתיאוריה)
תחושת השהייה יכול להרגיש איטי-פטפטני תחת שליטה מרובת שלבים מחברים טוענים שהשהיה נמוכה בהרבה בהשוואה לסוג Jev סוכני קידוד אינטראקטיביים שונאים זמן המתנה
אזור חוזק פרוזה, חיבורי תכנון, שיחה רחבה מצב מהיר→פעולה - קידוד סוכן מודגש עבודה שונה, לא תמיד מחליפה
מספרים מדווחים תלוי בדגם; אין כאן נתון אחד מהיר יותר עד פי 9 בערך (טענה); DeepSWE ~81.6%; Terminal-Bench 2.1 ~87.6% לאחר FT קל (טענה) מבטיח אם צדדים שלישיים יאשרו - גדול אם
פְּתִיחוּת שילוב של ממשקי API סגורים ומשקלים פתוחים קוד/משקלים פתוחים תחת Apache 2.0 כוונן וארגן את עצמך בלי לנחש מונחים
לתפוס / מוזרות חכם אבל לפעמים מספר לנצח 🐢 עדיין מוקדם; שידורים חוזרים עצמאיים ממתינים אל תמר על החברה על מצע עיתונות אחד

השתמשו בטבלה כמודל מנטלי, לא כפסק דין. צוותי מוצר עדיין צריכים למדוד את הרתמה שלהם: סכמות כלים, מדיניות ניסיון חוזר ורעשי סביבה יזיזו את הציונים יותר ממה שמוצג במסך השקופיות.

מי עומד מאחורי הרעש 👤

ייחוס חשוב מכיוון ששחרורים פתוחים של בינה מלאכותית נעים בין שחרורים זהירים של מעבדות ועד טורנטים מסתוריים. לסרטון הזה יש פרצופים. ג'קי קוווק הציג את CLM; אזליה מירחוסייני עזרה לדחוף אותו לתובנה רחבה יותר; סיקור ממסגר באופן עקבי שיתוף פעולה מחקרי המקושר לסטנפורד ו-NVIDIA. זה לא הופך באופן קסום כל מספר לאמת, אבל זה כן שם את הפגיעה התדמיתית במשחק. שחרורים פתוחים של חוקרים בעלי שם נוטים לעבור מבחן לחץ מהר יותר מאשר שחרורים אנונימיים - עמיתים אוהבים מטרה ציבורית.

עבור בוני פרויקטים, המשמעות המעשית היא גישה. רישיון פתוח בתוספת רישיון בסגנון Apache 2.0 (כפי שסוכם סביב ההשקה) בדרך כלל אומר שתוכלו להתנסות באופן מסחרי עם פחות תקלות בהשוואה לרישיונות למחקר בלבד. בדקו את קבצי הרישיון בפועל בגרסה בעצמכם לפני שאתם שולחים משהו; סיכומי כיסוי אינם חוזה. זה אולי נשמע פדנטי, אבל פדנטיות רישיונות מצילה סטארט-אפים.

דפוס ההגברה החברתית מוכר: פוסט של חוקר, ציטוטי הגברה מכובדים, ואז גל של צילומים של "סוכנים סוף סוף פתרו". סנן לאנשים שחולקים פרטים על רתמה. צילומי מסך של ריצת קידוד מוצלחת אחת הם תיאטרון מצב רוח, לא מדע. 🛰️

מדוע לולאות מצב-פעולה (State-to-Action Loops) שולטות בקידוד סוכני (Agentic Coding) 

קידוד סוכני הוא סביבה אכזרית. המודל רואה תמונת מצב של מאגר, תמליל מעטפת, אולי מבחן כושל, וחייב לבחור עריכה או פקודה. הצלחה היא בינארית לעתים קרובות יותר מאשר צ'אט. או שהמבחן הופך לירוק או שלא. צורת התגמול הזו מעדיפה מדיניות שבוחרת פעולות בצורה נקייה על פני מודלים שכותבים מאמרי כישלון יפים.

סיפורי אימון מנוגדים מתאימים לעולם הזה משום שהם דוחפים במפורש את הרשת לפעולות מועדפות תחת מצב נתון. חשבו על זה כמו ללמד מהנדס זוטר "כאשר אתם רואים את מחלקת השגיאה הזו, הושיטו יד לתבנית התיקון הזו" במקום "כתבו פוסט בבלוג על למה מהדרים קשים". הג'וניור עדיין זקוק לשיקול דעת; קיצור הדרך רק מפחית דיט'רינג.

השהייה מתגברת כאן. נניח שסוכן מבצע בממוצע שמונים צעדים בכלי כדי להשיג תיקון באג בינוני. חסכו 150 מילישניות לכל שלב ותחזירו לעצמכם שתים עשרה שניות של שעון קיר - שזה ההבדל בין מצב זרימה לבין משתמש שמקיש על Alt-Tab כדי לבדוק אימייל. צוותים המפעילים ציי סוכנים מרגישים שהמתמטיקה הזו גם בחשבונות ענן. שיפור ברמת ההסקה בסדר גודל לעומת עמית מסוג Jev, גם אם הוא מגיע ל"רק" פי 4 בטבע, עדיין מסדר מחדש את תכנון הקיבולת.

יש מטאפורה רועדת שאני משתמש בה כל הזמן בפגישות: מודלים של צ'אט אסימון-אחר-אסימון הם כמו דיון על המסלול בכל צומת, בעוד שבקר בסגנון System 1 דומה יותר לזיכרון שרירים לנהיגה בעיר. זיכרון שרירים נכשל בעיר חדשה. כך גם מודל פעולה מכוון צר כאשר תרבות המאגר היא ייחודית. אתם עדיין רוצים מצבי דיון לבחירות ארכיטקטורה חדשות; אתם רוצים רפלקסים ל"תקן את הייבוא ​​והפעל מחדש" החמישים. ערימות היברידיות - בקר מהיר דמוי CLM בתוספת רציונר כבד יותר על ענפים קשים - הן כנראה המקום שבו מערכות רציניות נוחתות, גם אם פוסטים של השקה מוכרים מודל גיבור יחיד. 🚦

כמו כן, כדאי לומר בקול רם: ספסלי קידוד סוכניים כמו DeepSWE ו- Terminal-Bench מתגמלים פיגומים. איכות הרתמה, רשימות היתרים לכלי עבודה והנחיות שחזור יכולים להטות את שיעורי ההצלחה בספרות כפולות. כאשר אתם רואים ~81.6% או ~87.6% לאחר כוונון עדין קל, בדקו איזו עטיפה הייתה סביב המשקולות. זה לא צל; ככה השטח עובד.

משקולות פתוחות, כוונון עדין וצל 35B 

משקלים פתוחים משנים את הדינמיקה החברתית של תביעה. מודלים של API סגורים יכולים להציג תרשים ולהשאיר אתכם מנחשים לגבי זיהום, טריקים לפענוח או הנחיות מערכת סודיות. בעזרת פרמטרים להורדה תוכלו לפחות לחשוף את הדבר. כוונון עדין של CLM-8B עבור סביבת הקידוד הפנימית שלכם - כללי ה-lint שלכם, ממשק שורת ה-deployment CLI שלכם, טופולוגיית המונו-רפו שלכם - הוא הנתיב הריאליסטי למספרים המבריקים של הספסל, לא קסם אפס-ירייה ביום הראשון.

מסגור Apache 2.0 (לפי הסיקור) ידידותי לבונים: שפת מתן פטנטים, נורמות ברורות לחלוקה מחדש, פחות מלכודות של "מחקר בלבד". שוב: קראו את הקבצים. כותבי הסיקור מסכמים; עורכי דין מתמחים.

ה-CLM-35B המתוכנן הוא הפיל שבמפת הדרכים. דגמים גדולים יותר לעתים קרובות חוזרים למיומנות הדיונית ומאבדים חלק מהקסם של "זעיר ומהיר להפליא", אלא אם כן זיקוק או טריקים ספקולטיביים שומרים על השהייה תחת שליטה. אם גרסת שמונה מיליארד היא מכונית הספורט וגרסת שלושים וחמישה מיליארד היא מכונית הסדאן התיורית, קבוצות עשויות לשמור על שתיהן: 8B ללולאות חמות, 35B לתכנון קפדני. או שהדגם הגדול יותר עשוי פשוט לשלוט אם החומרה תמשיך להיות זולה יותר. איזה עתיד יגיע עדיין לא ברור; הערות השחרור של העתיד יקבעו, לא פסקה זו.

סיכון עדין אחד עם מודלים של סוכנים פתוחים: אנשים יחברו אותם לתוך CI ללא מגבלות קצב ויגלו הזרקה מיידית באמצעות קבצי README זדוניים. מודלים מהירים מגבירים שימוש לרעה באותו אופן שהם מגבירים ערך מעשי. Guardrails אינם קוספליי אופציונלי; הם מוצר. 

  • כוונן את העקבות שלך לפני שתשפוט את האיכות
  • שמור על חשיבה איטית יותר כפתח מילוט למשימות חדשות
  • השהיית המכשיר p50/p95 ברתמה שלך, לא רק דיוק
  • נניח ש-35B יזיז שוב את גבול פארטו

קריאת ההשוואה בין ג'ב בלי להשתגע 

השוואות למודלים של מחלקת Jev עושות עבודה רטורית. הן מקימות עמית ברמת המהירות הסוכנתית, כך של"מהיר עד פי 9" יש רפרנס. טענות יחסיות צריכות עוגן, וזה נכון. הסכנה היא קריסת מחסנית הערכה שלמה למכפיל יחיד. גודל אצווה, דיוק, הגדרות פענוח, אורך הקשר וסידור קריאות כלים - כל אלה מעצבים מחדש את משמעות ה"מהיר יותר", וכפתורים אלה מופיעים לעיתים רחוקות באותה שקופית.

כאשר סיכום אשכול מצטט תגובות של ~32 אלפיות שנייה בהגדרת בדיקת מסוף, יש להתייחס ל"תגובה" כאל תווית מעורפלת עד שמישהו יציין האם מדובר באסימון ראשון, JSON פעולה מלאה או קידומת מאוחסנת במטמון. הבחנות אלו הופכות מילישניות שיווק לשעות הנדסה. איכות דומה של אפס-שניות עם השהייה נמוכה יותר היא שילוב החלומות; אם קבוצות עצמאיות מאשרות אפילו חצי מהחלום הזה, אימון בסגנון CLM מרוויח מקום קבוע בפגישות ארכיטקטורה.

עד אז, התייחסו לג'ב כנרטיב של יריבות יותר מאשר לטבלת מובילים קבועה. יריבויות מוכרות פוסטים. מדדי ה-KPI של הייצור שלכם לא אכפת להם מנרטיב. מדדו את הצלחת המשימה, הדולר לכל כרטיס נפתר ושיעור ההתערבות האנושית. אם מזלג של מודל שפה ניגודית מנצח בהם, חגגו. אם הוא מנצח רק בטוויטר, המשיכו ללכת. 🚶

זמן סתירה קל: נרטיבים של יריבות עדיין מושכים את משקלם. הם מאלצים מעבדות לפרסם מספרים במקום אווירה קלה. רק אל תבלבלו בין לוח התוצאות לספורט.

מה שהגרסה הזו צריכה לעשות נכון 

כדי ש-CLM-8B יהיה משמעותי מעבר למחזור חדשותי, כמה דברים צריכים להתרחש:

  • שכפול: קבוצות חיצוניות צריכות להיות מסוגלות להתאים את זמן ההשהיה של הכותרת ושיעורי ההצלחה בקידוד למתכונים מתועדים.
  • נצלו שקיפות: שתפו את פרטי עטיפת הסוכן שהניבו את ציוני DeepSWE ו-Terminal-Bench.
  • מסמכים שאינם מניחים טלפתיה במעבדה: סקריפטים ברורים לכוונון עדין, פקודות הערכה והערות חומרה.
  • מצבי כשל: הצג היכן קורסות החלטות בסגנון System 1 - ממשקי API חדשים, כרטיסים מעורפלים, פעולות רגישות לאבטחה.
  • נתיב שדרוג: להבהיר כיצד CLM-35B קשור כדי שצוותים לא יתאימו את הערימה שלהם יתר על המידה עד למבוי סתום של 8B.

אם הקופסאות הללו יישארו ריקות, המודל הופך למשקולת נייר מעניינת נוספת. אם הן מתמלאות, פלטפורמות הסוכנים מקבלות בחירה קונקרטית של רכיבים: מודל LLM דיוני למחשבה קשה, ומודל מהיר ניגודי לידיים הרועדות. חלוקת העבודה הזו מרגישה בוגרת יותר מאשר להעמיד פנים שמגה-מודל אחד צריך לעשות כל עבודה בכל תקציב השהייה.

נקודות מעשיות לבונים שמשלחים סוכנים 

אינך צריך לכתוב מחדש את ה-stack שלך מחר. אתה צריך תוכנית להערכת מודלים מהירי החלטה. התחילו על ידי גילוף פרוסה קריטית ל-latency של הסוכן שלכם - אולי מיקרו-לולאת הטרמינל או שלב "בחר את ה-grep הבא" - ובצעו A/B של כוונון עדין של CLM-8B כנגד סוס העבודה הנוכחי שלכם. שמרו על הרתמה קבועה. רשום הכל.

שימו לב לרגרסיות איכות שקטות: מודלים שעונים באופן מיידי עם פעולות שגויות ובטוחות גרועים יותר ממודלים איטיים ונכונים במאגרים בעלי סיכון גבוה. הוסיפו שלבי אימות. העדיפו כלים הפיכים. תקצבו קריאה שנייה למודל כאשר הביטחון נמוך - כן, זה פוגע בחלק מהניצחון במהירות, וזה בסדר. מהירות ללא בלימות היא איך הדגמות הופכות להפסקות.

בצד הארגוני, עדכנו גיליונות קיבולת עם עמודה עבור "פעולות לשנייה לכל GPU" במקום רק טוקנים לשנייה. עומסי עבודה של סוכנים אכפתיים מהחלטות, לא מקצב תפוקה של שירה. אם הטענה של המחברים בגובה ~9× שורדת אפילו באופן חלקי מגע עם החומרה שלכם, הגיליון האלקטרוני שלכם ייראה אחרת. אם לא, למדתם בזול.

ובבקשה, למען אהבת המבצעים, אל תדביקו סודות ייצור לסוכן ניסיוני רק בגלל שהמודל הרגיש "בטוח". מודלים שנפתחים במהירות מקלים על יצירת מערכות צל שאף אחד לא בודק. התהליך עדיין חשוב. 

שרשורים פתוחים עדיין תלויים 

כמה שרשורים לא פתורים מונעים ממני ממצב קידום מכירות מלא:

  • כמה מהצלחת הקידוד המדווחת שייכת למשקולות לעומת כוונון הנתונים והעטיפה נותר לא ברור.
  • המסגור של מערכת 1 עשוי להידלדל כאשר משימות דורשות תכנון אופק ארוך טווח ולא רפלקסים מקומיים של קליפה.
  • CLM-35B עשוי לשמר את סיפור ההשהיה או להתבסס כ-LLM נוסף וחזק בגודל בינוני.
  • העדפות פעולה מנוגדות יכולות להפוך לשבירות תחת שינוי הפצה - שפות חדשות, ממשק שורת פקודה חדשים בענן, מאגרים יריבים.
  • סיפור הבטיחות עדיין זקוק לבשר ודם כאשר פעולות מבוצעות באלפיות השנייה.

אלו לא פתגמים שנועדו להטביע את הצוות. אלו הבדיקות שכל סקירת אימוץ רצינית צריכה לבצע. גרסאות פתוחות מוקדמות ראויות לבדיקה קפדנית וחיכוך, לא להתקנות עיוורות.

שורה תחתונה 

CLM-8B הוא מודל שפה ניגודי פתוח, במסגרת אפאצ'י (לכל כיסוי), שמטרתו התנהגות מהירה ממצב לפעולה עבור סוכנים, שהוצג בפומבי על ידי ג'קי קוווק עם הגברה של אזליה מירחוסייני וממוסגר כמחקר המקושר לסטנפורד/NVIDIA. הטענות העיקריות - מהירות עד פי 9 בערך בהשוואה להסקה ברמת Jev, תוצאות חזקות של DeepSWE ו-Terminal-Bench לאחר כוונון עדין קל, איכות דומה של zero-shot עם השהייה נמוכה בהרבה, כולל פטפוט על תגובות טרמינל ברמת ~32 אלפיות השנייה - דווחו על ידי המחבר ועדיין ממתינים לאישור רחב מצד שלישי. CLM-35B גדול יותר נמצא באופק.

אם אתם בונים מערכות קידוד סוכניות, זה שווה הערכה ממוקדת, לא דת. התייחסו לזה כאל בקר מועמד של System 1 במחסנית היברידית, מדדו את הרתמה שלכם, והשאירו את מדבקת CLAIM על כל תרשים עד שיגיעו ריצות עצמאיות. החלק המעניין הוא לא עוד מודל צ'אט עם לוגו חדש. החלק המעניין הוא האם אימון בצורת החלטה יכול לגרום לסוכנים להרגיש מיידיים מבלי לגרום להם לטעות באופן פזיז.

דוגמה מעשית: בניית הערכה של מיקרו-לולאה של סוכן בעל השהייה קריטית עבור CLM-8B

תרשימי מחברים על CLM-8B שזה עתה יצא: מודל הבינה המלאכותית הפתוח החדש שטוען שהוא מהיר עד פי 9 מ-Jev עבור סוכנים יכולים להיראות משכנעים; הרתמה שלך היא הקול היחיד שקובע. כך צוות כלי עבודה עצמאי בבריטניה התייחס ל-CLM-8B כבקר System 1 מועמד - לא תחליף צ'אט - ומדד אותו על המיקרו-לולאה של הטרמינל שלהם.

תַרחִישׁ

סם מפעיל מוצר קטן שכבר משתמש בסוכן קידוד כבד יותר עבור שיפוץ קבצים מרובים. הפרוסה הכואבת היא הלולאה החמה: קרא תמליל מבחן כושל, בחר את המעטפת או פעולת העריכה הבאה, הפעל אותה, חזור על הפעולה. משתמשים מתלוננים פחות על תשובות משעממות מאשר על השהייה של כפפות חורף לאורך חמישים שלבי הכלי. פוסטים ברשתות החברתיות מגבירים את משקלי מודל השפה הניגודית ואת האצה מוצהרת של ~9x בהשוואה לעמיתים ברמת Jev, בנוסף לנתוני DeepSWE / Terminal-Bench חזקים לאחר כוונון עדין קל. סם מסרב לשכתב את הייצור על גבי תרשים עיתונות.

הם יצרו מיקרו-לולאה אחת קריטית להשהייה: עשרים עקבות תיקוני באגים מתוקנות מהמונו-ריפו שלהם. סוס העבודה הנוכחי נשאר הנתיב הדיוני עבור כרטיסי ארכיטקטורה חדשניים. CLM-8B - אם מתארח ומכוון קלות את העקבות שלו - רשאי להתחרות רק בשלב "בחר פעולה הפיכה הבאה", עם ניתוח איטי יותר כפתח מילוט כאשר הביטחון נמוך.

המטרה היא A/B ששומר על הרתמה קבועה: אותם כלים, אותה רשימת היתרים, אותה מדיניות ניסיון חוזר. רישום פעולות לשנייה, השהיית p50/p95, הצלחת משימה והתערבויות אנושיות - לאחר מכן החליטו האם משקלים פתוחים מרוויחים מקום.

מה שהעוזר צריך

  • עשרים עקבות אנונימיות של בדיקות כשל מעבודה אמיתית (קלטים + כלים מותרים בלבד)
  • עטיפת סוכן קבועה: סכמת כלים, רשימת היתרים, מספר צעדים מקסימלי וענף של "היגיון איטי של קריאה"
  • ציוני בסיס במודל הנוכחי עבור אותן עשרים משימות
  • הערות חומרה עבור מארח CLM-8B (מחלקת GPU, דיוק, אצווה) כך של"מהיר יותר" יש הפניה
  • כלל מדבקת CLAIM: מחבר DeepSWE / Terminal-Bench / ~9× / ~32 אלפיות שנייה דמויות נשארות מתויגות עד שהרתמה הזו משחזרת משהו
  • בעלים אנושי שבודק פעולות שגויות אך מהירות לפני כל תוספת ל-CI

הוראה לדוגמה

אתם עוזרים לי לעצב A/B הוגן עבור CLM-8B כבקר מהיר של מצב→פעולה בתוך סוכן הקידוד שלנו. השתמשו רק בעובדות הרתמה שאני מדביק. אל תמציאו מכפילי השהייה, ציוני DeepSWE או תנאי רישיון.

משימה: מתוך עשרים שמות המשימות שלי והערות הבסיס הנוכחיות, טיוטה של ​​(1) גיליון ניקוד עם העמודות משימה / מודל / שלבים / שעון קיר / הצלחה (עבר/נכשל) / התערבות אנושית (כן/לא) / הערות, (2) פרוטוקול בן שישה תבליטים ששומר על המעטפת זהה בין המודלים, ו-(3) כלל החלטה בניסוח יומיומי ברור עבור מתי CLM-8B עשוי להיות בעל הלולאה המיקרו לעומת מתי נעביר את ההחלטה למצב של היגיון איטי.

אילוצים: אנגלית בריטית. יש לתייג כל מספר שדווח על ידי המחבר כ-CLAIM אם הוא מופיע. יש להעדיף כלים הפיכים. יש לאסור את השפה "סוכנים סוף סוף פתרו". אם מדד חסר בטקסט שלי, יש לכתוב [NEED MEASUREMENT] במקום לנחש.

פלט: כותרת גיליון הניקוד ושורת דוגמה אחת מלאה באמצעות מצייני מיקום, תבליטי הפרוטוקול, ולאחר מכן כלל ההסלמה/שמירה. ללא הקדמה.

איך לבדוק את זה

  • הרץ את אותן עשר עקיבות על סוס העבודה הנוכחי ועל כוונון עדין של CLM-8B עם אותו מעטפת. ודא שההבדל הוא רק בין שעון הקיר להצלחה - לא ברשימות הכלים.
  • שאלו: "איזה תרשים מחברים עשוי לשנות את הפקת התפוקה השבוע?" תשובה טובה: אף אחד לא עד שהרתמה הזו תראה ניצחון בהצלחה ובחביון יחד.
  • מקרה קצה: CLM-8B עונה תוך ~30 אלפיות השנייה עם הצעת פקודה הרסנית - אשר את רשימת ההיתרים ובדיקה אנושית תפס אותה לפני CI.
  • מקרה קצה: כרטיס API חדש מחוץ לעשרים העקבות - יש לאשר שההיגיון האיטי הוא הבעלים שלו, ולא מודל הרפלקס.
  • בדיקות קבלה: (1) אין טענה מומצאת של 9× כתוצאה מדודה, (2) רישום השהייה של p50 ו-p95, (3) מכנה ההצלחה הוא עשרים המשימות, (4) פעולות מהירות שגויות שנספרו, (5) בדיקת Apache/רישיון מתרחשת במצב לא מקוון לפני כל תוכנית משלוח מסחרית.

תוֹצָאָה

תוצאה להמחשה (הערכה לדוגמה עבור צוות כלים אחד של שלושה אנשים על עשרים עקבות מונו-רפו קבועות, לא עיבוד חוזר עצמאי של ספסלי המחברים): סוס עבודה בסיסי סיים 14 מתוך 20 עקבות ללא עזרה אנושית; זמן השהייה החציוני של צעד היה כ-180 אלפיות השנייה; שני עקבות נזקקו לעזרה אנושית לאחר עריכה שגויה. לאחר כוונון קל של CLM-8B על עקבות פנימיות (אותו מעטפת), 15 מתוך 20 עברו ללא עזרה; זמן השהייה החציוני של צעד היה כ-45 אלפיות השנייה במארח בעל GPU יחיד שלהם; פעולה נוספת אחת של "מהירות שגויה" נתפסה על ידי רשימת ההיתרים לפני החלה. זמן שעון הקיר עבור חבילת עשרים העקבות ירד מכ-38 דקות לכ-22 דקות כולל שלבי אימות. ברשימת תיוג להיגיינה (רתמה נשארה קבועה, תוויות CLAIM נשמרו בתרשימי מחבר, סבירות איטית עדיין בשימוש עבור כרטיסי רומן, אין סודות ייצור בסוכן הניסויי), 5 מתוך 5 פריטי סקירה עברו. מגבלות: סט משימות קטן, מחלקת חומרה אחת, כוונון עדין של איכות הנתונים שולט; זה לא מאמת את נתוני ה-~9× או ה-DeepSWE של המחברים מחוץ לרתמה זו.

כדי למדוד את הגרסה שלך: הקפיאו עשרים עקבות; דרג תחילה את המודל הנוכחי; ארח את CLM-8B עם דיוק/הגדרות מתועדות; הרץ שוב עם אותו מעטפת; דווח על success/n, p50/p95, התערבויות, והאם מספר CLAIM כלשהו טופל כעובדה.

מה יכול להשתבש

  • סגידה למצעדים: משלוח על שקופית בגודל ~9× ללא p95 משלך.
  • פעולות שגויות-מהירות: טעויות מיידיות ובטוחות גוברות על טעויות נכונות איטיות במאגרים בעלי סיכון גבוה.
  • סחף רתמה: שינוי הנחיות כלים בין מודלים וקריאת זה ניצחון מודל.
  • מחסנית גיבור יחיד: ביטול ההיגיון הדיוני עבור עבודות אדריכלות חדשניות.
  • העברת רישיון ידנית: מתן אמון בסיכומי כיסוי במקום בקבצי הרישיון בפועל של מאגר המשקל.
  • צל CI: חיבור סוכן פתיחה מהירה לצינורות ללא מגבלות קצב או סקירת הזרקה.

טייק אווי מעשי

CLM-8B שווה הערכה ממוקדת כמועמד לבקר System 1 לקידוד סוכני - משקלים פתוחים, סיפור מעוצב החלטה, טענות מהירות מדווחות על ידי המחבר. זה לא עיקרון ואינו 9× מוכח עבור הערימה שלך עד שהרתמה שלך אומרת זאת. שמור על עטיפת ה-Wrap קבועה, רשום פעולות לשנייה וקצב מהירות שגוי, שמור על פתח מילוט איטי יותר, והשאיר את מדבקת CLAIM על כל תרשים לחיצה עד שרצפות עצמאיות (כולל שלך) נוחתות.

שאלות נפוצות

מה זה CLM-8B, ולמה בוני סוכנים מדברים על זה?

CLM-8B הוא המשקל הציבורי הראשון שנקבע בקו מודל השפה הניגודית - פרסום מחקר פתוח המוצג כלולאת החלטה מהירה עבור סוכנים, ולא סתם עוד מוח צ'אט. סיפור האימון מחבר מצבים לפעולות יותר כמו רפלקס של מערכת 1 מאשר חיבור איטי של אסימון הבא. עם שמונה מיליארד פרמטרים, הוא קטן מספיק עבור מעבדות רבות ובוני אינדי לארח, כאשר רישוי Apache 2.0 ממוסגר בסיקור סביב הירידה. המספרים בפוסטים להשקה הם טענות שדווחו על ידי מחברים, לא שידורים חוזרים עצמאיים של מעבדות.

איך CLM-8B טוען שהוא מהיר עד פי 9 מ-Jev עבור סוכנים?

מקדמי פיתוח טוענים להסקה מהירה עד פי 9 בערך בהשוואה למודלים ברמת Jev, עם תגובות של כ-32 אלפיות שנייה בהגדרת ספסל טרמינל. לאחר כוונון עדין קל, הם מדווחים גם על תוצאות קידוד חזקות של סוכנים - DeepSWE כ-81.6% ו-Terminal-Bench 2.1 כ-87.6% - ואיכות מסוימת של "זמני אפס" דומה ל-Jev בלחצן השהייה נמוך בהרבה. יש להתייחס לנתונים של פי 9 ומילישניות כטענות עד שצדדים שלישיים ישכפלו אותם על חומרה משותפת. המהירות היחסית עדיין דורשת פירוט של גודל אצווה, דיוק והגדרות פענוח.

במה שונה הכשרה במודל שפה מנוגדת מתואר ראשון במשפטים טיפוסי?

רוב תוכניות ה-LLM בתעשייה מייצרות אסימון אחד בכל פעם, מה שעובד לפרוזה והנמקה ארוכה אך מטיל מס על כל מיקרו-החלטה שסוכן מקבל. אימון במודל שפה מנוגדת, כפי שמתארים זאת מקדמי השפה, דוחף את הרשת למפות מצבים לצעדים מועדפים - יותר כמו ראש מדיניות מאשר סופר. מסגור מערכת 1 זה מעדיף לולאות מהירות ממצב לפעולה על פני סיפור נצחי בין קריאות לכלי. CLM-8B עדיין יכול לפלוט טקסט; סיפור המטרה וסיפור ההערכה נוטים לכיוון שליטה סוכנית.

מי הוציא את CLM-8B, והאם הוא באמת פתוח?

ג'קי קוווק הציג את העבודה; אזליה מירחוסייני הרחיבה אותה; הסיקור מתאר מאמץ צוותי המקושר לסטנפורד ו-NVIDIA עם חוקרים בעלי שם, משקולות ציבוריות וקוד פתוח. הרישוי סביב המהדורה ממוסגר כ-Apache 2.0, דבר שחשוב לכוונון עדין ומשלוח - אך קראו את קבצי הרישיון במאגר לפני שאתם מסתמכים על סיכומי סיקור. מהדורות פתוחות בעלות שם נוטות לעבור בדיקות מאמץ מהר יותר מאשר קבצי Dump אנונימיים. עדיין מוקדם לשכפול רחב של צד שלישי.

מדוע לולאות מצב-לפעולה חשובות כל כך לקידוד סוכני?

קידוד סוכני הוא לעתים קרובות בינארי: המבחן הופך לירוק או לא, כך שבחירות פעולה נקיות מנצחות חיבורי כישלון יפים. השהייה מתערבת על פני עשרות שלבי כלי - גילוח זמן לכל שלב ושעון קיר וחישובי ענן שניהם זזים. שיפור בסדר גודל נטען לעומת עמית מסוג Jev, גם אם הוא נוחת כ"רק" פי 4 בטבע, עדיין מסדר מחדש את תכנון הקיבולת. ערימות היברידיות - בקר מהיר דמוי CLM בתוספת רציונר כבד יותר על ענפים קשים - הן צורה ריאליסטית לטווח ארוך.

האם עליי לסמוך על ציוני DeepSWE ו-Terminal-Bench עבור CLM-8B?

סוויטות אלו מענישות סוכנים שבירים, ולכן ~81.6% DeepSWE ו-~87.6% Terminal-Bench 2.1 לאחר כוונון עדין קל נראים מרגשים. ספסלי סוכנים גם מתגמלים פיגומים: איכות רתמה, רשימות היתרים לכלי עבודה והנחיות שחזור יכולים להטות את ההצלחה בספרות כפולות. חפשו איזו עטיפה הייתה סביב המשקלים לפני שאתם מתייחסים לטבלה כמדע מבוסס. ספסלי מחברים משווקים עד שמישהו אחר משכפל אותם עם מתכונים מתועדים.

מה עליי לדעת על CLM-35B ועל כוונון עדין של דגם 8B?

המשך גדול יותר ל-CLM-35B מוזכר כתוכנית; האם הוא ישמור על סיפור ה-latency או יחליף את המהירות בעומק עדיין לא ברור. כוונון עדין של CLM-8B על כללי ה-lint שלכם, פריסת CLI ועקבות monorepo הוא הדרך הריאליסטית למספרים חזקים - לא קסם אפס ביום הראשון. קבוצות עשויות לשמור על שני הגדלים אם יגיעו לשלב הבא: 8B עבור לולאות חמות, 35B לתכנון קשה. משקלים פתוחים גם מקלים על שימוש לרעה, כך שמעקות ומגבלות קצב הם מוצר, לא קוספליי אופציונלי.

איך אני אמור לקרוא את ההשוואות של ג'ב בלי להשתגע?

השוואות בין מחלקות Jev נותנות עוגן עמית "מהיר עד פי 9", מה שעוזר למכרז להגיע. הסכנה היא קריסת גודל האצווה, הדיוק, אורך ההקשר וסידור קריאות הכלים למכפיל אחד. כאשר צ'אטר מצטט תגובות של ~32 אלפיות שנייה, שאלו האם זה אומר אסימון ראשון, JSON פעולה מלאה או קידומת מאוחסנת במטמון. מדדו את הצלחת המשימה, הדולר לכל כרטיס נפתר ושיעור ההתערבות האנושית במחסנית שלכם. נרטיבים של יריבות מאלצים מעבדות לפרסם מספרים; מדדי ה-KPI של הייצור שלכם עדיין קובעים.

מה צריכים בונים לעשות לפני שהם מכניסים CLM-8B לחומרי ייצור?

צור פרוסה קריטית ל-latency - כמו מיקרו-לולאת הטרמינל - ובצע כוונון עדין של A/B מול סוס העבודה הנוכחי שלך כאשר הרתמה נשארת קבועה. שים לב לפעולות שגויות אך מהירות; הוסף אימות, העדיף כלים הפיכים, ותקצב ניתוח איטי יותר כאשר הביטחון נמוך. עקוב אחר פעולות לשנייה לכל GPU, לא רק אסימונים לשנייה. אל תדביק סודות ייצור לסוכנים ניסיוניים, והשאיר מדבקת CLAIM על כל תרשים דפוס עד שהריצות שלך יגיעו.

כיצד ניתן לבנות הערכה הוגנת של מיקרו-לולאת השהייה עבור תביעות CLM-8B Just Dropped?

הקפאת קבוצה קטנה של עקבות אמיתיות של בדיקות כשל, שמירה על אותה סכמת כלים ורשימת היתרים בין מודלים, ורישום שלבים, שעון קיר, הצלחה והתערבויות אנושיות. שימוש ב-CLM-8B רק בשלב "בחר פעולה הפיכה הבאה" אם אתה שומר על פתח מילוט מכוון עבור כרטיסי חידוש. תייגו את המחבר ~9×, DeepSWE, ונתוני מילי-שנייה כ-CLAIM עד שרתם זה מראה ניצחון על הצלחה והשהייה יחד. הערכה ממוקדת זו עדיפה על כתיבה מחדש של הייצור על גבי מצגת שקופיות.

הפניות

  1. פרצוף מחבק - מודל שפה מנוגדת (CLM-v0.1-8B) - huggingface.co
  2. גיטהאב — Contrastive-LM / CLM — github.com
  3. אוניברסיטת סטנפורד - אזליה מירהוסייני - cs.stanford.edu
  4. ג'קי קוווק — jackyk02.github.io
  5. X — מבוא לג'קי קוווק — x.com
  6. DeepSWE - deepswe.datacurve.ai
  7. שנורקל בינה מלאכותית — Terminal-Bench 2.1 — snorkel.ai
  8. ג'ב — jevtypesafeai.com
חִידוֹן
1. מהו מיקומו העיקרי של CLM-8B?

2. כיצד עליך להתייחס לטענה של "עד ​​פי 9 מהר יותר מג'ב"?

3. מה המאמר ממליץ על ביצוע בדיקות A/B של CLM-8B מול סוס העבודה הנוכחי שלך?

4. איזו גישה של ערימה היברידית מציע המאמר עבור מערכות סוכנים רציניות?

5. מה צריכים בונים לעשות לפני שילוח מזלג מסחרי של CLM-8B?


חזרה לבלוג