תשובה קצרה: AutoSynthData של ServiceNow CoreAI הופך את כישלונות הסוכנים יחד עם הצלחות המורים למשימות SFT סינתטיות מאומתות כאשר ארגונים זקוקים לכשירות סביבתית, ולא רק לציוני ייחוס רחבים. הוא מנקה פערים לכרטיסי מפרט יכולות, מכפיל עבודה ניתנת לאימות, ואז בודק את האיכות לפני כוונון עדין. שיפורים ב-EnterpriseOps Gym, שדווחו על ידי המחבר, נשמרים אם חוזק המורה, איכות המאמת ונאמנות הסביבה תואמים.
נקודות מפתח:
כרטיסי יכולות: ניקוי כשלים לתוך כרטיסים כך שהמחוללים לעולם לא יראו את המזהים המקוריים.
יכולת ביקורת של מאמת: העדפת בדיקות SQL במצב סופי שדוחות תוצאות שגויות שעברו מוטציה.
רמת קושי: אימונים של משימות שהמטרה כמעט ולא פותרת והמורה בדרך כלל מצליחה בהן.
סקירה אנושית: יש לשמור על סקירה אנושית של מדיניות בעלת סיכון גבוה ופעולות בלתי הפיכות לפני אימון מחדש.
העברת גבול: לאחר SFT, הערכה מחדש והזזת שלב היעד לכיוון הפערים שנותרו.
סוכני בינה מלאכותית ארגונית נכשלים לעיתים רחוקות בגלל חוסר ידע כללי. הם נכשלים בגלל שהסביבה ספציפית: מדיניות כרטיסים, מוזרויות סכימה, חוזי כלים, מסדי נתונים מבוססי זרעים, מאמרי ידע וזרימות עבודה חוצות-מערכות שלא נראות כמו הדגמות ספרי לימוד. מודל שמקבל ציון טוב בבדיקות ביצועים פתוחות עדיין יכול להיתקע כאשר השלב הבא חייב לכבד חלון שינויים, קשר CMDB או מאמת שבודק את המצב הסופי במקום צ'אט שוטף.
ServiceNow CoreAI / ServiceNow-AI פרסמו את AutoSynthData כדי לתקוף את הפער הזה ישירות. המחבר Esakkivel Esakkiraja מתאר צינור (pipeline) שממיר את כשלים של סוכן יעד - יחד עם הצלחות של מורה חזק יותר - למשימות הדרכה סינתטיות מאומתות המותאמות לסביבות ארגוניות. המטרה אינה לאסוף עוד יומני צ'אט. מדובר בהכפלת עבודה קשה וניתנת לאימות שמפעילה את אותה יכולת בתנאים חדשים, כך שכיוונון עדין מפוקח יוכל לסגור פערים ספציפיים לסביבה.
מאמר זה סוקר את הרעיון המרכזי, את הפשטת המשימות, את לולאת היצירה ובקרת האיכות, את הארכיטקטורה המשותפת ואת התוצאות שדווחו על ידי המחברים ב-EnterpriseOps Gym במסגרות היברידיות ו-ITSM. הוא נשאר עם מה שהמחקר מתאר: תוכנית לימודים נעה של משימות סינתטיות, לא טענה שכל ארגון נפתר פתאום.
מדוע יכולת סביבתית גוברת על יכולת רחבה
ארגונים זקוקים לסוכנים שעובדים בסביבה שלהם - במערכות, בכללים ובמצב הנתונים שלהם. יכולת רחבה אינה זהה לכשירות סביבתית. סוכן עשוי לדעת כיצד ניהול שירותי IT פועל בדרך כלל ועדיין לפספס את המדיניות המקומית האוסרת מעברים מסוימים, או את הכלי שמעדכן טבלה קשורה רק לאחר שקיימת רשומת דרישות מוקדמות.
כשלים אינדיבידואליים הם אינפורמטיביים אך דלים כמו נתוני אימון. מסלול שבור אחד מראה חולשה; הוא אינו מספק את עשרות המצבים הסמוכים שילמדו את המודל להתאושש תחת שינויים. צוותים זקוקים למשימות חדשות רבות שמפעילות את אותה יכולת בצורה שונה, נשארות ניתנות להשלמה בתוך הסביבה, מרגישות מציאותיות כפי שהמשתמש מבקש, ונשארות ניתנות לאימות מול בדיקות תוצאות.
זהו לחץ התכנון העומד מאחורי AutoSynthData. כשלים הופכים לאותות עבור כרטיסי יכולות. כרטיסים הופכים למחוללי משימות חדשות. מורה חזק יותר מדגים מסלולים מוצלחים. מסננים ומאמתים מחליטים מה נכנס לקבוצת הכוונון העדין המפוקחת. לאחר האימון, ההערכה מעבירה את הגבול לכיוון הפערים הנותרים. הלולאה מעוצבת על ידי תוכנית הלימודים ולא מתבצעת באופן חד פעמי.
למסגור יש חשיבות רבה עבור אנשי מקצוע. אם תאחסנו רק הנחיות כושלות, אתם מסתכנים בהתאמת יתר לאותן ישויות וניסוחים בדיוק. אם תיצרו רק שאלות סינתטיות לא מוגבלות, אתם מסתכנים במשימות בלתי אפשריות, לא מציאותיות או בלתי ניתנות לאימות. AutoSynthData נמצא בין הקצוות הללו: ניקוי מה שנכשל לתוך מפרט יכולות, ואז יצירת משימות ששומרות על הליבה הקשה תוך שינוי צורת פני השטח וממדים ניתנים לשליטה.
צורת המשימה המעשית: מערכת, הנחיה, מאמת
הפשטה מעשית לעבודה סוכנית היא: משימה שווה ערך למפרט מערכת, הנחיית משתמש ומאמת. כל חלק נושא אילוצים ששומרים על נתונים סינתטיים מבוססים ואמינים.
מפרט המערכת מכסה אילוצים, מדיניות ומצב התחלתי - לדוגמה, זרעי מסד נתונים ומאמרי ידע. עליו להישאר תואם לכלים ולמצב הזמינים. אילוצי קושי שרירותיים שמתעלמים מחוזי כלים או ריאליזם של זרעים נוטים ליצור משימות שבירות שמלמדות את הלקח הלא נכון.
לאיכות הנחיית המשתמש יש שלוש עדשות. היתכנות שואלת האם קיים מסלול תקף. ריאליזם שואל האם משתמש יבקש זאת באופן סביר. קושי שואל האם המשימה חושפת חולשה נוכחית של הסוכן ולא משהו שהמטרה כבר פותרת בצורה אמינה. הנחיה שהיא טריוויאלית עבור המטרה מבזבזת תקציב אימון; הנחיה שהיא בלתי אפשרית מבזבזת אמון בהערכה.
איכות המאמת תלויה בעקביות, תקינות ושלמות. מסלולים חלשים ורופפים מדי עוברים. מגביל מדי למסלול יחיד ופתרונות חלופיים תקפים נכשלים. ארגונים מעדיפים לעתים קרובות בדיקות תוצאה מבוססות SQL או מבוססות מצב מכיוון שהן מדרגות את העולם לאחר שהסוכן פועל, ולא את נתיב האסימונים המדויק שהסוכן עבר.
AutoSynthData נשענת על שלישיית נתונים זו, כך שהעבודה שנוצרת נשארת מבוססת. גנרטורים אינם ממציאים חידונים צפים. הם מייצרים משימות שניתן לבצע במתאם הסביבה ולשפוט על ידי מאמתים שאכפת להם מתכונות המצב הסופי הנדרשות.
מהערכת אבחון ועד כרטיסי מפרט יכולות
הצינור מתחיל בהערכה אבחנתית של סוכן המטרה ומורה חזק יותר בתוך הסביבה. סקירות זה לצד זה מגלות היכן המטרה נכשלת והיכן המורה מצליח. מקרי ניגוד אלה הם חומר הגלם לעיצוב תוכנית לימודים.
לאחר מכן מגיע זיקוק לכרטיסי מפרט יכולות מחומרים מנוקדים. כרטיס לוכד את היכולת הנבדקת, כלים רלוונטיים או צורת זרימת העבודה, היכן המטרה נכשלת והמורה מצליח, מאפייני מצב סופי נדרשים וממדים שיכולים להשתנות כאשר משימות חדשות מומצאות. חשוב לציין, שהמחולל אינו מקבל הנחיות מקוריות, ישויות, מסלולים או פרטי אימות - רק את הכרטיסים.
חיטוי זה הוא צעד מכוון נגד התאמת יתר. אם המחולל יראה את מספרי הכרטיסים הכושלים, מזהי מאמרי הידע או עקבות המורים המדויקים, הוא יתפתה לנסח מחדש את אותו הפרק. קלפים כופים הפשטה: מלמדים את היכולת תחת וריאציה נשלטת, לא את המופע ששינן.
לאחר שקיימים כרטיסים, המערכת מייצרת מהם משימות חדשות. לאחר מכן המורה מדגים מסלולים מוצלחים לצורך כוונון עדין בפיקוח. הדגמות אלו אינן עצות חופשיות; הן הצלחות מבוססות סביבה שעוברות את אותו סוג של אימות שתוכנית הלימודים דואגת לו.
סולם מבנה דו-שלבי. שלב המטרה מתמקד בדגימות ליבה שנבדקו סביב פערים - המשימות בעלות האות הגבוה ביותר ליד המקום שבו הסוכן החלש נשבר. שלב הכפל יוצר וריאנטים חדשים של מטרות מקובלות. דגימות מוכפלות אינן יכולות לזרוע סבבי כפל נוספים, מה שמגביל את הסחיפה. כלל זה קטן אך חשוב: וריאציה רקורסיבית בלתי מוגבלת יכולה לנדוד הרחק מהיכולת שהכרטיס ציין.
בקר משותף, מתאם סביבה וגבול נע
מבחינה ארכיטקטורתית, AutoSynthData משתמש בבקר משותף בתוספת מתאם סביבה. הבקר מנהל את האבחון, הקרדיטים, היצירה, הדגמות המורים, שערי איכות וסקירת קבוצות. המתאם מחבר את השלבים הללו לארגז חול ארגוני קונקרטי - כלים, מצב, מדיניות ומאמתים - כך שאותה לולאת בקרה יכולה לכוון לתחומים שונים מבלי לכתוב מחדש את לוגיקת תוכנית הלימודים מאפס.
לאחר כוונון עדין בפיקוח, הצינור מוערך מחדש. לאחר מכן, תוכנית הלימודים נעה לעבר הפערים שנותרו: גבול נע ולא מערך נתונים סטטי. הניסויים המתוארים בעבודה מתמקדים בכוונון עדין בפיקוח. אותה לולאה יכולה לתמוך בלמידת חיזוק בהמשך; כיוון זה מצוין כמתוכנן, לא נטען כהשלמה.
עבור צוותים ארגוניים, השיעור הארכיטקטוני הוא מודולרי. בקרים לא צריכים לקודד סכימת כרטיסים אחת. מתאמים צריכים לחשוף מספיק נאמנות מצב וכלים כדי שהמאמתים יהיו משמעותיים. תוכנית הלימודים צריכה להתייחס לתוצאות ההערכה כקלט הבא, ולא כלוח ניקוד חד פעמי.
EnterpriseOps Gym היא הסביבה בה הודגמה גישה זו. זוהי סביבת עבודה גדולה לסוכנים ארגוניים עם כ-1,150 משימות שנבחרו על ידי מומחים ב-8 תחומים, כ-512 כלים, כ-164 טבלאות מסד נתונים, ביצוע במכולות, אימות תוצאות מבוסס SQL, פעולות הנשלטות על ידי מדיניות, תרחישים היברידיים בין תחומים, בדיקות אי-היתכנות וסירוב, ונתיבים stateful ארוכי טווח. AutoSynthData אינו מוצג כמי שהמציא את חדר הכושר הזה; חדר הכושר הוא משטח בדיקות המאמץ עבור לולאת הסינתזה.
בקרת איכות ברמת הדגימה ששומרת על אמינות משימות סינתטיות
יצירה ללא שערים היא הדרך שבה נתוני סוכן סינתטי משתבשים. AutoSynthData מתאר בקרת איכות ברמת הדגימה עם מספר בדיקות משלימות.
מסנן קושי של פותר מכוון את הקבוצה לעבר משימות קשות עבור המודל החלש וניתנות לפתרון עבור המורה. התצורה המתוארת מעדיפה משימות שהמודל פותר בלכל היותר באחת משלושה ניסיונות, בעוד שהמורה מצליח בלפחות שתיים מתוך שלוש. תחום זה הוא המקום שבו הדגמות מודרכות יכולות ללמד משהו שהמודל החלש כבר אינו שולט בו.
אימות חיובי דורש שמסלול ייחוס יעבור את המאמת. אימות שלילי דורש שתוצאות שגויות שעברו מוטציה ייכשלו. יחד הן בודקות לחץ הן בצד הקבלה והן בצד הדחייה של הבודק. אם נבדקים רק חיוביים, מאמת מתירני יכול להודות בזבל. אם נבדקים רק שליליות, מאמת קפדני מדי יכול לדחות עבודה תקפה.
לולאת ביקורת ותיקון, עם מגבלת ניסיונות חוזרים, מנסה לתקן משימות שנכשלות בשערים במקום לזרוק כל כמעט-החמצה באופן מיידי. מגבלות ניסיונות חוזרים חשובות: תיקונים אינסופיים יכולים להמציא אילוצים מלאכותיים יותר ויותר רק כדי לעבור רשימת בדיקה.
מטא-סקירה ברמת הקבוצה בוחנת לאחר מכן את כל הקבוצות לאיתור כיסוי, גיוון, יתירות ומטרות כושלות. שערי דגימה שומרים על תקינות פריטים בודדים; סקירת קבוצה מונעת מתוכנית הלימודים להצטבר במצב כשל צר אחד או משכפל כמעט כפילויות.
בקרות אלו מסבירות מדוע מערכת הצינור יכולה להשקיע שעות בייצור אלפי דגימות מבלי להתייחס לנפח כתחליף להתאמה. המהירות משתנה בהתאם לתחום ולגודל המורה, אך סיפור בקרת האיכות עקבי: טווח קושי, אימות חיובי ושלילי, תיקון עם מגבלות, ואז מטא-סקירה.
כשלים גולמיים לעומת כרטיסים לעומת ערכות SFT מאומתות
זה עוזר להשוות למה כל ארטיפקט טוב. יומני כשל גולמיים הם אבחנתיים. כרטיסי יכולות הם חוזים יצירתיים. ערכות כוונון עדין מפוקחות ומאומתות הן מה שמתאמנים עליו בפועל.
| חפץ | מה זה מכיל | כּוֹחַ | סיכון בשימוש בבידוד |
|---|---|---|---|
| יומני כשל גולמיים | הנחיות, מצבים, מסלולים שבורים, ניגודים עם הצלחת מורים | מאתר פערים אמיתיים בסביבה החיה | מעט מדי דוגמאות; קל להתאים יתר על המידה ישויות וניסוחים |
| כרטיסי מפרט יכולות | יכולת, כלים או זרימת עבודה, ניגודיות כישלון או הצלחה, צרכי מצב סופי, ממדים משתנים | הפשטה מחוטאת עבור גנרטורים ללא דליפות של מקורות מקוריים | כרטיסים ללא בקרת איכות עדיין יכולים להניב משימות בלתי אפשריות או טריוויאליות |
| קבוצת SFT מאומתת של AutoSynthData | משימות חדשות בתוספת הדגמות למורים שעברו את דרישות הקושי, האימות והסקירה | קנה מידה עם ריאליזם, היתכנות ובדיקות תוצאות | עדיין תלוי בחוזק המורה, באיכות המאמת, בנאמנות לסביבה |
בתמונות מצב של Hybrid ו-ITSM ב-EnterpriseOps Gym, ריצות שדווחו על ידי המחברים השתמשו ב-Gemma-4-26B-A4B-it כמטרה. Hybrid שילב מטרה זו עם Qwen3.8-27B כמורה ויצר כ-2,000 דגימות היברידיות בכ-18 שעות, כאשר נקודת הביקורת הטובה ביותר הייתה בתקופה 5. ממוצע Pass@1 עלה ב-7.2 נקודות אחוז - כ-35 אחוז יחסית - כאשר הצלחת המאמת עלתה מ-63.01 אחוז ל-68.55 אחוז, וסגרה כ-59 אחוז מהפער של Pass@1 למודל הייחוס.
ITSM שילב את אותו יעד עם DeepSeek-V4.1-Flash כ- Teacher והפיק כ-1,994 דגימות בכ-66 שעות, זמן ארוך יותר בין היתר בשל מורה גדול יותר ובגלל שחלק מהאופטימיזציות בצינור טרם היו קיימות. ממוצע Pass@1 עלה מ-18.77 אחוז ל-27.18 אחוז.
| תְחוּם | יַעַד | מוֹרֶה | דוגמאות וזמן ריצה | תוצאה שדווחה על ידי המחבר |
|---|---|---|---|---|
| היברידי | ג'מה-4-26B-A4B-it | Qwen3.8-27B | ~2,000 דגימות ב-18 שעות; נקודת ביקורת מיטבית תקופת 5 | ממוצע Pass@1 +7.2 נקודות זכות (~35% יחסי); הצלחה של המאמת 63.01% עד 68.55%; ~59% מהפער של Pass@1 עד להשוואה נסגר |
| ITSM | ג'מה-4-26B-A4B-it | DeepSeek-גרסה 4.1-פלאש | ~1,994 דגימות ב-66 שעות | ממוצע מעבר ב-1: 18.77% עד 27.18% |
קראו את המספרים הללו כתוצאות מחקר של החברה על חדר כושר זה עבור התחומים שנבדקו - לא כרפליקה עצמאית של צד שלישי, ולא כערבות ארגונית אוניברסלית. רווחים חיים היכן שכוח המורה, איכות המאמת ונאמנות הסביבה מתיישרים.
מה שרופאים צריכים להעתיק מהלולאה
גם אם המחסנית שלך אינה חלק מצינור המחקר של ServiceNow, התבנית מועברת. התחילו בהערכה זוגית של יעד דמוי ייצור ומורה חזק יותר בארגז חול נאמן. המירו כשלים בניגודיות לכרטיסי יכולת המסירים מזהים ומסלולים. צרו משימות המשנות את המימדים המותרים תוך שמירה על מאפייני המצב הסופי הנדרשים. בקשו מהמורה להדגים הצלחות. בצעו שער עם תחומי קושי, אימות חיובי ושלילי, תיקון מוגבל וסקירת גיוון אצווה. כוונו, העריכו מחדש והזיזו את הגבול.
שימו לב במיוחד לעיצוב המאמת. בדיקות תוצאות SQL בסגנון Gym של EnterpriseOps ופעולות המווסתות על ידי מדיניות ממחישות מדוע רובריקות צ'אט כשלעצמן חלשות לעבודה מבוססת מצבים. אם המאמת שלכם לא יכול להבחין בין תוצאות שגויות שעברו מוטציה לבין תוצאות סופיות נכונות, קנה מידה סינתטי יגביר את הרעש.
כמו כן, כבדו את רוח כלל הכפל: וריאציות של מטרות מקובלות לא צריכות לזרוע וריאציות נוספות בלי סוף מבלי לחזור לליבות שנבדקו. הסחף שקט. תוכנית לימודים שממציאה בהדרגה אילוצים אקזוטיים יותר עדיין עשויה לעבור מסננים רדודים תוך השארת היכולת המקורית חסרת אימון.
לבסוף, התייחסו לעבודה היברידית חוצת תחומים כאל מקרה לחץ מהשורה הראשונה. משתמשים יומיומיים אינם נשארים בתוך סילו כלים אחד. משימות היברידיות, מסלולים ארוכי אופק ובדיקות סירוב או חוסר היתכנות הן המקומות שבהם יכולת סביבתית בולטת - או נכשלת בקול רם.
אזהרות, מגבלות וקריאה מדוקדקת של הרווחים
תוצאות שדווחו על ידי מחברים ב-EnterpriseOps Gym הן אותות אינפורמטיביים, לא אחריות גורפת. היתרונות שפורסמו ב-Hibried ו-ITSM חלים על תחומים וזיווגי מודלים אלה תחת ההגדרה המתוארת. תחומים אחרים, מורים חלשים יותר, מאמתים רועשים יותר או נאמנות סביבתית רדודה יותר יכולים לכווץ או למחוק את התועלת.
איכות תלויה בשלושה עמודי תווך שאף שיווק לא יכול לדלג עליהם. חוזק המורה קובע את התקרה להדגמות. איכות המאמת קובעת את מהימנות התוויות והמסננים. נאמנות לסביבה קובעת האם התנהגויות נלמדות שורדות מגע עם מערכות ייצור, כללים ומצב נתונים.
הניסויים של AutoSynthData מדגישים כוונון עדין בפיקוח. למידה מחוזקת מצוינת כשימוש אפשרי מאוחר יותר באותה לולאה, שתוכנן ולא הועבר בעבודה המדווחת. אין לבלבל בין מנוע נתונים מוכן לתכנית לימודים לבין טענה של אימון RL גמור.
וגם לא כדאי לבלבל את צינור הסינתזה עם הספסל עצמו. EnterpriseOps Gym מספק את המשימות, הכלים, הטבלאות, המכולות ומרקם האימות שנבחרו. AutoSynthData משתמש בסביבה מסוג זה כדי להפוך כישלונות לזהב הדרכה. תנו קרדיט מדויק לשני החלקים: חדר הכושר מלחיץ סוכנים; הצינור מכפיל משימות ניתנות ללמידה מפערים שאובחנו.
כמו כן, אין ארוחת צהריים חינם על חישוב וזמן לוח שנה בתוך ארגז החול. סינתזה היברידית הושלמה בסדר גודל של שעות עבור כאלפיים דגימות; ITSM לקח יותר זמן עם מורה כבד יותר וצורת צינור מוקדם יותר. צוותים צריכים לתקצב הסקה של מורים, ניסיונות חוזרים של ביקורת או תיקון, והערכה מחודשת לאחר כל שלב בתוכנית הלימודים.
חשיבה בתכנית הלימודים עבור צוותי סוכנים ארגוניים
הרעיון העמוק ביותר ב-AutoSynthData הוא לימודי ולא יצירתי גרידא. כשלים מאבחנים. כרטיסים מופשטים. יצירה מרבה. בקרת איכות מאמתת. SFT מעדכנת את היעד. הערכה מחדש מזיזה את הגבול. רצף זה מתייחס לשיפור הסוכן כסדרה של שיעורים מבוססי סביבה במקום כקובץ זיכרון יחיד של עקבות לא מקוונות.
חשיבה בתכנית הלימודים משנה את האופן שבו מנהיגים מקצים מאמץ. במקום לבקש רק עוד כרטיסים או עוד הערות אנושיות, שאלו אילו יכולות עדיין נכשלות תחת וריאציה, האם ליכולות אלה יש תכונות מצב סופי נקיות, והאם מורה חזק יותר יכול להדגים אותן באופן מהימן. אם המורה לא יכול להצליח מספיק פעמים, SFT סינתטי ילמד התנהגות לא אמינה. אם תכונות מצב סופי מטושטשות, המאמתים יתווכחו עם אסטרטגיות תקפות.
זה גם משנה את האופן שבו מדברים על הצלחה. סגירת חלק מפער Pass@1 למודל ייחוס ב-Hybrid, או הרמת Pass@1 של ITSM משנות העשרה לשנות העשרים ברמות הריצות המדווחות על ידי מחברים, היא התקדמות במדידת כשירות סביבתית. זו לא הוכחה שכל זרימת עבודה, כל מדיניות או כל מקרה סירוב נפתר. שמרו על שפת החזית הנעה: הפערים הנותרים הופכים לשלב היעד הבא, לא לשקופית שלאחר מעשה.
עבור תכנון תוכניות, שלבו לולאה זו עם סקירה אנושית במקרים בהם ההימור גבוה - מדיניות בטיחות, פעולות בלתי הפיכות, נתונים מוסדרים - תוך מתן אפשרות לשערים אוטומטיים לשאת נפח בבדיקות מצב מוגדרות היטב. נתונים סינתטיים עובדים בצורה הטובה ביותר כאשר הסביבה יכולה לומר כן או לא בבהירות דמוית SQL. הם מתקשים כאשר הצלחה היא טעם סובייקטיבי.
הערות עיצוב על קושי, ריאליזם וסירוב
קושי במיקוד ראוי לבחינה שנייה. העדפת משימות שהמטרה פותרת לכל היותר שליש מהזמן מונעת מההדרכה להתמקד בטריוויה. דרישה מהמורה להצליח לפחות בשני שלישים מהזמן מונעת מההדגמות להטיל מטבעות. רצועה זו היא פשרה מעשית בין אתגר ללמידה.
ריאליזם נותר קריטריון רך יותר אך עדיין חיוני. משתמשים ארגוניים מבקשים דברים שמתאימים לתפקידים ולמערכות שלהם. גנרטורים המונחים רק על ידי קשיות יכולים להמציא חידות מורכבות מרובות אילוצים שאף מפעיל לא היה מבקש. כרטיסי יכולות המפרטים ממדים משתנים עוזרים, אך בני אדם או מטא-סקירה עדיין צריכים לתפוס הנחיות סוריאליסטיות.
בדיקות סירוב וחוסר היתכנות, הקיימות בתכנון הרחב יותר של EnterpriseOps Gym, מזכירות לצוותים שכשירות כוללת אמירת לא. צינור המותאם רק למשימות הניתנות להשלמה יכול לאמן סירוב בצורה לא טובה. בעת הרחבת לולאות בסגנון AutoSynthData, יש לכלול כרטיסים שבהם המאפיין הסופי הנכון הוא דחייה בטוחה תחת מדיניות, ולא רק מוטציה מוצלחת של מצב מסד הנתונים.
מסלולי מצבים ארוכי טווח מעלים הערה עיצובית נוספת. הדגמות מורים חייבות להישאר קוהרנטיות על פני קריאות רבות לכלי. מאמתים שבודקים רק את השורה האחרונה בטבלה עלולים לפספס הפרעות ביניים במדיניות. שלמות בתכנון מאמת פירושה כיסוי המאפיינים שמגדירים באמת הצלחה עבור יכולת זו - כולל אילוצים שחייבים להישאר נכונים לכל אורך הדרך, לא רק בסוף.
סיכום סיום
AutoSynthData, מבית ServiceNow CoreAI / ServiceNow-AI, שנכתב בכתב העת הציבורי על ידי Esakkivel Esakkiraja, הוא צינור (pipeline) שהופך כשלים של סוכן יעד (target-agent) יחד עם הצלחות של מורים למשימות הדרכה סינתטיות מאומתות עבור סביבות ארגוניות. הוא מפשט כשלים לכרטיסי מפרט יכולות מחומרים מנוקים, יוצר משימות חדשות מבלי לדלוף הנחיות או מסלולים מקוריים, אוסף הדגמות של מורים ואוכף בקרת איכות ברמת הדגימה וברמת האצווה לפני כוונון עדין בפיקוח.
המודל המנטלי המעשי הוא משימה כמפרט מערכת, הנחיית משתמש ומאמת - עם היתכנות, ריאליזם וקושי במתח, ועם מאמתים שאינם רופפים מדי וגם לא נעולים לנתיב אחד. לאחר מכן, כוון את השלבים כפליים, כלל "אי-זריעה נוספת" עבור דגימות מרובות, בקר משותף בתוספת מתאם סביבה, והערכה מחדש לאחר SFT יוצרים גבול נע מעל הפערים שנותרו.
ב-EnterpriseOps Gym, תוצאות היברידיות שדווחו על ידי המחברים עם Gemma-4-26B-A4B-it ו-Qwen3.8-27B מראות כאלפיים דגימות בכ-18 שעות ועלייה משמעותית ב-Pass@1 ובהצלחה במאמת, מה שסוגר חלק גדול מהפער למודל ייחוס. ITSM עם DeepSeek-V4.1-Flash כמורה מראה עלייה ב-Pass@1 מ-18.77 אחוז ל-27.18 אחוז בכ-1,994 דגימות לאורך טווח ארוך יותר. התייחסו לנתונים אלה כאל אותות נחקרים בתחומים ספציפיים, התלויים בנאמנות המורה, המאמת והסביבה - ושמרו על למידת חיזוקים כהרחבה מתוכננת של הלולאה, לא כטענה מוגמרת.
אם תזכרו משפט אחד: סוכני ארגון משתפרים כאשר כשלים הופכים לשיעורים מופשטים, מוכפלים ומאומתים בתוך המערכות שעליהם להפעיל מדי יום - לא כאשר צוותים פשוט משחזרים את אותו כרטיס שבור.
דוגמה מעשית: הרחבת מקרי ITSM קשים מקבוצת כשל קפואה בסגנון חדר כושר
תַרחִישׁ
צוות פלטפורמה ארגונית בבריטניה - תחשבו על קבוצת תפעול שירותים פיננסיים בגודל בינוני שמפעילה ITSM בסגנון ServiceNow עם חלונות שינוי, קשרי CMDB ומעברים מבוססי מדיניות - כולל סוכן דמוי ייצור שמתקפל שוב ושוב על אותו סוג עבודה: עדכונים בין טבלאות שחייבים לכבד תנאי אישור, חיפושי מאמרי ידע שמתנגשים עם הקפאות שינויים מקומיות, ובקשות היברידיות שחוצות ITSM לכלי תפעול סמוכים.
הם מקפיאים חבילת EnterpriseOps פרטית בסגנון חדר כושר (ארגז חול ממוחשב, בדיקות תוצאות SQL, טבלאות ממוינות, כללי מדיניות) כך שהציונים ניתנים להשוואה משבוע לשבוע. הרצות אבחון מראות שהסוכן היעד נכשל במקום בו מורה חזק יותר מצליח. ההנהגה רוצה יותר אותות הדרכה מבלי להפעיל מחדש את אותם מספרי כרטיסים ומזהי ישות. AutoSynthData (או לולאת סינתזה מקבילה מכשלים אם צינור המחקר מגודר במחסנית שלהם) הוא המועמד: להפוך כשלים בניגוד לכרטיסי מפרט יכולות מחוטאים, ליצור משימות חדשות, לאסוף הדגמות של מורים, ואז - באופן קריטי - לבצע ביקורת אנושית על עקבות סינתטיות לפני כל אימון מחדש.
שום דבר לא נשלח ב-Gim Pass@1 בפני עצמו. נתוני סינתזה נחשבים לתוכנית לימודים של מועמדים, לא לאמת חופשית.
מה שהעוזר צריך
- גישה למתאם סביבת הקפאה בסגנון חדר כושר: כלים, מצב זרעים, מדיניות ומאמתי SQL (או מקבילים מבוססי מצב).
- יומני הערכה מזווגים: כשלים של יעדים בהשוואה להצלחות של מורים באותן משימות.
- סכימת כרטיסים שלוכדת יכולות, צורת כלים/זרימת עבודה, ניגודיות כישלון/הצלחה, מאפייני מצב סופי נדרשים וממדי וריאציה המותרים - ללא הנחיות מקוריות, ישויות, מסלולים או רכיבים פנימיים של מאמת.
- כללי ניקוי של פרטים אישיים מזהים ומדיניות (מזהי כרטיסים, שמות משתמשים, שמות CI, שדות מוסדרים) לפני שמשהו יוצא מארגז החול או נכנס לשורת מחולל.
- תור סקירה אנושי עבור משימות סינתטיות שנדגמו ועקבות מורים (מקרי היתכנות, ריאליזם, תקינות מאמת, מקרים של סירוב/אי היתכנות).
- נקה תנאי עצירה: כוון ולאחר מכן הכפל פאזות; דגימות מוכפלות אינן מזריקות סבבי הכפל נוספים.
הוראה לדוגמה
הפלטפורמה מובילה למפעיל תוכנית הלימודים (או לעוזר תזמור שרק כותב כרטיסים וסוקר חבילות - הוא לא מכשיר מחדש או מקדם מודלים):
"הרץ את Pass@1 האבחוני על פרוסות ה-ITSM וה-Hybrid הקפואות כנגד היעד הנוכחי שלנו והמורה המיועד. עבור כל ניגוד שבו היעד נכשל והמורה מצליח לפחות בשניים מתוך שלושה ניסיונות, טיוטה של כרטיס מפרט יכולת מחוטא: ציין את היכולת, רשום כלים רלוונטיים, ציין מאפייני מצב סופי נדרשים ופרט ממדים נשלטים (רצועת עדיפות, מחלקת CI קשורה, דגל חלון שינוי, סוג התנגשות ידע). הסירו מספרי כרטיסים, מזהי משתמש, שמות CI ונתיבים גולמיים. צור אצווה של משימות חדשות בשלב היעד מכרטיסים אלה בלבד. בקש מהמורה להדגים הצלחות. החל טווח קושי (יעד ≤1/3, מורה ≥2/3), אימות חיובי ושלילי, וביקורת/תיקון מוגבלים. צור חבילת סקירה של 5% דגימות מרובדות בתוספת כל כרטיס סירוב/אי-היתכנות. אין להתחיל SFT עד ששני סוקרים יחתמו על החבילה ובדיקות סקרוף PII יעברו. לאחר SFT על נקודת ביקורת מועמדת, ערך מחדש על הסוויטה הקפואה ועל קבוצת התאמה מדויקת של החזקה שמעולם לא השתמשנו בה לייצור. דווח על כיסוי לפי מחלקת כישלון ושיעור רגרסיה לעומת ה-" נקודת ביקורת ייצור קודמת. אין לקדם על ציון חדר כושר בפני עצמו
איך לבדוק את זה
- נעילת בסיס: רישום שיעורי הצלחה של Pass@1 ושל מאמתים על הסוויטה הקפואה לפי מחלקת כשל (הזמנת דרישות מוקדמות, סירוב לחלון שינוי, כלי עבודה צולבים היברידיים, התנגשות ידע). שמירת הסוויטה וה-seeds בלתי ניתנים לשינוי לאורך המחזור.
- ביקורת כרטיסים: בדיקה נקודתית שיוצרי מודעות לעולם לא יקבלו הנחיות מקוריות, ישויות או עקבות מורים - רק כרטיסים.
- בקרת איכות לדוגמה: אישור מסלולים חיוביים עוברים את המאמתים ותוצאות שגויות שעברו מוטציה נכשלות. דחיית משימות שהן טריוויאליות עבור המטרה או הטלת מטבע עבור המורה.
- סקירה אנושית: הבודקים מסמנים כל דגימה כשמירה/תיקון/הסרה על סמך היתכנות, ריאליזם ובטיחות מדיניות. יש לעקוב אחר הסכמת הבודקים על תת-קבוצה משותפת.
- התאמה מדויקת של חסימה: לאחר SFT מועמד, ציון חסימה של משימות אמיתיות (או שהוקפאו בעבר) שמעולם לא היו קלט לקרטונים או ליצירה. ציון בנפרד כמעט-פרפרזות של משימות אימון כדי לזהות שינון שטחי.
- שער רגרסיה: כל מחלקת כשל שמחמירה לעומת נקודת הביקורת הקודמת של הייצור חוסמת קידום עד להסבר או תיקון.
תוֹצָאָה
אל תמציאו כאן אחוזי אפייה. השתמשו בתוכנית מדידה ותייגו נתוני מחקר שפורסמו כ-ARTICLE CLAIM כשאתם מצטטים אותם.
תוכנית מדידה (מה הצוות הזה צריך לדווח):
- כיסוי מחלקת כשל: חלק מחלקות הפער שאובחנו שייצרו ≥N משימות שלב יעד שהתקבלו לאחר בקרת איכות (יש להגדיר N מראש, לדוגמה 20 משימות שהתקבלו לכל מחלקה).
- התאמה מדויקת של Holdout: Pass@1 / הצלחה של המאמת על ה-holdout שלא טופלה לפני לעומת אחרי SFT מועמד (אותם זרעים, אותו מאמת).
- קצב רגרסיה: ספירת מחלקות הכשל שבהן Pass@1 נופל לעומת נקודת הביקורת הקודמת של הייצור; חסימה אם מחלקה קריטית לבטיחות כלשהי עוברת רגרסיה.
- תפוקת סקירה: שמירה / תיקון / שיעורי נשירה בחבילת הסקירה האנושית; אם שיעור הנפילה עולה, השהייה של ההכפלה ותיקון קלפים או מאמתים.
- כשלים בבדיקה: מספר דגימות שנכשלו בבדיקות PII/מדיניות לפני אישור הסקירה (יעד: אפס דליפות לתוך קבוצת SFT).
טענת המאמר (דיווח המחבר ב-EnterpriseOps Gym - לא התוצאה הנמדדת של צוות זה): ריצות היברידיות עם Gemma-4-26B-A4B-it כיעד ו-Qwen3.8-27B כמורה הפיקו כ-2,000 דגימות בכ-18 שעות, כאשר ממוצע Pass@1 עלה בכ-7.2 נקודות אחוז והצלחת המאמת עלתה מ-63.01% ל-68.55%. ITSM עם DeepSeek-V4.1-Flash כמורה הזיז את ממוצע Pass@1 מ-18.77% ל-27.18% על כ-1,994 דגימות לאורך זמן ארוך יותר (~66 שעות). התייחסו לאלה כאל אותות שנחקרו בתחומים וזיווגים ספציפיים, ולא כערובה אוניברסלית למחסנית ייצור בבריטניה.
צורת תוכנית לדוגמה (הנחות, לא רווחים מדודים): אם הצוות מקבל כ-2,000 דגימות מבוססות QC עבור מחזור ITSM אחד, מתקצב הסקת מסקנות של המורים בתוספת סקירה ב-5% דגימה מרובדת, ומקדם רק כאשר העמידה בפני התוכנית אינה גורמת לנסיגה בשיעורים קריטיים לבטיחות, ה"תוצאה" שהם יכולים לטעון בהצהרה היא בגרות התהליך - תוכנית לימודים מבוקרת, עקבות מצומצמות ודלתות של סוויטות קפואות דומות - לא עלייה באחוזים מובטחת.
מה יכול להשתבש
- התייחסות לסינתיסייזר כאל אמת חופשית: דילוג על ביקורת אנושית או אימות שלילי מאפשר לאימות מתירני להודות בזבל בקנה מידה גדול.
- דליפת ישויות: הזנת מזהי כרטיסים מקוריים או עקבות מורים לתוך המחולל מזמנת התאמת יתר של פרפרזה; קיימים כרטיסים כדי למנוע זאת.
- כפל בלתי מוגבל: מתן אפשרות לדגימות מוכפלות לזרוע סיבובים נוספים סוחף הרחק מהיכולת הנקובת.
- משלוחי ציון חדר כושר: קידום מכיוון ש-Pass@1 של frozen-suite עלה בעוד שתנועת צללים או החזקות מהמוצר החמירה.
- תקרת מורים חלשה: אם המורה לא יכול לעבור את טווח ההצלחה ≥2/3, SFT מלמד הדגמות לא אמינות.
- אימותים מטושטשים: רובריקות צ'אט במקום בדיקות מבוססות מדינה מדרגות ציונים שגויים של גמר כהצלחה.
- סירוב לאימון חסר: אופטימיזציה רק עבור מוטציות הניתנות להשלמה משאירה את חלון השינויים ואת הסירובים למדיניות שבירים.
- בריחה מ-PII: הנחיות סינתטיות שמציגות מחדש CI או שמות משתמש אמיתיים לאחר סקירה שטחית.
טייק אווי מעשי
השתמשו בלולאות בסגנון AutoSynthData - או בתבנית סינתזה מקבילה מכשלים אם צינור ServiceNow CoreAI אינו זמין בתקופת השירות שלכם - כדי להכפיל מקרי ITSM קשים וניתנים לאימות מפערים שאובחנו. סנו לכרטיסי יכולות, בצעו שער עם קושי ואימות חיובי/שלילי, סרקו את ה-PII ודגימות שנבדקו על ידי אדם לפני SFT. מדדו כיסוי של מחלקת כשל, התאמה מדויקת של עמידות ושיעור רגרסיה. צטו נתוני חדר כושר של ARTICLE CLAIM רק כהקשר מחקרי חיצוני. נתוני סינתזה הם דלק לתכנית לימודים, לא אחריות: בצעו ביקורת על דגימות, שמרו על הקפאת הסוויטה להשוואה הוגנת, ולעולם לא שלחו דגימות על סמך ציון חדר כושר בפני עצמו.
שאלות נפוצות
מה זה AutoSynthData ולאיזו בעיה הוא מכוון?
AutoSynthData הוא צינור של ServiceNow CoreAI / ServiceNow-AI, שתואר על ידי Esakkivel Esakkiraja, שמקפל את כשלי סוכן היעד יחד עם ניצחונות חזקים יותר של מורה למשימות הדרכה סינתטיות מאומתות עבור סביבות ארגוניות. הוא מתמקד בכשירות סביבתית - מדיניות מקומית, סכמות, כלים ומצב - במקום ידע כללי רחב. המטרה היא להכפיל עבודה קשה וניתנת לבדיקה, כך שכיוונון עדין מפוקח יוכל לתקן פערים ספציפיים לסביבה במקום לשחק שוב את אותו כרטיס שבור.
מדוע כשירות סביבתית שונה מיכולת מודל רחבה?
סוכני ארגון נוטים למעוד מכיוון שהסביבה עצמה היא ייחודית: מדיניות כרטיסים, מוזרויות סכימה, חוזי כלים, מסדי נתונים מבוססי זרעים וזרימות עבודה בין-מערכות. מודל שנראה חזק במבחני ביצועים פתוחים עדיין יכול לקפוא בחלון שינויים, בקשר CMDB או במאמת שבודק את המצב הסופי. יכולת רחבה אינה זהה לדעת כיצד המערכות, הכללים ומצב הנתונים שלך מתנהגים תחת מעברים הנשלטים על ידי מדיניות.
מהי צורת המשימה המעשית שבה משתמש AutoSynthData?
צורה מעשית היא משימה השווה למפרט מערכת, בקשת משתמש ומאמת. מפרט המערכת מכיל אילוצים, מדיניות ומצב התחלתי כגון זרעי מסד נתונים ומאמרי ידע. בקשות משתמש מקבלות ציון לפי היתכנות, ריאליזם וקושי. מאמתים מסתמכים באופן אידיאלי על בדיקות תוצאה מבוססות SQL או מבוססות מצב, כך שהם מדרגים את העולם לאחר שהסוכן פועל, לא רק את נתיב האסימון המדויק שנלקח.
כיצד כרטיסי מפרט יכולות שעברו ניקוי מונעים התאמת יתר?
האבחון מריץ ניגודים היכן שהמטרה נכשלת והמורה מצליח, ולאחר מכן מזקק את המקרים הללו לכרטיסי מפרט יכולות מחומרים מנוקדים. כרטיס מתעד את היכולת, הכלים או צורת זרימת העבודה, ניגודיות כישלון/הצלחה, מאפייני מצב סופי נדרשים וממדים שיכולים להשתנות. המחולל לעולם לא רואה הנחיות, ישויות, מסלולים או פרטי אימות מקוריים - רק את הכרטיסים - כך שמשימות חדשות לוחצות על הליבה הקשה מבלי לנסח מחדש אפיזודה ששיננתי.
מהם שלבי ה-Target וה-Multiply בצנרת?
שלב המטרה מתמקד בדגימות ליבה שנבדקו סביב פערים - המשימות בעלות האות הגבוה ביותר ליד המקום שבו הסוכן החלש נשבר. שלב הכפל מסובב וריאנטים חדשים של מטרות מקובלות. דגימות מוכפלות אינן יכולות לזרוע סבבי כפל נוספים, מה שמונע סחיפה מהיכולת הנקובת. לאחר כוונון עדין בפיקוח, הערכה מחדש מעבירה את תוכנית הלימודים לכיוון הפערים הנותרים כגבול נע ולא כמקום סטטי.
כיצד בקרת איכות ברמת הדגימה שומרת על אמינות משימות סינתטיות?
מסנן קושי של פותר מעדיף משימות שהמטרה פותרת בלפחות אחד משלושה ניסיונות, בעוד שהמורה מצליח בלפחות שניים מתוך שלושה. אימות חיובי זקוק למסלול ייחוס כדי לעבור; אימות שלילי זקוק לתוצאות שגויות שעברו מוטציה כדי להיכשל. לולאת ביקורת ותיקון עם מגבלת ניסיונות חוזרים מנסה לתקן כמעט-החמצות, ומטה-סקירה ברמת הקבוצה בודקת כיסוי, גיוון, יתירות ומטרות כושלות לאורך הקבוצה.
איזו ארכיטקטורה משתמשת AutoSynthData בתחומים ארגוניים שונים?
הוא משדך בקר משותף עם מתאם סביבה. הבקר מריץ אבחון, עיבוד כרטיסים, יצירה, הדגמות מורים, שערי איכות וביקורת קבוצות. המתאם מקשר את השלבים הללו לארגז חול קונקרטי - כלים, מצב, מדיניות ומאמתים - כך שאותה לולאת בקרה יכולה להצביע על תחומים שונים מבלי לכתוב מחדש את לוגיקת תוכנית הלימודים מאפס.
מהו EnterpriseOps Gym בהקשר של מחקר זה?
EnterpriseOps Gym הוא ספסל סוכני ארגוניים בקנה מידה גדול המשמש כבסיס לבדיקות מאמץ, עם כ-1,150 משימות שנבחרו על ידי מומחים ב-8 תחומים, כ-512 כלים, כ-164 טבלאות מסד נתונים, ביצוע במכולות, אימות תוצאות מבוסס SQL, פעולות הנשלטות על ידי מדיניות, תרחישים היברידיים ונתיבים ארוכי טווח של מצבים. AutoSynthData לא מוצג כמי שהמציא את חדר הכושר הזה; חדר הכושר מציג את לולאת הסינתזה בפעולה.
אילו תוצאות שדווחו על ידי המחבר מופיעות עבור הגדרות היברידיות ו-ITSM?
ב-EnterpriseOps Gym, פעולות Hybrid עם Gemma-4-26B-A4B-it כמטרה ו-Qwen3.8-27B כמורה ייצרו כ-2,000 דגימות בכ-18 שעות, כאשר ממוצע Pass@1 עלה בכ-7.2 נקודות אחוז והצלחת המאמת עלתה מ-63.01% ל-68.55%. ITSM עם DeepSeek-V4.1-Flash כמורה העלה את ממוצע Pass@1 מ-18.77% ל-27.18% על כ-1,994 דגימות לאורך זמן ארוך יותר. התייחסו לאלה כאל אותות שנחקרו על זיווגים ספציפיים, ולא כערובה אוניברסלית לייצור.
אילו טעויות צוותים צריכים להימנע מהן בעת שימוש בלולאות סינתזת-מכשלים?
אין להתייחס לנתונים סינתטיים כאל אמת חופשית ואל תדלג על בדיקה אנושית ואימות שלילי. הימנע מהזנת מזהי כרטיסים מקוריים או עקבות מורים לתוך המחולל, מתן אפשרות לדגימות מרובות להוביל לסבבים נוספים, או קידום ב-Gym Pass@1 בפני עצמו בזמן שתנועת העיכובים או הצללים מחמירה. שימו לב גם למורים חלשים מתחת לטווח ההצלחה, רובריקות צ'אט מטושטשות במקום בדיקות מדינה, מקרים של סירוב הכשרה לא מספקת, ו-IPI שנמלט לאחר בדיקה שטחית.
הפניות
- פרצוף מחבק — AutoSynthData — huggingface.co
- חדר כושר EnterpriseOps — enterpriseops-gym.github.io
- arXiv — arxiv.org
- גיטהאב — EnterpriseOps-Gym — github.com