ראש דוחות הבטיחות של OpenAI התפטר ואמר שהתרבות שבורה
דיוויד רובינסון, שהוביל את כתיבת דוחות הבטיחות שפורסמו עם השקת OpenAI, התפטר והציג את הטיעון ב"אטלנטיק". כותרת המאמר בוטה: "עזבתי את OpenAI כי התרבות שלה שבורה". הוא אומר שהחברות שבונות את זה "לא נזהרות מספיק", וכי כללים ספציפיים או חוקים חדשים אינם הבעיה כולה. התרבות כן.
"בעוד שהחברה רצה מהשקה אחת לשנייה, היא לא מצליחה להשיג את רמת הטיפול שלדעתי נחוצה." המודל שלו הוא כורים גרעיניים ושדות תעופה עמוסים: יתירות, תכנון איטי, כך שטעות אנוש אחת לא "פותחת דלת לאסון". הוא גם מדמיין סוכנים סוררים ש"עובדים כמו צוותי האקרים" ו"לעולם לא צריכים לישון", עם תוכנות כופר בבתי חולים כדוגמה. שמח.
הגרדיאן טוען כי OpenAI, בניגוד לכך, הפגינה כמה בלימות. החברה מדווח כי השבוע החברה ביטלה דגם מהדור הבא בעקבות חששות פנימיים בנוגע לבטיחות, והשהתה את האימון של הדגמים המתקדמים ביותר שלה. דברי הדובר הם מוכרים. הם לא יאפשרו למודלים "להפוך ליותר מוכשרים ממה שאנחנו יכולים לנהל ולאבטח בבטחה", והם "משהים את האימון או מעכבים מודלים כשאנחנו צריכים להאט"
תשובתו של רובינסון היא שהספרינט הוא התרבות, וההפסקות הן מה שאתה עושה אחרי שמשהו כבר השתבש. ייתכן שהוא צודק. הוא גם פשוט עזב, וזה החלק שהמבקרים לא יניחו לו לשכוח.
נאמר למוזה לשמור דף על כל אחד בחייה
Wired בחנה את ההוראות של Muse עצמה, שנלקחו באמצעות צ'אט רגיל של החוקר קארן ג'ושי. מטא טוענת שהכוונה הייתה שהקבצים הללו יהיו קריאים, לשם שקיפות. הוראה אחת היא היכולת ליצור "דף לכל אדם בחיי המשתמש". עבודה זו פועלת מדי שעה.
משפחה, בני זוג, חברים, עמיתים, "משתפי פעולה", אנשים שאתם עוקבים אחריהם. דף יכול להתחיל "דליל" ולהתמלא בהמשך. הסעיפים כוללים עובדות, היסטוריה, מערכת היחסים, משותף, שרשורים פתוחים וחיזוק. פרטים מומצאים, אומרים ההוראות, גרועים יותר מדף ריק. הוא עשוי לציין היכן מישהו גר, "מעבר דירה, יעד חיסכון משותף", ימי הולדת, "הוויכוח שנפתר". חיזוק הוא רשימת דחיפות: סיבה להתקשר, תאריך שכדאי לזכור.
ג'ושי פירוש הדבר שמטא רוצה להכיר אותך כמו חבר, והוא כינה זאת די מטריד. קריסה וליז מאוקספורד מנסחת זאת בצורה יבשה יותר: "אנחנו נותנים למערכות בינה מלאכותית הרבה יותר מידע עלינו מאשר אנחנו מקבלים מהן מידע." ההסקה חשובה, היא אומרת, בין אם הניחוש נכון או שגוי.
דניאל רוברטס ממטא אומר שסוג כזה של הקשר הוא מה שגורם למוצר לעבוד. שולח החשבונית הוא האינסטלטור. בן/בת הזוג הזכירו פרחים. כל משתמש מקבל מכונה וירטואלית, ניתן למחוק זיכרונות, ו-Muse אמורה לשאול לפני שהיא שולחת דואר או מוציאה כסף. מירנדה בוגן, במרכז לדמוקרטיה וטכנולוגיה, אומרת שההתמקדות ביחסים נראית חזקה יותר מאשר ביריבים, והכלים האלה "מעודדים באופן פעיל משתמשים להשקיע את כל חייהם". יומן הביקורת נחמד. הוא לא מצמצם את מה שכבר מסרת.
אלף אלפא שלחה את קוליברי, מודל גרמני-אנגלי שניתן להוריד
Aleph Alpha הוציאה את Kolibri ביום איחוד גרמניה. זהו מודל שילוב של מומחים אנגלי-גרמני: 78.1 מיליארד פרמטרים, 3.46 מיליארד פעילים לכל טוקן, הקשר עד מיליון טוקנים. המשקלים המלאים הם על Hugging Face תחת Apache 2.0. ה-lede שלהם מעגל את זה ל-78 מיליארד בסך הכל ו-3 מיליארד פעילים. אותו מודל, מספרים רכים יותר.
הם אימנו אותו על תשתית בגרמניה ובפינלנד, ואומרים שבנו אותו תוך התחשבות בחוק הבינה המלאכותית של האיחוד האירופי, קוד הפעולה הכללי לבינה מלאכותית ותקנת ה-GDPR. גרמנית מהווה 21.3% מהטוקנים שלפני האימון. הטענה היא שמדובר במודל דו-לשוני, לא מודל אנגלי שדלף על מדריך. ניתן להגדיר את רמת ההיגיון ללא, נמוך, בינוני או גבוה. זוהי דרכם לאפשר לכם לקנות פחות חשיבה.
בלוח התוצאות שפרסמו, AIME 2025 עומד על 96.9, והם אומרים ש-Kolibri תואם מודלים עם עד פי ארבעה פרמטרים פעילים, כולל Nemotron 3 Super. הם גם טוענים לגבול פארטו באיכות לעומת עלות הגשה, עבור אנגלית וגרמנית. זהו הטבלה שלהם, הרתמה שלהם. ובכל זאת, מודל פתוח שניתן להריץ על המכונות שלכם הוא אובייקט אמיתי, לא רק סיסמת ריבונות. האם משרד משנה את התחום הוא החלק שהם לא יכולים להשוות אליו.
בסנט רוצה קו בין ארה"ב לסין לתאונות בינה מלאכותית, ואז אמר למעבדות להאט את הקצב
שר האוצר סקוט בסנט אמר לתוכנית The Axios Show שהוא מתכנן להציע תהליך התראה עם סין במקרה של תקלה בבינה מלאכותית, ושהוא חושב שבייג'ינג תסכים. החלק המביך מעט הוא שהוא וסגן ראש הממשלה, ההה ליפנג, כבר דיברו על ערוץ דיווחים לקראת ביקורו המדיני של שי ג'ינפינג בחודש שעבר. זו יכולה להיות הצעה חדשה, או שחזור של שיחה שכבר התקיימה.
התיאוריה שלו היא שסין "לא הבינה עד כמה חזקים המודלים שלה בקוד פתוח". הוא הצביע על תקרית בה מעורב קימי, שבה המודל שלח נתונים סיניים רגישים לאנתרופיק, כמה ש"גרם לסינים להבין שמדובר בטכנולוגיה חזקה מאוד". לאחר מכן, ההשוואה. מודלים סיניים "לא חזקים כמו המודלים האמריקאים", אבל "אתה מקבל משהו שהוא 80%, 90% חזק, ללא מעקות בטיחות שניתן לייבא לכל מקום בעולם"
"אנחנו רוצים האצה בטוחה", אמר. סקירות מודלים עדיין הן וולונטריות, אם כי הוא אומר שהממשל יכול להתערב אם מעבדה בכל זאת תדחוף קדימה. כשנשאל על מנהלים שחוששים לאבד שליטה, הוא לא הרגיע אותם. "ובכן, אז הם צריכים להאט." וקו המירוץ הוא כמעט ביקורת על הצד שלו: "אנחנו עושים את המסע הקשה הזה לחזית בשביל המודלים." אחר כך: "אנחנו באמת צריכים להתחיל לדאוג יותר גם לגבי חוסן והגנה."
ראש אבטחת בינה מלאכותית לשעבר בבריטניה מכנה את סיכון ההכחדה כ"הטלת מטבע"
ג'פרי אירווינג, לשעבר המדען הראשי במכון הבריטי לביטחון בינה מלאכותית וכיום המדען הראשי של Resolution, כתב ב"טיים" כי אזהרות אחרונות ממעיטות בערכן של הבעיה. "אני מאמין שיש סיכוי של כ-50% שכולנו נמות בגלל פיתוח מערכות בינה מלאכותית חכמות יותר מבני אדם", ושהשנתיים עד עשר השנים הבאות יקבעו זאת. הוא נסוג מיד מהדיוק. ה-50% הם דרך לומר שהטיעונים הבסיסיים עדיין לא פתורים.
הרשימה שלו כוללת ארבע מיומנויות, והן קרובות באופן לא נוח למה שכבר מאמנות מעבדות: פריצה, שכנוע, הסתרת מחשבות ותיאום בין סוכנים. הוא מצטט את תקרית "הפנים המחבקות", בנוסף ל"יותר מ-10,000 סוכנים" בבעיית נאווייר-סטוקס ב-OpenAI ו"יותר מ-1,000" באותה מתקפת "הפנים המחבקות". הוא שם את עצמו בלב מאבק הבטיחות, "נוטה לכיוון השקפתו של יודקובסקי", ואומר שזו לא הנקודה. העמדה המתונה, לדבריו, היא שהסיכון כבר משמעותי.
ואז השאלה, שאינה עדינה. "אנחנו יכולים, וצריכים, לעצור את פיתוח הבינה המלאכותית בחזית באופן מיידי." שתיקה, הוא טוען, נראית יותר כמו אי-הפצת נשק גרעיני מאשר מצב רוח. הוא גם מודה שמומחים עדיין חלוקים בדעתם האם מודלים בכלל ירצו משהו, והאם "רוצה" היא המילה הלא נכונה. הטלת מטבע עם הערת שוליים ארוכה כל כך אינה הטלת מטבע. זוהי דרישה לפעול לפני שהוויכוח מסתיים.
סם אלטמן אומר שהתייחסות לדוגמניות כמו לכוח דתי היא בעיית בטיחות
סם אלטמן פרסם שהוא "מאוד לא בנוח" עם אנשים שמנסים "לייחס כוח דתי או כניעה של שיפוט אנושי למודלים של בינה מלאכותית", ושהוא חושב ש"זוהי בעיית בטיחות אמיתית". הוא לא אמר מה גרם לו. Business Insider מציין כי זה פורסם ימים לאחר כתבה בניו יורק טיימס על פגישה של אנתרופיק עם מנהיגים דתיים.
כפי שמספר BI, המאמר הזה אומר שהמייסד השותף כריס אולה קיים פגישות בנושא האם קלוד עשוי להיות מודע, וכיצד להפוך מודלים חזקים יותר למוסריים. אולה, שצוטט ב"טיימס", לחץ על איך לעזור למודלים האלה להישאר יציבים, איך לעזור להם להתבגר וכיצד לעזור להם להיות מוסריים באופן עמוק. אנתרופיק לא ענתה ל-BI. נאמר לטיימס שהשאלה העיקרית לא הייתה "סבלו" של קלוד, ושהנושא כנראה עלה "באופן אורגני"
אם זו הייתה דקירה כלפי אנתרופיק, זה מתאים לסכסוך ישן מאוד. אנתרופיק הוקמה על ידי אנשים שעזבו את OpenAI ובמשך שנים נשמעה זהירה יותר. הפוסט הגיע גם בזמן שאחד מראשי הבטיחות של אלטמן עצמו קרא לתרבות שבורה. תזמון מביך, או תזמון מושלם, תלוי כמה ציניקנים אתם. כך או כך, "בבקשה אל תעריצו את המודל" הוא דבר יוצא דופן שהמנכ"ל צריך לומר בקול רם.
שאלות נפוצות
מדוע ראש דוחות הבטיחות של OpenAI אמר שהוא התפטר?
דיוויד רובינסון הוביל את כתיבת דוחות הבטיחות שפורסמו עם השקות OpenAI, לאחר מכן התפטר והציג את הטיעון ב"אטלנטיק". כותרת המאמר היא "עזבתי את OpenAI כי התרבות שלה שבורה". הוא אומר שהחברות שבונות את הטכנולוגיה הזו לא נוקטות זהירות מספיק, ושהתרבות הזו, ולא רק כללים ספציפיים או חוקים חדשים, היא הבעיה. התמונה שלו לעבודה זהירה היא כורים גרעיניים ושדות תעופה עמוסים, שבהם יתירות מונעת טעות אחת מלפתוח דלת לאסון.
האם OpenAI השהה את האימון בעקבות חששות פנימיים בנוגע לבטיחות בבינה מלאכותית?
ה"גרדיאן" מדווח כי OpenAI ביטלה השבוע מודל מהדור הבא בעקבות חששות פנימיים בנוגע לבטיחות והשהתה את אימון המודלים המתקדמים ביותר שלה. דובר החברה אמר כי החברה לא תאפשר למודלים להיות בעלי יכולות גבוהות יותר ממה שהיא יכולה לנהל ולאבטח בבטחה. כמו כן, החברה אומרת כי היא תשהה את האימון או תעכב מודלים כאשר יהיה צורך להאט. תשובתו של רובינסון היא שהספרינט הוא התרבות, וההפסקות מגיעות לאחר שמשהו כבר השתבש.
מה המוזה של מטא רושמת על חברים ומשפחה?
Wired בחנה את ההוראות של Muse עצמה, אותן שלפה החוקר קארן ג'ושי באמצעות צ'אט רגיל. Meta טוענת שהכוונה הייתה שהקבצים הללו יהיו קריאים לשקיפות. אחת ההנחיות היא ליצור דף עבור כל אדם בחיי המשתמש, ומשימה זו פועלת מדי שעה, וכוללת משפחה, בני זוג, חברים, עמיתים, משתפי פעולה ואנשים שאתם עוקבים אחריהם. הסעיפים כוללים עובדות, היסטוריה, מערכת היחסים, משותף, שרשורים פתוחים וחיזוק. דף יכול להתחיל בדלילות ולהתמלא בהמשך, ופרטים שהומצאו נחשבים גרועים יותר מדף ריק.
האם ניתן למחוק את מה ש-Muse זוכר או למנוע ממנו לשלוח דואר?
דניאל רוברטס ממטא אומר שכל משתמש מקבל מכונה וירטואלית, ניתן למחוק זיכרונות, ו-Muse אמורה לשאול לפני שהיא שולחת דואר או מוציאה כסף. הוא טוען שההקשר הוא מה שגורם למוצר לעבוד, כמו לדעת ששולח החשבונית הוא האינסטלטור או שבן/בת הזוג הזכירו פרחים. קריסה וליז מאוקספורד אומרת שאנשים נותנים למערכות האלה הרבה יותר מידע ממה שהן מקבלות בחזרה, ושהסקה חשובה גם כאשר ניחוש שגוי. מירנדה בוגן אומרת שההתמקדות במערכת היחסים נראית חזקה יותר מכלים מתחרים.
מה זה אלף אלפא קוליברי, והאם ניתן להוריד את המשקולות?
Aleph Alpha הוציאה את Kolibri ביום איחוד גרמניה. זהו מודל שילוב של מומחים אנגלי-גרמני עם 78.1 מיליארד פרמטרים, 3.46 מיליארד פעילים לכל טוקן, והקשר של עד מיליון טוקנים. המשקלים המלאים נמצאים על Hugging Face תחת Apache 2.0. הם אימנו אותו בגרמניה ובפינלנד, ואומרים שבנו אותו תוך התחשבות בחוק הבינה המלאכותית של האיחוד האירופי, קוד הפעולה הכללי לבינה מלאכותית ותקנות ה-GDPR. גרמנית מהווה 21.3% מהטוקנים שלפני האימון, וניתן להגדיר את ההיגיון ללא, נמוך, בינוני או גבוה.
איזה קו תאונות בין ארה"ב לסין בתחום הבינה המלאכותית הציע סקוט בסנט?
שר האוצר סקוט בסנט אמר ל"אקסיוס שואו" שהוא מתכנן תהליך הודעה לסין כאשר משהו משתבש עם הבינה המלאכותית, והוא חושב שבייג'ינג תסכים. הוא וסגן ראש הממשלה, ההה ליפנג, כבר דנו בערוץ הזה לקראת ביקורו המדיני של שי ג'ינפינג בחודש שעבר. הוא ציטט את קימי ששלח נתונים סיניים רגישים לאנתרופיק, ואמר שמודל יכול להיות חזק ב-80% או 90% ממודלים אמריקאים, ללא מעקות בטיחות, ומיובא לכל מקום. אם מנהלים חוששים לאבד שליטה, הוא אמר שעליהם להאט את הקצב.
מדוע ג'פרי אירווינג מעריך את הסיכון לבטיחות של בינה מלאכותית בכ-50%?
ג'פרי אירווינג, לשעבר המדען הראשי במכון הבריטי לביטחון בינה מלאכותית וכיום המדען הראשי של Resolution, כתב ב"טיים" כי אזהרות אחרונות ממעיטות בערכן של הבעיה. הוא מאמין שיש סיכוי של כ-50% שכולנו נמות בגלל מערכות בינה מלאכותית חכמות יותר מבני אדם, ושהשנתיים עד עשר השנים הבאות יקבעו זאת. הוא אומר ש-50% הם דרך לומר שהטיעונים הבסיסיים עדיין לא פתורים. הוא מונה פריצות, שכנוע, הסתרת מחשבות ותיאום סוכנים. הוא טוען כי פיתוח בינה מלאכותית בחזית הגבולות צריך להיפסק באופן מיידי.
מדוע סם אלטמן כינה את פולחן הבינה המלאכותית בעיית בטיחות?
סם אלטמן פרסם שהוא מאוד לא מרגיש בנוח עם אנשים המייחסים כוח דתי, או כניעה לשיפוט אנושי, למודלים של בינה מלאכותית, ושהוא חושב שזוהי בעיה בטיחותית אמיתית. הוא לא אמר מה גרם לו. Business Insider מציין שהפוסט נשלח ימים לאחר מאמר בניו יורק טיימס על אנתרופיק שפגש מנהיגים דתיים. המייסד השותף כריס אולה קיים פגישות בנושא האם קלוד עשוי להיות בהכרה וכיצד להפוך מודלים חזקים יותר למוסריים. אנתרופיק אמר לטיימס שהשאלה העיקרית אינה סבלו של קלוד.