תשובה קצרה: בינה מלאכותית לא תחליף לחלוטין את מהנדסי הנתונים; היא תהפוך לאוטומטית לעבודה חוזרת ונשנית כמו ניסוח SQL, בניית פיברגלס, בדיקות ותיעוד. אם התפקיד שלכם הוא בעיקר עבודה עם בעלות נמוכה ומונעת כרטיסים, הוא חשוף יותר; אם אתם בעלי אמינות, הגדרות, ממשל ותגובה לאירועים, בינה מלאכותית בעיקר הופכת אתכם למהירים יותר.
נקודות מפתח:
בעלות : תעדפו את האחריותיות לתוצאות, לא רק את הפקת הקוד במהירות.
איכות : בניית בדיקות, יכולת תצפית וחוזים כך שהצינורות יישארו אמינים.
ניהול : שמרו על פרטיות, בקרת גישה, שמירה ומסלולי ביקורת בבעלות אנושית.
עמידות לשימוש לרעה : התייחסו לפלט של בינה מלאכותית כאל טיוטות; סקרו אותן כדי למנוע שגויות בטוחות.
שינוי תפקיד : הקדישו פחות זמן להקלדת סטנדרטים ויותר זמן לתכנון מערכות עמידות.
אם ביליתם יותר מחמש דקות סביב צוותי נתונים, שמעתם את הפזמון - לפעמים נלחש, לפעמים משוגר לאורך כל הפגישה כמו תפנית בעלילה: האם בינה מלאכותית תחליף את מהנדסי הנתונים?
ו... אני מבין. בינה מלאכותית יכולה לייצר SQL, לבנות צינורות, להסביר עקבות מחסנית, לנסח מודלים של dbt, ואפילו להציע סכמות מחסן בביטחון מטריד. GitHub Copilot עבור SQL אודות מודלים של dbt GitHub Copilot
זה מרגיש כמו לצפות במלגזה לומדת ללהטט. מרשים, מעט מדאיג, ואתה לא לגמרי בטוח מה זה אומר עבור העבודה שלך 😅
אבל האמת פחות מסודרת מהכותרת. בינה מלאכותית משנה לחלוטין את הנדסת הנתונים. היא הופכת את החלקים המשעממים והחוזרים על עצמם לאוטומטיים. היא מאיצה את רגעי ה"אני יודע מה אני רוצה אבל לא זוכר את התחביר". היא גם מולידה סוגים חדשים לגמרי של כאוס.
אז בואו ננסח את זה כמו שצריך, בלי אופטימיות גלית ביד או פאניקה מגלילה של אבדון.
מאמרים שאולי תרצו לקרוא אחרי זה:
🔗 האם בינה מלאכותית תחליף את הרדיולוגים?
כיצד בינה מלאכותית של הדמיה משנה את זרימת העבודה, הדיוק ותפקידים עתידיים.
🔗 האם בינה מלאכותית תחליף את רואי החשבון?
ראה אילו משימות חשבונאיות בינה מלאכותית הופכות לאוטומטיות ומה נשאר אנושי.
🔗 האם בינה מלאכותית תחליף את בנקאי ההשקעות?
להבין את השפעת הבינה המלאכותית על עסקאות, מחקר ויחסי לקוחות.
🔗 האם בינה מלאכותית תחליף סוכני ביטוח?
למד כיצד בינה מלאכותית משנה את תחומי החיתום, המכירות ותמיכת הלקוחות.
למה השאלה "בינה מלאכותית מחליפה את מהנדסי הנתונים" כל הזמן צצה 😬
הפחד נובע ממקום מאוד ספציפי: הנדסת נתונים דורשת הרבה עבודה שחוזרת על עצמה .
-
כתיבה ורפקטורינג של SQL
-
בניית סקריפטים של בליעת מזון
-
מיפוי שדות מסכימה אחת לאחרת
-
יצירת בדיקות ותיעוד בסיסי
-
ניפוי באגים כשלים בצנרת שהם... די צפויים
בינה מלאכותית טובה באופן יוצא דופן בתבניות חוזרות. וחלק גדול מהנדסת נתונים הוא בדיוק זה - תבניות מוערמות על גבי תבניות. הצעות לקוד של GitHub Copilot
כמו כן, המערכת האקולוגית של הכלים כבר "מסתירה" את המורכבות:
-
מחברי ELT מנוהלים מסמכי Fivetran
-
מחשוב ללא שרת AWS Lambda (מחשוב ללא שרת)
-
הקצאת מחסן בלחיצה אחת
-
תזמור אוטומטי של קנה מידה של Apache Airflow
-
מסגרות טרנספורמציה הצהרתית מהי dbt?
אז כשבינה מלאכותית מופיעה, זה יכול להרגיש כמו החלק האחרון. אם המחסנית כבר מופשטת, ובינה מלאכותית יכולה לכתוב את קוד הדבק... מה נשאר? 🤷
אבל הנה הדבר שאנשים מדלגים עליו: הנדסת נתונים אינה בעיקר הקלדה . הקלדה היא החלק הקל. החלק הקשה הוא לגרום למציאות עסקית מעורפלת, פוליטית ומשתנה להתנהג כמו מערכת אמינה.
ובינה מלאכותית עדיין מתקשה עם האפלה הזו. גם אנשים מתקשים - הם פשוט מאלתרים טוב יותר.
מה מהנדסי נתונים עושים כל היום (האמת הלא זוהרת) 🧱
בואו נהיה כנים - תואר התפקיד "מהנדס נתונים" נשמע כאילו אתה בונה מנועי טילים ממתמטיקה טהורה. בפועל, אתה בונה אמון .
יום טיפוסי הוא פחות "המצאת אלגוריתמים חדשים" ויותר:
-
ניהול משא ומתן עם צוותים במעלה הזרם על הגדרות נתונים (כואב אך הכרחי)
-
חקירת הסיבות לשינוי מדד (והאם הוא אמיתי)
-
טיפול בסחף סכימה והפתעות של "מישהו הוסיף עמודה בחצות"
-
הבטחת אידמפוטנטיות של צינורות, ניתנות להשבתה וניתנות לצפייה
-
יצירת מעקות בטיחות כדי שאנליסטים במורד הזרם לא יבנו בטעות לוחות מחוונים חסרי משמעות
-
ניהול עלויות כדי שהמחסן שלכם לא יהפוך למדורה של כסף 🔥
-
אבטחת גישה, ביקורת, תאימות, מדיניות שמירה עקרונות GDPR (הנציבות האירופית) הגבלת אחסון (ICO)
-
בניית מוצרי נתונים שאנשים יכולים להשתמש בהם בפועל בלי לשלוח לכם הודעה פרטית - 20 שאלות
חלק גדול מהעבודה הוא חברתי ותפעולי:
-
"למי שייך השולחן הזה?"
-
"האם הגדרה זו עדיין תקפה?"
-
"מדוע מערכת ה-CRM מייצאת כפילויות?"
-
"האם נוכל להעביר את המדד הזה למנהלים בלי מבוכה?" 😭
בינה מלאכותית יכולה לעזור עם חלקים מזה, בוודאי. אבל להחליף אותה לחלוטין זה... קצת מוגזם.
מה הופך תפקיד הנדסת נתונים לגרסה חזקה? ✅
סעיף זה חשוב מכיוון שדיבורים על תחליפים בדרך כלל מניחים שמהנדסי נתונים הם בעיקר "בוני צינורות". זה כמו להניח ששפים בעיקר "קוצצים ירקות". זה חלק מהעבודה, אבל זו לא העבודה.
גרסה חזקה של מהנדס נתונים בדרך כלל אומרת שהוא יכול לעשות את רוב הדברים הבאים:
-
עיצוב לשינוי
. נתונים משתנים. צוותים משתנים. כלים משתנים. מהנדס טוב בונה מערכות שלא קורסות בכל פעם שהמציאות מתעטשת 🤧 -
הגדרת חוזים וציפיות
מה המשמעות של "לקוח"? מה המשמעות של "פעיל"? מה קורה כאשר שורה מגיעה באיחור? חוזים מונעים כאוס יותר מקוד מפואר. תקן חוזי נתונים פתוחים (ODCS) ODCS (GitHub) -
שלבו יכולת תצפית בכל דבר.
לא רק "האם זה פעל" אלא "האם זה פעל כהלכה". רעננות, אנומליות נפח, פיצוצי אפס, שינויי התפלגות. יכולת תצפית נתונים (Dynatrace) מהי יכולת תצפית נתונים? -
בצע פשרות כמו מבוגר:
מהירות מול נכונות, עלות מול השהייה, גמישות מול פשטות. אין צינור מושלם, רק צינורות שאפשר לחיות איתם. -
תרגמו את צרכי העסק למערכות עמידות.
אנשים מבקשים מדדים, אבל מה שהם צריכים זה מוצר נתונים. בינה מלאכותית יכולה לנסח את הקוד, אבל היא לא יכולה לזהות באופן קסום את מוקשים העסקיים. -
שמרו על נתונים בסוד.
המחמאה הגדולה ביותר לפלטפורמת נתונים היא שאף אחד לא מדבר עליהם. נתונים לא תקינים הם נתונים טובים. כמו אינסטלציה. שמים לב אליהם רק כשהם נכשלים 🚽
אם אתם עושים את הדברים האלה, השאלה "האם בינה מלאכותית תחליף את מהנדסי הנתונים?" מתחילה להישמע... קצת לא הגיונית. בינה מלאכותית יכולה להחליף משימות , לא בעלות .
היכן שבינה מלאכותית כבר עוזרת למהנדסי נתונים (וזה באמת נהדר) 🤖✨
בינה מלאכותית היא לא רק שיווק. בשימוש נכון, היא מכפיל כוח לגיטימי.
1) SQL וטרנספורמציה מהירות יותר
-
שרטוט צירופים מורכבים
-
כתיבת פונקציות חלון שאתה מעדיף לא לחשוב עליהן
-
הפיכת לוגיקה בשפה פשוטה לשלד שאילתות
-
עיבוד מחדש של שאילתות מכוערות לתוך קבצי CTE קריאים GitHub Copilot עבור SQL
זה משמעותי מאוד כי זה מפחית את אפקט ה"דף הריק". אתם עדיין צריכים לאמת, אבל אתם מתחילים ב-70% במקום 0%.
2) ניפוי באגים ופירורי לחם של גורם שורש
בינה מלאכותית טובה ב:
-
הסבר על הודעות שגיאה
-
הצעה לאן לחפש
-
המלצה על שלבים מסוג "בדיקת אי-התאמה של סכמות" ב-GitHub Copilot
זה כמו מהנדס זוטר בלתי נלאה שלעולם לא ישן ולפעמים משקר בביטחון 😅
3) העשרת תיעוד וקטלוג נתונים
נוצר אוטומטית:
-
תיאורי עמודות
-
סיכומי מודלים
-
הסברים על שושלת
-
"למה משמשת הטבלה הזו?" טיוטות של תיעוד DBT
זה לא מושלם, אבל זה שובר את הקללה של צינורות לא מתועדים.
4) בדיקת פיגומים ובדיקות
בינה מלאכותית יכולה להציע:
-
בדיקות אפס בסיסיות
-
בדיקות ייחודיות
-
רעיונות של שלמות רפרנסרית
-
"מדד זה לעולם לא אמור לרדת" - טענות בסגנון מבחני נתונים של DBT - ציפיות גדולות: ציפיות
שוב - אתם עדיין מחליטים מה חשוב, אבל זה מזרז את החלקים השגרתיים.
5) קוד "דבק" צינורות
תבניות תצורה, פיגומים של YAML, טיוטות של DAG לתזמור. הדברים האלה חוזרים על עצמם ובינה מלאכותית אוכלת דברים חוזרים על עצמם לארוחת בוקר 🥣 DAGs של Apache Airflow
היכן שבינה מלאכותית עדיין מתקשה (וזו הליבה של זה) 🧠🧩
זה החלק הכי חשוב, כי הוא עונה על שאלת ההחלפה עם מרקם אמיתי.
1) עמימות ושינויים בהגדרות
היגיון עסקי הוא לעתים רחוקות חד. אנשים משנים את דעתם באמצע משפט. "משתמש פעיל" הופך ל"משתמש משלם פעיל" הופך ל"משתמש משלם פעיל לא כולל החזרים למעט לפעמים"... אתם יודעים איך זה.
בינה מלאכותית לא יכולה להשתלט על העמימות הזו. היא יכולה רק לנחש.
2) אחריות וסיכון
כאשר מערכת הפעלה מתקלקלת ולוח המחוונים של המנהלים מראה שטויות, מישהו צריך:
-
מיון
-
לתקשר השפעה
-
תקן את זה
-
למנוע הישנות
-
לכתוב את הניתוח שלאחר המוות
-
להחליט אם העסק עדיין יכול לסמוך על המספרים של השבוע שעבר
בינה מלאכותית יכולה לסייע, אך היא לא יכולה להיות אחראית בצורה משמעותית. ארגונים לא פועלים על סמך ויברציות - הם פועלים על סמך אחריות.
3) חשיבה מערכתית
פלטפורמות נתונים הן מערכות אקולוגיות: קליטה, אחסון, טרנספורמציות, תזמור, ממשל, בקרת עלויות, SLA. שינוי בשכבה אחת גורם לאדוות. מושגי Apache Airflow
בינה מלאכותית יכולה להציע אופטימיזציות מקומיות שיוצרות כאב עולמי. זה כמו לתקן דלת חורקת על ידי הסרתה 😬
4) אבטחה, פרטיות, תאימות
כאן מתות פנטזיות החלפה.
-
בקרות גישה
-
אבטחה ברמת השורה מדיניות גישה לשורות של Snowflake אבטחה ברמת השורה של BigQuery
-
טיפול ב-PII במסגרת הפרטיות של NIST
-
כללי שמירה הגבלת אחסון (ICO) הנחיות האיחוד האירופי בנושא שמירה
-
נתיבי ביקורת NIST SP 800-92 (ניהול יומני רישום) CIS Control 8 (ניהול יומני רישום)
-
אילוצי אחסון נתונים
בינה מלאכותית יכולה לנסח מדיניות, אבל יישומן בבטחה הוא הנדסה אמיתית.
5) "האלמונים הלא ידועים"
אירועי נתונים לרוב אינם ניתנים לחיזוי:
-
ממשק API של ספק משנה סמנטיקה בשקט
-
הנחת אזור זמן מתהפכת
-
מילוי חוזר משכפל מחיצה
-
מנגנון ניסיון חוזר גורם לכתיבה כפולה
-
תכונה חדשה של מוצר מציגה דפוסי אירועים חדשים
בינה מלאכותית חלשה יותר כאשר הסיטואציה אינה דפוס ידוע.
טבלת השוואה: מה מפחית מה, בפועל 🧾🤔
להלן מבט מעשי. לא "כלים שמחליפים אנשים", אלא כלים וגישות שמצמצמים משימות מסוימות.
| כלי / גישה | קהל | אווירת מחיר | למה זה עובד |
|---|---|---|---|
| קופיילוט קוד בינה מלאכותית (עוזרים של SQL + Python) GitHub Copilot | מהנדסים שכותבים הרבה קוד | חינמי עד בתשלום | מעולה בפיתוח פיגומים, שיפוץ מחדש, תחביר... לפעמים שחצן בצורה מאוד ספציפית |
| מחברי ELT מנוהלים Fivetran | צוותים עייפים מבניית קליטה | מנוי-y | מסיר את כאב הבליעה המותאם אישית, אך מתפרק בדרכים חדשות ומהנות |
| פלטפורמות תצפית נתונים תצפית נתונים (Dynatrace) | כל מי שיש לו הסכמי רמת שירות | בינוני עד ארגוני | מזהה אנומליות מוקדם - כמו גלאי עשן לצנרת 🔔 |
| מסגרות טרנספורמציה (מידול הצהרתי) dbt | אנליטיקס + DE היברידיים | בדרך כלל כלי + חישוב | הופך את הלוגיקה למודולרית וניתנת לבדיקה, פחות ספגטי |
| קטלוגי נתונים + שכבות סמנטיות dbt שכבה סמנטית | ארגונים עם בלבול במדדים | תלוי, בפועל | מגדיר "אמת" פעם אחת - מפחית ויכוחים אינסופיים על מדדים |
| תזמור עם תבניות Apache Airflow | צוותים בעלי מודעות לפלטפורמה | עלות פתוחה + פעילות | סטנדרטיזציה של זרימות עבודה; פחות פעולות שגיאה ב-DAG של פתית שלג |
| יצירת מסמכי DBT בעזרת תיעוד בסיוע בינה מלאכותית | צוותים ששונאים לכתוב מסמכים | זול עד בינוני | יוצר מסמכים "מספיק טובים" כדי שהידע לא ייעלם |
| מדיניות ממשל אוטומטית מסגרת הפרטיות של NIST | סביבות מוסדרות | אנטרפרייז-y | מסייע באכיפת חוקים - אך עדיין זקוק לבני אדם שיעצבו את החוקים |
שימו לב מה חסר: שורה שאומרת "לחץ על הכפתור כדי להסיר מהנדסי נתונים". כן... השורה הזו לא קיימת 🙃
אז... האם בינה מלאכותית תחליף את מהנדסי הנתונים, או שמא פשוט תעביר את התפקיד? 🛠️
הנה התשובה הלא דרמטית: בינה מלאכותית תחליף חלקים מתהליך העבודה, לא את המקצוע.
אבל זה יעצב מחדש את התפקיד. ואם תתעלמו מזה, תרגישו את הלחץ.
מה משתנה:
-
פחות זמן בכתיבת תקציר
-
פחות זמן בחיפוש מסמכים
-
יותר זמן לבדיקה, אימות ותכנון
-
יותר זמן בהגדרת חוזים וציפיות איכות תקן חוזי נתונים פתוחים (ODCS)
-
יותר זמן בשיתוף פעולה עם מוצרים, אבטחה ופיננסים
זהו השינוי העדין: הנדסת נתונים הופכת פחות ל"בניית צינורות" ויותר ל"בניית מערכת מוצר נתונים אמינה"
ובטוויסט שקט, זה יותר יקר, לא פחות.
בנוסף - ואני הולך לומר את זה גם אם זה נשמע דרמטי - בינה מלאכותית מגדילה את מספר האנשים שיכולים לייצר חפצי מידע , מה שמגדיל את הצורך במישהו שישמור על כל העניין שפוי. תפוקה רבה יותר פירושה בלבול פוטנציאלי רב יותר. GitHub Copilot
זה כמו לתת לכולם מקדחה חשמלית. מעולה! עכשיו מישהו צריך לאכוף את הכלל "בבקשה אל תקדחו לתוך צינור המים" 🪠
ערימת המיומנויות החדשה שנשארת בעלת ערך (אפילו עם בינה מלאכותית בכל מקום) 🧠⚙️
אם אתם רוצים רשימת בדיקה מעשית "מוכנה לעתיד", היא נראית כך:
חשיבה של עיצוב מערכות
-
מידול נתונים ששורד שינויים
-
פשרות בין אצווה לסטרימינג
-
חשיבה על השהייה, עלות ואמינות
הנדסת איכות נתונים
-
חוזים, אימותים, זיהוי אנומליות, תקן חוזי נתונים פתוחים (ODCS), ניתוב נתונים (Dynatrace)
-
הסכמי רמת שירות, הסכמי גישה נוחים, הרגלי תגובה לאירועים
-
ניתוח שורש הבעיה עם משמעת (לא ויברציות)
ממשל וארכיטקטורת אמון
-
דפוסי גישה
-
פרטיות מעוצבת מסגרת הפרטיות של NIST
-
ניהול מחזור חיי נתונים הנחיות האיחוד האירופי בנושא שמירה
חשיבה בפלטפורמה
-
תבניות לשימוש חוזר, שבילי זהב
-
דפוסים סטנדרטיים לבליעה, טרנספורמציות ובדיקות של בדיקות נתונים של Fivetran
-
כלי עבודה לשירות עצמי שלא נמסים
תקשורת (כן, באמת)
-
כתיבת מסמכים ברורים
-
יישור הגדרות
-
אמירת "לא" בנימוס אך בתקיפות
-
להסביר פשרות בלי להישמע כמו רובוט 🤖
אם תצליחו לעשות זאת, השאלה "האם בינה מלאכותית תחליף את מהנדסי הנתונים?" הופכת לפחות מאיימת. בינה מלאכותית הופכת לשלד החיצוני שלכם, לא לתחליף שלכם.
תרחישים מציאותיים שבהם חלק מתפקידי הנדסת הנתונים מצטמצמים 📉
אוקיי, בדיקת מציאות מהירה, כי זה לא הכל שמש וקונפטי אימוג'י 🎉
חלק מהתפקידים חשופים יותר:
-
תפקידי בליעה בלבד טהורים שבהם הכל הוא מחברים סטנדרטיים מחברי Fivetran
-
צוותים שמבצעים בעיקר צינורות דיווח חוזרים עם מינימום ניואנסים בתחום
-
ארגונים שבהם הנדסת נתונים מתייחסים אליהם כאל "קופי SQL" (קשה, אבל נכון)
-
תפקידים בעלי בעלות נמוכה שבהם העבודה היא רק כרטיסים והעתקה-הדבקה
בינה מלאכותית בתוספת כלים מנוהלים יכולים לצמצם את הצרכים הללו.
אבל אפילו שם, החלפה בדרך כלל נראית כך:
-
פחות אנשים שעושים את אותה עבודה חוזרת ונשנית
-
דגש רב יותר על בעלות על פלטפורמה ואמינות
-
מעבר לכיוון של "אדם אחד יכול לתמוך ביותר צינורות"
אז כן - דפוסי ספירת כוח אדם יכולים להשתנות. תפקידים מתפתחים. תארים משתנים. החלק הזה אמיתי.
ובכל זאת, גרסת התפקיד, הדורשת בעלות גבוהה ואמון גבוה, נותרת בסביבה.
סיכום מסכם 🧾✅
האם בינה מלאכותית תחליף את מהנדסי הנתונים? לא בצורה הנקייה והשלמה שאנשים מדמיינים.
בינה מלאכותית תעשה את הדברים הבאים:
-
אוטומציה של משימות חוזרות ונשנות
-
האצת קידוד, ניפוי שגיאות ותיעוד GitHub Copilot עבור SQL תיעוד dbt
-
להפחית את עלות ייצור הצינורות
אבל הנדסת נתונים היא ביסודה:
-
אחריות
-
תכנון מערכת
-
אמון, איכות וממשל תקן חוזי נתונים פתוחים (ODCS) מסגרת הפרטיות של NIST
-
תרגום מציאות עסקית מעורפלת למוצרי נתונים אמינים
בינה מלאכותית יכולה לעזור עם זה... אבל היא לא "בעלת" את זה.
אם אתם מהנדסי נתונים, המהלך פשוט (לא קל, אבל פשוט):
התמקדו באחריות, איכות, חשיבה בפלטפורמה ובתקשורת. תנו לבינה מלאכותית לטפל בעקרונות התכנון בזמן שאתם מטפלים בחלקים החשובים.
וכן - לפעמים זה אומר להיות המבוגר בחדר. לא זוהר. אבל קצת עוצמתי 😄
האם בינה מלאכותית תחליף את מהנדסי הנתונים?
היא תחליף כמה משימות, תערבב מחדש את הסולם ותהפוך את מהנדסי הנתונים הטובים ביותר לבעלי ערך רב עוד יותר. זה הסיפור האמיתי.
שאלות נפוצות
האם בינה מלאכותית תחליף לחלוטין את מהנדסי הנתונים?
ברוב הארגונים, בינה מלאכותית נוטה יותר להשתלט על משימות ספציפיות מאשר למחוק את התפקיד לחלוטין. היא יכולה להאיץ את ניסוח SQL, בניית צינורות נתונים, מעברים ראשונים של תיעוד ויצירת בדיקות בסיסיות. אבל הנדסת נתונים טומנת בחובה גם בעלות ואחריות, בנוסף לעבודה הלא זוהרת של לגרום למציאות עסקית מבולגנת להתנהג כמו מערכת אמינה. חלקים אלה עדיין זקוקים לבני אדם כדי להחליט מה נראה "נכון" ולקחת אחריות כאשר דברים מתקלקלים.
אילו חלקים של הנדסת נתונים כבר הופכים בינה מלאכותית לאוטומטית?
בינה מלאכותית מתפקדת בצורה הטובה ביותר בעבודה שחוזרת על עצמה: ניסוח ועיבוד מחדש של SQL, יצירת שלדי מודל dbt, הסבר שגיאות נפוצות ויצירת קווי מתאר של תיעוד. היא יכולה גם לבנות בדיקות כמו בדיקות null או ייחודיות וליצור קוד "דבק" של תבניות עבור כלי תזמור. הניצחון הוא במומנטום - אתם מתחילים קרוב יותר לפתרון עובד - אבל אתם עדיין צריכים לאמת את הנכונות ולוודא שהוא מתאים לסביבה שלכם.
אם בינה מלאכותית יכולה לכתוב SQL ופיונליים, מה נשאר למהנדסי נתונים?
הרבה: הגדרת חוזי נתונים, טיפול בסחף סכמות, והבטחת ש-pipelines הם אידמפוטנטיים, ניתנים לצפייה וניתנים לשחזור. מהנדסי נתונים משקיעים זמן בחקירת שינויים במדדים, בניית מעקות בטיחות עבור משתמשים במורד הזרם, וניהול פשרות בין עלות לאמינות. העבודה מסתכמת לעתים קרובות בבניית אמון ושמירה על פלטפורמת הנתונים "שקטה", כלומר יציבה מספיק כדי שאף אחד לא יצטרך לחשוב עליה יום יום.
כיצד בינה מלאכותית משנה את עבודתו היומיומית של מהנדס נתונים?
זה בדרך כלל חוסך זמן של "חיפוש נתונים" ו"זמן חיפוש", כך שאתם משקיעים פחות זמן בהקלדה ויותר זמן בסקירה, אימות ועיצוב. שינוי זה דוחף את התפקיד לכיוון הגדרת ציפיות, סטנדרטים של איכות ותבניות לשימוש חוזר במקום קידוד ידני של הכל. בפועל, סביר להניח שתעבדו יותר בשיתוף פעולה עם מוצרים, אבטחה ופיננסים - מכיוון שהפלט הטכני הופך להיות קל יותר ליצירה, אך קשה יותר לניהול.
מדוע בינה מלאכותית מתקשה עם הגדרות עסקיות מעורפלות כמו "משתמש פעיל"?
מכיוון שהיגיון עסקי אינו סטטי או מדויק - הוא משתנה באמצע הפרויקט ומשתנה בהתאם לבעלי העניין. בינה מלאכותית יכולה לנסח פרשנות, אך אינה יכולה לקחת אחריות על ההחלטה כאשר הגדרות מתפתחות או כאשר צצים סכסוכים. הנדסת נתונים דורשת לעתים קרובות משא ומתן, תיעוד הנחות והפיכת דרישות מטושטשות לחוזים עמידים. עבודת "התאמת האדם" הזו היא סיבה מרכזית לכך שהתפקיד לא נעלם גם כאשר הכלים משתפרים.
האם בינה מלאכותית יכולה להתמודד עם ניהול נתונים, פרטיות ותאימות בבטחה?
בינה מלאכותית יכולה לסייע בניסוח מדיניות או בהצעת גישות, אך יישום בטוח עדיין דורש הנדסה אמיתית ופיקוח קפדני. ממשל כרוך בבקרות גישה, טיפול במידע אישי מזהה, כללי שמירה, שבילי ביקורת ולפעמים אילוצי מגורים. אלו תחומים בסיכון גבוה שבהם "כמעט נכון" אינו מקובל. בני אדם חייבים לעצב את הכללים, לוודא אכיפה ולהישאר אחראים לתוצאות הציות.
אילו מיומנויות נשארות בעלות ערך עבור מהנדסי נתונים ככל שהבינה המלאכותית משתפרת?
מיומנויות שהופכות מערכות לעמידות: חשיבה על עיצוב מערכות, הנדסת איכות נתונים וסטנדרטיזציה ממוקדת בפלטפורמה. חוזים, יכולת צפייה, הרגלי תגובה לאירועים וניתוח שורש גורם ממושמע הופכים לחשובים עוד יותר כאשר יותר אנשים יכולים לייצר ארטיפקטים של נתונים במהירות. תקשורת הופכת גם היא לגורם מבדיל - יישור הגדרות, כתיבת מסמכים ברורים והסבר פשרות ללא דרמה הם חלק גדול משמירת אמינות הנתונים.
אילו תפקידי הנדסת נתונים נמצאים בסיכון הגבוה ביותר מבינה מלאכותית וכלים מנוהלים?
תפקידים המתמקדים באופן צר בקליטה חוזרת או בצינורות דיווח סטנדרטיים חשופים יותר, במיוחד כאשר מחברי ELT מנוהלים מכסים את רוב המקורות. עבודה עם בעלות נמוכה ומונעת כרטיסים יכולה להתכווץ מכיוון שבינה מלאכותית והפשטה מפחיתות את המאמץ לכל צינור. אבל זה בדרך כלל נראה כמו פחות אנשים שעושים משימות חוזרות ונשנות, ולא "אין מהנדסי נתונים". תפקידים עם בעלות גבוהה המתמקדים באמינות, איכות ואמון נשארים עמידים.
כיצד עליי להשתמש בכלים כמו GitHub Copilot או dbt עם בינה מלאכותית מבלי ליצור כאוס?
התייחסו לפלט של בינה מלאכותית כטיוטה, לא כהחלטה. השתמשו בו כדי ליצור שלדי שאילתות, לשפר את הקריאות, או לבנות בדיקות ומסמכים של DBT, ולאחר מכן לאמת מול נתונים אמיתיים ומקרי קצה. שלבו אותו עם מוסכמות חזקות: חוזים, סטנדרטים למתן שמות, בדיקות תצפית ונהלי סקירה. המטרה היא אספקה מהירה יותר מבלי להתפשר על אמינות, בקרת עלויות או ממשל.
הפניות
-
הנציבות האירופית - הסבר על הגנת מידע: עקרונות ה-GDPR - commission.europa.eu
-
משרד נציב המידע (ICO) - מגבלות אחסון - ico.org.uk
-
הנציבות האירופית - כמה זמן ניתן לשמור נתונים והאם יש צורך לעדכן אותם? - commission.europa.eu
-
המכון הלאומי לתקנים וטכנולוגיה (NIST) - מסגרת הפרטיות - nist.gov
-
מרכז משאבי אבטחת מחשבים של NIST (CSRC) - SP 800-92: מדריך לניהול יומני אבטחת מחשבים - csrc.nist.gov
-
מרכז אבטחת אינטרנט (CIS) - ניהול יומני ביקורת (בקרות CIS) - cisecurity.org
-
תיעוד Snowflake - מדיניות גישה לשורות - docs.snowflake.com
-
תיעוד של Google Cloud - אבטחה ברמת השורה של BigQuery - docs.cloud.google.com
-
BITOL - תקן חוזי נתונים פתוחים (ODCS) גרסה 3.1.0 - bitol-io.github.io
-
BITOL (GitHub) - תקן חוזי נתונים פתוחים - github.com
-
Apache Airflow - תיעוד (יציב) - airflow.apache.org
-
אפאצ'י איירפלוים - DAGs (מושגים מרכזיים) - airflow.apache.org
-
תיעוד מעבדות dbt - מה זה dbt? - docs.getdbt.com
-
תיעוד מעבדות dbt - אודות מודלים של dbt - docs.getdbt.com
-
תיעוד מעבדות dbt - תיעוד - docs.getdbt.com
-
תיעוד מעבדות dbt - בדיקות נתונים - docs.getdbt.com
-
תיעוד מעבדות dbt - שכבה סמנטית של dbt - docs.getdbt.com
-
תיעוד של פיבטרן - תחילת העבודה - fivetran.com
-
Fivetran - מחברים - fivetran.com
-
תיעוד AWS - מדריך למפתחים של AWS Lambda - docs.aws.amazon.com
-
גיטהאב - גיטהאב קופיילוט - github.com
-
מסמכי GitHub - קבלת הצעות קוד ב-IDE שלך עם GitHub Copilot - docs.github.com
-
Microsoft Learn - GitHub Copilot עבור SQL (הרחבת VS Code) - learn.microsoft.com
-
תיעוד Dynatrace - צפייה בנתונים - docs.dynatrace.com
-
DataGalaxy - מהי יכולת צפייה בנתונים? - datagalaxy.com
-
תיעוד של Great Expectations - סקירת הציפיות - docs.greatexpectations.io