Κανόνες matching και διπλότυπα στο Boomi DataHub

Ένα hub κύριων δεδομένων είναι τόσο καλό όσο το matching του. Αν ταυτίζει πολύ λίγο, κάθε διπλότυπο περνά στα golden records. Αν ταυτίζει πολύ, δύο διαφορετικοί πελάτες γίνονται ένας, και τα τιμολόγια του ενός εμφανίζονται στην καρτέλα του άλλου. Σε αυτό το άρθρο εξηγούμε πώς σχεδιάζονται κανόνες που ισορροπούν ανάμεσα στα δύο, τι κάνουμε με τις αβέβαιες περιπτώσεις και πώς τα στήνουμε στο Boomi DataHub.

Γιατί η απλοϊκή αφαίρεση διπλοτύπων αποτυγχάνει

Η συνηθισμένη πρώτη προσπάθεια είναι «ίδια επωνυμία σημαίνει ίδιος πελάτης». Δείτε τι κάνει με πραγματικά δεδομένα από ERP, CRM και e-shop:

Πηγή	Επωνυμία	ΑΦΜ	Email	ΤΚ
ERP	Παπαδόπουλος Α.Ε.	094123456	info@papadopoulos.gr	11526
CRM	ΠΑΠΑΔΟΠΟΥΛΟΣ ΑΕ	094123456	g.papadopoulos@papadopoulos.gr	11526
E-shop	Παπαδόπουλος Γιώργος		g.papadopoulos@papadopoulos.gr	11526
E-shop	Παπαδοπούλου Μαρία		maria.p@gmail.com	54622

Η ακριβής ταύτιση επωνυμίας δεν συνδέει τίποτα: οι γραφές διαφέρουν. Η χαλαρή ταύτιση («ξεκινά με Παπαδοπ») συνδέει και τις τέσσερις, μαζί και τη Μαρία στη Θεσσαλονίκη, που δεν έχει καμία σχέση με την εταιρεία. Κανένα από τα δύο δεν είναι αποδεκτό.

Το pattern: κανόνες σε επίπεδα και άνθρωπος στη διαδικασία

Το καλό matching χρησιμοποιεί πολλούς κανόνες με σειρά ισχύος και στέλνει τις αμφίβολες περιπτώσεις σε άνθρωπο αντί να μαντεύει.

Πρώτα ισχυρά αναγνωριστικά, με ακριβή ταύτιση. ΑΦΜ, αριθμός ΓΕΜΗ ή ένα email που είναι μοναδικό στα δεδομένα σας. Αν είναι ίσα, πρόκειται για την ίδια οντότητα.
Συνδυασμένοι fuzzy κανόνες ως εναλλακτική. Το «παρόμοια επωνυμία και ίδιος ΤΚ» είναι πολύ ασφαλέστερο από το σκέτο «παρόμοια επωνυμία». Ο συνδυασμός ενός fuzzy πεδίου με ένα ακριβές είναι ο πιο αποτελεσματικός τρόπος να αποφύγετε λάθος ταυτίσεις.
Καραντίνα για την αμφισημία. Αν μια εγγραφή ταυτίζεται με περισσότερα από ένα golden records ή ταυτίζεται μόνο αδύναμα, σταματήστε και ρωτήστε έναν data steward.
Survivorship μετά την ταύτιση. Αφού οι εγγραφές συνδεθούν, αποφασίστε ανά πεδίο ποια πηγή κερδίζει.

Ακριβές ή fuzzy

Είδος	Πώς συγκρίνει	Κατάλληλο για	Κίνδυνος
Ακριβές	Οι τιμές είναι ίσες (συχνά μετά από ενιαία πεζά)	ΑΦΜ, email, κωδικοί	Χάνει τυπογραφικά λάθη
Fuzzy	Βαθμός ομοιότητας πάνω από ένα κατώφλι	Επωνυμίες, διευθύνσεις	Λάθος ταυτίσεις

Το fuzzy matching δεν είναι μαγεία. Βαθμολογεί πόσο μοιάζουν δύο συμβολοσειρές. Το «Παπαδόπουλος Α.Ε.» και το «ΠΑΠΑΔΟΠΟΥΛΟΣ ΑΕ» παίρνουν υψηλό βαθμό· δυστυχώς το ίδιο και το «Παπαδόπουλος Γιώργος» με το «Παπαδοπούλου Μαρία». Γι’ αυτό ένας fuzzy κανόνας πρέπει σχεδόν πάντα να συνδυάζεται με μια ακριβή συνθήκη.

Κανονικοποίηση πριν το matching

Πολλά «fuzzy» προβλήματα εξαφανίζονται αν καθαρίσετε πρώτα τα δεδομένα: αφαίρεση κενών, ενιαία πεζά-κεφαλαία, αφαίρεση νομικών μορφών (Α.Ε., ΑΕ, ΙΚΕ, ΕΠΕ, Ltd), τηλέφωνα σε μορφή +30..., συνεπής μεταγραφή ανάμεσα σε ελληνικά και λατινικά, αφαίρεση τόνων. Κάντε το στο integration process πριν την αποστολή ή στα βήματα ποιότητας δεδομένων του model.

Υλοποίηση στο Boomi DataHub

Οι κανόνες matching, τα βήματα ποιότητας δεδομένων και οι πηγές ορίζονται όλα στο model. Οι αλλαγές ισχύουν όταν κάνετε publish μια νέα έκδοση του model και deploy. Οι ακριβείς ονομασίες και επιλογές μπορεί να αλλάζουν από έκδοση σε έκδοση, οπότε ελέγξτε την τρέχουσα τεκμηρίωση για τον λογαριασμό σας.

Βήμα 1: Ακριβής κανόνας στο ισχυρότερο αναγνωριστικό

Ανοίξτε το model Customer (δείτε το Golden record πελάτη από ERP, CRM και e-shop με το Boomi DataHub) και πηγαίνετε στους κανόνες matching. Προσθέστε έναν πρώτο κανόνα που ταυτίζει όταν το vat_number είναι ίσο. Οι εγγραφές χωρίς ΑΦΜ απλώς δεν ταυτίζονται σε αυτόν τον κανόνα και περνούν στον επόμενο.

Βήμα 2: Συνδυασμένος fuzzy κανόνας

Προσθέστε έναν δεύτερο κανόνα για εγγραφές χωρίς ισχυρό αναγνωριστικό, για παράδειγμα τους ιδιώτες πελάτες του e-shop:

email ακριβές, ή
name fuzzy με αρκετά υψηλό κατώφλι ομοιότητας και postcode ακριβές.

Το DataHub σάς αφήνει να επιλέξετε τον τύπο σύγκρισης ανά πεδίο σε έναν κανόνα, και για τις fuzzy συγκρίσεις αλγόριθμο ομοιότητας και κατώφλι. Ξεκινήστε αυστηρά (υψηλότερο κατώφλι) και χαλαρώστε μόνο αφού δείτε αποτελέσματα· μια χαμένη ταύτιση κοστίζει στον steward ένα λεπτό, μια λάθος συγχώνευση μπορεί να κοστίσει έναν πελάτη.

Οι κανόνες αξιολογούνται με σειρά, οπότε βάλτε πρώτο τον πιο αξιόπιστο.

Βήμα 3: Βήματα ποιότητας δεδομένων

Προσθέστε στο model βήματα ποιότητας δεδομένων για ελέγχους που πρέπει να μπλοκάρουν κακές εγγραφές, για παράδειγμα υποχρεωτικό name ή έλεγχο μορφής στο vat_number (εννέα ψηφία για ελληνικό ΑΦΜ). Όσες αποτυγχάνουν μπαίνουν σε καραντίνα αντί να «μολύνουν» τα golden records. Αν ήδη κανονικοποιείτε στο integration process, κρατήστε τα βήματα του model μόνο για έλεγχο.

Βήμα 4: Δοκιμή με πραγματικά δείγματα

Πριν το deploy, συγκεντρώστε είκοσι με τριάντα δύσκολες πραγματικές περιπτώσεις: γνωστά διπλότυπα, γνωστά μη διπλότυπα που μοιάζουν, εγγραφές με κενά πεδία. Στείλτε τα σε ένα δοκιμαστικό repository και ελέγξτε το αποτέλεσμα για καθένα. Κρατήστε αυτό το σύνολο δειγμάτων· θα το ξαναχρησιμοποιείτε σε κάθε αλλαγή κανόνα.

Βήμα 5: Δουλεύοντας την καραντίνα

Όταν το DataHub δεν μπορεί να επεξεργαστεί με ασφάλεια μια εγγραφή, τη βάζει σε καραντίνα με μια αιτία. Τυπικές αιτίες είναι μια εγγραφή που ταυτίζεται με περισσότερα από ένα golden records, ένα πιθανό διπλότυπο, ένα υποχρεωτικό πεδίο που λείπει ή ένα βήμα ποιότητας που απέτυχε. Οι data stewards εξετάζουν τις εγγραφές σε καραντίνα στις οθόνες stewardship του DataHub και αποφασίζουν: σύνδεση με υπάρχον golden record, δημιουργία νέου golden record, ή απόρριψη και διόρθωση στην πηγή.

Δύο συνήθειες το κάνουν βιώσιμο:

Διορθώνετε στην πηγή όταν γίνεται. Αν το e-shop στέλνει συνέχεια λάθος ΤΚ, αλλάξτε το e-shop ή το process, όχι μόνο την εγγραφή σε καραντίνα.
Τα διδάγματα γίνονται κανόνες. Αν οι stewards επιλύουν συνέχεια το ίδιο είδος περίπτωσης με τον ίδιο τρόπο, είναι υποψήφιο για νέο κανόνα ή βήμα κανονικοποίησης.

Βήμα 6: Ποια πηγή κερδίζει

Το matching αποφασίζει ποιες εγγραφές ανήκουν μαζί· το survivorship αποφασίζει ποια τιμή κρατά το golden record. Στο DataHub αυτό καθορίζεται από το πώς οι πηγές συνεισφέρουν ενημερώσεις και, στις τρέχουσες εκδόσεις, από την κατάταξη πηγών (source ranking), με την οποία δηλώνετε ότι κάποιες πηγές είναι πιο αξιόπιστες από άλλες για συγκεκριμένα πεδία. Στο παράδειγμά μας:

Πεδίο	Προτιμώμενη πηγή	Γιατί
`name`, `vat_number`	ERP	Προέρχονται από τιμολόγια και φορολογικά
`phone`, επικοινωνία	CRM	Οι πωλητές τα ενημερώνουν μετά από κάθε κλήση
`email` (ιδιώτες)	E-shop	Επιβεβαιωμένο από τον πελάτη στην εγγραφή

Ελέγξτε πώς ρυθμίζεται η κατάταξη πηγών στην έκδοση του DataHub που έχετε και αν εφαρμόζεται ανά πεδίο ή ανά πηγή· αξίζει να δοκιμάσετε τη συμπεριφορά με το σύνολο δειγμάτων σας πριν την παραγωγή.

Πριν βγείτε σε παραγωγή

Μετράτε. Παρακολουθείτε πόσες εγγραφές ταυτίστηκαν, δημιουργήθηκαν και μπήκαν σε καραντίνα ανά εκτέλεση. Ένα απότομο άλμα σε νέα golden records συχνά σημαίνει ότι ένας κανόνας σταμάτησε να δουλεύει (π.χ. μια πηγή άρχισε να στέλνει το ΑΦΜ με πρόθεμα χώρας «EL»).
Προσοχή στις αλλαγές κανόνων. Οι νέοι κανόνες εφαρμόζονται στις εισερχόμενες εγγραφές· ελέγξτε πώς επηρεάζονται τα υπάρχοντα golden records και αν τα υπάρχοντα διπλότυπα θέλουν εφάπαξ καθάρισμα.
Θυμηθείτε τον GDPR. Η ταύτιση ιδιωτών με email ή τηλέφωνο είναι επεξεργασία προσωπικών δεδομένων· τεκμηριώστε τον σκοπό και κρατήστε μόνο τα πεδία που χρειάζεστε.
Δώστε χρόνο στους stewards. Μια καραντίνα που δεν δουλεύει κανείς είναι χειρότερη από καμία, γιατί κρύβει εγγραφές από όλα τα συστήματα.

Σύνοψη

Το ασφαλές matching χτίζεται σε επίπεδα: ακριβείς κανόνες σε ισχυρά αναγνωριστικά, fuzzy κανόνες μόνο σε συνδυασμό με ακριβείς συνθήκες, καραντίνα και άνθρωπος για τις αμφίβολες περιπτώσεις, και σαφές survivorship ανά πεδίο. Το Boomi DataHub δίνει καθένα από αυτά στο model και στις οθόνες stewardship. Για το ευρύτερο πλαίσιο, δείτε τον Διαχείριση κύριων δεδομένων (MDM): πρακτικός οδηγός.