Bạn mua một phần mềm quản lý mới, nhập dữ liệu cũ từ Excel vào, rồi phát hiện tên khách trùng lặp, số điện thoại sai định dạng, danh mục lung tung. Phần mềm tốt đến mấy cũng vô dụng nếu dữ liệu bẩn. Bài này chỉ cho bạn cách làm sạch và chuẩn hoá dữ liệu trước khi số hoá, để lần chuyển đổi diễn ra một lần cho đúng thay vì sửa mãi về sau.
Vì sao phải làm sạch trước khi số hoá
Có một nguyên tắc quen thuộc trong ngành dữ liệu: “rác vào, rác ra”. Khi bạn đổ dữ liệu lộn xộn vào hệ thống mới, bạn không số hoá công việc, bạn số hoá luôn cả sự lộn xộn. Hậu quả xuất hiện muộn: báo cáo sai, khách bị gọi trùng, tồn kho lệch. Sửa lúc đó tốn gấp nhiều lần so với dọn từ đầu.
Làm sạch trước còn giúp bạn hiểu dữ liệu mình đang có, phát hiện những khoảng trống và mâu thuẫn mà thường ngày không ai để ý.
Các bước chuẩn hoá dữ liệu
1. Thống nhất cấu trúc
Mỗi cột một loại thông tin, mỗi dòng một bản ghi. Tách các cột gộp (ví dụ “tên và địa chỉ” trong một ô), bỏ các dòng tiêu đề lặp giữa bảng, gỡ ô gộp (merge). Phần mềm nhập liệu cần bảng phẳng, sạch, nhất quán.
2. Chuẩn hoá định dạng
Đưa cùng một loại dữ liệu về một khuôn: số điện thoại cùng kiểu, ngày tháng cùng định dạng, tiền tệ không lẫn dấu phẩy và dấu chấm tuỳ tiện. Bỏ khoảng trắng thừa đầu cuối, thống nhất viết hoa/thường ở các trường phân loại.
3. Xử lý trùng lặp và thiếu
Tìm bản ghi trùng (cùng khách hàng nhập hai lần với tên viết khác nhau) và gộp lại. Với ô trống, quyết định rõ: điền giá trị mặc định, để trống có chủ đích, hay đánh dấu cần bổ sung. Đừng để mỗi người xử lý một kiểu.
4. Chuẩn hoá danh mục
Đây là nơi lộn xộn hay ẩn nấp. “TP.HCM”, “HCM”, “Hồ Chí Minh”, “tphcm” là cùng một nơi nhưng máy coi là bốn. Lập một danh sách giá trị chuẩn cho mỗi trường phân loại và ánh xạ mọi biến thể về đó.
Ví dụ thực tế
Một cửa hàng chuyển từ quản lý bằng Excel sang phần mềm bán hàng. Khi rà file khách hàng gần 4.000 dòng, họ phát hiện nhiều khách bị nhập hai, ba lần do mỗi nhân viên gõ tên một kiểu, và cột “nhóm khách” có tới hơn hai mươi cách gọi cho vài nhóm thực tế. Họ dành hai ngày gộp trùng và quy về một bộ danh mục chuẩn trước khi nhập. Nhờ vậy, báo cáo doanh thu theo nhóm khách trong phần mềm mới chạy đúng ngay từ đầu, không phải làm lại.
Lỗi thường gặp và cách sửa
- Nhập trước, dọn sau. Ai cũng nghĩ sẽ sửa dần trong phần mềm, nhưng gần như không bao giờ có thời gian đó. Sửa: dọn trên bản sao trước khi nhập.
- Sửa trực tiếp trên file gốc. Sai một bước là mất dữ liệu ban đầu. Sửa: luôn làm trên bản sao, giữ nguyên bản gốc để đối chiếu.
- Không có quy ước chung. Mỗi người dọn một kiểu, ra kết quả càng lệch. Sửa: viết ra bộ quy tắc chuẩn hoá và danh sách giá trị hợp lệ trước khi bắt tay.
- Nhập một lần toàn bộ rồi mới kiểm tra. Lỗi lan khắp nơi mới phát hiện. Sửa: nhập thử một lô nhỏ, đối chiếu kỹ, rồi mới nhập phần còn lại.
Checklist trước khi số hoá
- Sao lưu file gốc, chỉ thao tác trên bản sao.
- Đưa dữ liệu về bảng phẳng: một cột một loại, một dòng một bản ghi.
- Thống nhất định dạng số điện thoại, ngày tháng, tiền tệ.
- Bỏ khoảng trắng thừa, thống nhất viết hoa ở trường phân loại.
- Gộp bản ghi trùng, xử lý ô trống theo quy tắc rõ ràng.
- Lập bộ danh mục chuẩn và ánh xạ mọi biến thể về đó.
- Nhập thử một lô nhỏ, đối chiếu, rồi nhập toàn bộ.
Kết luận
Làm sạch dữ liệu là phần ít hào nhoáng nhưng quyết định thành bại của cả dự án số hoá. Bước tiếp theo: mở file dữ liệu quan trọng nhất, tạo một bản sao, và bắt đầu từ việc dễ thấy nhất là chuẩn hoá một trường phân loại đang bị viết theo nhiều kiểu.
Câu hỏi thường gặp
Dữ liệu ít thì có cần làm sạch không?
Có, và thậm chí dễ hơn. Dữ liệu ít thì dọn nhanh, và bạn tránh được thói quen lộn xộn ngay từ khi hệ thống còn nhỏ, trước khi nó phình to.
Nên làm sạch bằng tay hay công cụ?
Vài trăm dòng có thể làm bằng tính năng lọc và loại trùng của bảng tính. Khối lượng lớn hoặc nhiều nguồn thì nên dùng công cụ chuyên xử lý dữ liệu, nhưng nguyên tắc chuẩn hoá vẫn giống nhau.
Làm sạch xong có cần giữ dữ liệu cũ không?
Nên giữ. Bản gốc là căn cứ để đối chiếu khi nghi ngờ số liệu sau chuyển đổi bị lệch, và cũng là phương án dự phòng nếu bước nhập gặp sự cố.
Ai nên chịu trách nhiệm làm sạch dữ liệu?
Người hiểu ý nghĩa dữ liệu, thường là người dùng nghiệp vụ trực tiếp, chứ không nên khoán hết cho kỹ thuật. Kỹ thuật hỗ trợ công cụ; nghiệp vụ quyết định đâu là giá trị đúng.
