Tietojen kaksoiskappaleiden ymmärtäminen: tyypit ja käsittelytekniikat

Kaksoiskappaleet ovat tietoja, jotka esiintyvät tietojoukossa useammin kuin kerran. Esimerkiksi jos nimiluettelo sisältää nimen "John" useita kertoja, jokainen "John" esiintyminen on kopio. Tietojen analysoinnin yhteydessä kaksoiskappaleet katsotaan usein virheiksi tai epäjohdonmukaisuuksiksi tiedoissa, ja ne voivat johtaa epätarkkoihin tuloksiin, jos niitä ei käsitellä oikein.

Tietojoukoissa voi esiintyä usean tyyppisiä kaksoiskappaleita, mukaan lukien:

1. Tarkat kaksoiskappaleet: Nämä ovat identtisiä kopioita samasta data-arvosta. Esimerkiksi "John Smith" esiintyy kahdesti nimiluettelossa.
2. Lähes kaksoiskappaleita: Nämä ovat samankaltaisia, mutta eivät tarkkoja kopioita samasta data-arvosta. Esimerkiksi "Johns Smith" ja "John Smithe" ovat lähes kaksoiskappaleita, koska ne kuulostavat samanlaisilta, mutta niissä on pieniä kirjoituseroja.
3. Osittaiset kaksoiskappaleet: Nämä ovat tietoarvoja, joilla on jotkin mutta eivät kaikki samat ominaisuudet kuin toisillaan. Esimerkiksi "John Smith" ja "Jane Smith" ovat osittaisia kaksoiskappaleita, koska niillä on sama sukunimi mutta eri etunimet.
4. Tietueiden kaksoiskappaleet: Nämä ovat täydellisiä kopioita samasta tietueesta. Jos asiakasluettelossa on esimerkiksi kaksi erillistä tietuetta samalle henkilölle, nämä tietueet ovat päällekkäisiä tietueita.

Tietojoukoissa olevien kaksoiskappaleiden käsittelemiseksi analyytikot käyttävät usein tekniikoita, kuten tietojen puhdistusta, tietojen normalisointia ja tietojen muuntamista kaksoiskappaleiden tunnistamiseen ja poistamiseen. Joissakin tapauksissa voi olla tarpeen säilyttää kaksoiskappaleet tietojen eheyden säilyttämiseksi tai useiden näkökulmien kaappaamiseksi samasta datapisteestä.