Skip to main content
PagrindinisTinklaraštisVadovaiKaip integruoti siuntų sekimo duomenis į BI sistemas tarpvalstybinei el. prekybai

Kaip integruoti siuntų sekimo duomenis į BI sistemas tarpvalstybinei el. prekybai

17TRACK

Norėdami integruoti siuntų sekimo duomenis į BI sistemas tarpvalstybinei el. prekybai, rinkite sekimo atnaujinimus per API arba palaikomą įvykių srautą, saugokite originalius įrašus, normalizuokite vežėjų įvykius ir susiekite kiekvieną siuntą su užsakymo duomenimis. Tada sukurkite duomenų saugyklos modelius, kurie apskaičiuotų pristatymo našumą, išimtis ir duomenų aktualumą, prieš pateikiant šiuos modelius skydeliams. Svarbiausias projektavimo sprendimas – atskirti, kas nutiko siuntiniui, nuo to, kada jūsų sistemos apie tai sužinojo.

Kaip integruoti siuntų sekimo duomenis į BI sistemas

Šis vadovas skirtas duomenų inžinieriams, analitikos komandoms ir logistikos operacijų vadovams, kuriantiems tokį duomenų srautą. Inžinerijos komanda turėtų būti atsakinga už duomenų gavimą ir patikimumą; operacijos – už siuntų etapų ir išimčių taisyklių apibrėžimą; analitika – už metrikų apibrėžimus. Be šių bendrų apibrėžimų techniškai sėkminga integracija vis tiek gali generuoti klaidinančias ataskaitas.

Kurkite duomenų srautą, o ne ryšį tarp skydelio ir API

Naudinga pamatinė architektūra:

Sekimo šaltinis → duomenų gavimo paslauga → patikima neapdorotų duomenų saugykla → transformavimas ir tikrinimas → analitikos duomenų saugykla → BI semantinis modelis → skydeliai ir įspėjimai

Užsakymų, vykdymo ir klientų aptarnavimo duomenis laikykite kartu su sekimo duomenų srautu, naudodami kontroliuojamus ryšius tarp jų. Sekimo įvykiai paaiškina siuntinio judėjimą. Tačiau vieni patys jie nenustato klientui pažadėtos pristatymo datos, užsakymo vertės, pinigų grąžinimo rezultato ar aptarnavimo istorijos.

Skydelio tiesioginis prijungimas prie sekimo API gali tikti nedideliam prototipui, tačiau dėl jo sunkiau kontroliuoti istorinių duomenų atkūrimą, pakartotinius bandymus ir bendrus metrikų apibrėžimus. Jei ataskaitos rengiamos reguliariai, prieš jas pateikdami duomenis išsaugokite.

Kur pritaikomas 17TRACK

17TRACK Tracking API yra tinkamas sekimo duomenų integracijos šaltinis. Naudokite official API documentation, kad patvirtintumėte savo diegimo integracijos sutartį. Prieš projektuodami sprendimą patikrinkite autentifikavimą, siuntų registravimą, galimus įvykių laukus, atnaujinimų pristatymo būdus, naudojimo ribas ir klaidų tvarkymą.

Sekimo šaltinį ir BI duomenų srautą laikykite atskirais sluoksniais. Nemanykite, kad prieiga prie sekimo duomenų automatiškai suteikia savąją jungtį prie jūsų duomenų saugyklos ar BI įrankio. Išbandykite konkrečius vežėjus, siuntimo paslaugas, paskirties rinkas ir paskyros konfigūraciją, kurią ketinate naudoti.

1. Apibrėžkite veiklos klausimus ir ataskaitų detalumo lygį

Pradėkite nuo sprendimų, kuriuos turi padėti priimti skydelis. Logistikos vadovui, tiriančiam vėluojančius siuntinius, reikia siuntos lygio išimčių. Komercijos analitikui, lyginančiam siuntimo paslaugas, reikia pristatymo kohortų ir nuoseklių vardiklių. Tai susiję vaizdai, tačiau jie neturėtų būti kuriami iš neapibrėžto sekimo būsenų rinkinio.

  • Pristatymo našumas: kuriuose siuntimo maršrutuose neįvykdomas klientui duotas pažadas?
  • Išimčių valdymas: kurias aktyvias siuntas reikia ištirti?
  • Vežėjų perdavimai: kur tarp transportavimo etapų prarandamas matomumas?
  • Poveikis klientams: kurie pristatymo modeliai susiję su kreipiniais į klientų aptarnavimą arba pinigų grąžinimu?
  • Integracijos būklė: kurie šaltiniai pateikia neišsamius arba pasenusius duomenis?

Pasirinkite pagrindinį ataskaitų detalumo lygį: paprastai vieną fizinį siuntinį arba siuntą, o ne vieną užsakymą. Užsakymą gali sudaryti keli siuntiniai, o pakaitinė siunta gali egzistuoti kartu su pradine. Išsaugokite šiuos ryšius, užuot vertę kiekvieną užsakymą atitikti vieną sekimo numerį.

Užsakymo užbaigimą apibrėžkite atskirai. Pavyzdžiui, užsakymas gali būti laikomas pristatytu tik tada, kai pristatyti visi privalomi išsiunčiami siuntiniai. Grąžinimams, atšauktiems siuntiniams ir pakaitinėms siuntoms reikia aiškaus traktavimo, kad jie neiškraipytų vardiklio.

2. Prieš importuodami įvykius sukurkite siuntos tapatybę

Nenaudokite sekimo numerio kaip vienintelio duomenų bazės rakto. Jo interpretacija gali priklausyti nuo vežėjo ir siuntos konteksto. Sukurkite vidinį siuntos identifikatorių ir išsaugokite išorines nuorodas, reikalingas įrašams suderinti.

LaukasPaskirtisProjektavimo aspektas
shipment_idStabili vidinė tapatybėLaikykite ją nepriklausomą nuo išorinių nuorodų pakeitimų.
order_id ir fulfillment_idSiuntimo susiejimas su prekybos įrašaisPalaikykite išskaidytus užsakymus ir pakaitines siuntas.
tracking_number ir carrier_referenceSekamo judėjimo identifikavimasIšsaugokite neapdorotas reikšmes ir standartizuotus identifikatorius.
shipment_leg_idTransportavimo etapo pateikimasNaudokite, kai yra atskiros tarptautinio ir paskutinės mylios transportavimo nuorodos.
source_systemĮrašo kilmės paaiškinimasAtskirkite užsakymų sistemos ir sekimo šaltinio reikšmes.
promised_delivery_atNašumo vertinimas pagal įsipareigojimąIšsaugokite taikomą pažadą ir jo pakeitimų istoriją.

Sukurkite tarpinę lentelę, kai viena siunta turi kelias sekimo nuorodas arba etapus. Taip analitikai gali sekti tarpvalstybinį siuntinį per perdavimą, nelaikydami jo dviem pristatytomis siuntomis.

3. Gaukite atnaujinimus atsižvelgdami į pakartotinį paleidimą ir suderinimą

Naudokite jūsų šaltinio palaikomą atnaujinimo mechanizmą. Jei galimas įvykių pristatymas, gaukite atnaujinimus per paslaugą, kuri patikrina užklausas ir priimtus duomenų paketus įrašo į patikimą saugyklą. Jei būtina apklausa, suplanuokite užklausas pagal dokumentuotas ribas ir verslo aktualumo reikalavimus.

Įvykiais grindžiamame duomenų gavime sėkmingą gavimą patvirtinkite tik tada, kai duomenų paketas saugiai išsaugotas arba patalpintas patikimoje eilėje. Priimantį galinį tašką laikykite lengvą; brangias transformacijas atlikite tolesniuose etapuose. Vadovaukitės dokumentuotais šaltinio autentifikavimo ir užklausų tikrinimo mechanizmais, o ne kurkite tariamą parašo formatą.

Apklausos atveju saugokite gavimo kontrolinius taškus ir, jei API tai leidžia, naudokite persidengiančius gavimo langus. Persidengimas gali padėti užfiksuoti vėluojančius atnaujinimus, tačiau jam taip pat reikia dublikatų šalinimo. Nemanykite, kad puslapiavimo žymeklis yra nuolatinis istorinis kontrolinis taškas, nebent taip nurodyta dokumentacijoje.

  • Išsaugokite originalų duomenų paketą, gavimo laiko žymą, šaltinio identifikatorių ir duomenų gavimo paleidimo identifikatorių.
  • Laikinus gedimus kartokite naudodami kontroliuojamą laukimo didinimą ir laikykitės dokumentuotų dažnio ribų.
  • Pakartotinai nepavykstančius įrašus nukreipkite į peržiūros eilę, o ne tyliai išmeskite.
  • Suderinkite sekamas siuntas su vykdymo sistema, kad nustatytumėte trūkstamas registracijas.
  • Periodiškai tikrinkite aktyvias siuntas, kurių sekimo duomenys nustojo atsinaujinti.

Užtikrinkite idempotentišką įrašymą: pakartotinai apdorojus tą patį atnaujinimą neturi būti sukurtas papildomas loginis įvykis. Pirmenybę teikite dokumentuotam stabiliam įvykio identifikatoriui. Jei jo nėra, apibrėžkite ir patikrinkite sudėtinį pirštų atspaudą, naudodami siuntos tapatybę, įvykio laiką, įvykio kodą, vietą ir kitus svarbius laukus. Išsaugokite neapdorotus įrašus, kad būtų galima ištirti sutapimus ar pataisymus.

4. Normalizuokite įvykius neprarasdami jų prasmės

Vežėjų aprašymai neturėtų tiesiogiai tapti skydelių kategorijomis. Sukurkite dokumentuotą susiejimo sluoksnį, kuris šaltinio įvykius paverstų mažesniu verslo etapų rinkiniu, išsaugant pradinį aprašymą ir kodą.

Pradinė taksonomija galėtų apimti informaciją gauta, vežėjo priimta, gabenama, perduota pristatyti, pristatyta, bandyta pristatyti, išimtis ir grąžinamas judėjimas. Tai siūlomos vidinės kategorijos, o ne teiginys, kad visi sekimo šaltiniai naudoja tas pačias būsenas.

Etapo būseną laikykite atskirai nuo išimties požymių. Siunta gali likti gabenama ir kartu turėti su muitine susijusią išimtį. Sujungus abi sąvokas į vieną lauką, sunku atskirti fizinę eigą nuo veiklos rizikos.

Aiškiai tvarkykite tarpvalstybinį neapibrėžtumą

  • Muitinės įvykiai: išsaugokite nurodytą įvykio reikšmę. Neinterpretuokite kiekvienos muitinės nuorodos kaip vėlavimo ar užbaigto įforminimo.
  • Vežėjų perdavimai: susietas nuorodas priskirkite tai pačiai siuntai, kai ryšys patikrintas. Nauja nuoroda nebūtinai reiškia naują siuntinį.
  • Nežinomi įvykiai: palikite juos matomus kaip nesusietus įrašus. Neverskite nepažįstamų kodų į patogią kategoriją.
  • Pataisymai: leiskite vėlesnei informacijai pakeisti interpretuojamą būseną, neištrinant ankstesnių įrodymų.

Versijuokite susiejimo taisykles. Pasikeitus interpretacijai, turėtumėte galėti paaiškinti, ar istorinis grafikas pasikeitė dėl kitokio pristatymo našumo, ar dėl pasikeitusios transformavimo logikos.

5. Atskirai modeliuokite įvykio laiką, gavimo laiką ir vietines datas

Saugokite bent nurodytą įvykio laiko žymą ir laiko žymą, kada jūsų platforma gavo įrašą. Duomenų saugyklos įkėlimo laiko žyma taip pat naudinga nustatant vidinius apdorojimo vėlavimus. Šios laiko žymos atsako į skirtingus klausimus.

Jei įmanoma, naudokite poslinkį išsaugantį apsikeitimo formatą. RFC 3339 apibrėžia laiko žymos formatą, kuriame pateikiamas UTC arba skaitinis poslinkis. Išsaugokite pradinę reikšmę, neaiškias laiko akimirkas skaičiavimams normalizuokite į UTC, o vietines ataskaitų datas išveskite pagal aiškią laiko juostos taisyklę.

Jei šaltinis pateikia vietinę laiko žymą be poslinkio ar patikimos laiko juostos, pažymėkite šį neapibrėžtumą. Nelaikykite jos tyliai UTC. Šalies lygio prielaidų gali nepakakti, kai taikomos kelios laiko juostos.

Su vėluojančiais įvykiais taip pat reikia elgtis atsargiai. Senesnis įvykis, gautas šiandien, neturėtų automatiškai pakeisti naujesnės siuntos būsenos. Dabartinę būseną išveskite pagal dokumentuotą įvykių semantiką, laiko žymas ir pataisymų taisykles, o ne vien pagal paskutinę į duomenų bazę įterptą eilutę.

6. Kurkite duomenų saugyklos modelius su aiškiomis metrikų sutartimis

Praktiniame modelyje įvykių istorija atskiriama nuo siuntų suvestinių:

  • Įvykių faktų lentelė: viena eilutė vienam loginiam sekimo įvykiui su kilme ir normalizuotais požymiais.
  • Siuntų faktų lentelė: viena eilutė vienai siuntai su išvestais etapais ir dabartine būsena.
  • Ryšių lentelės: ryšiai tarp užsakymų, siuntinių, transportavimo etapų ir išorinių nuorodų.
  • Dimensijos: vežėjas, paslauga, kilmė, paskirties vieta, kanalas ir kiti patvirtinti ataskaitų požymiai.

Venkite tiesiogiai jungti užsakymo pajamas prie kiekvieno sekimo įvykio ir tada jų sumuoti. Taip užsakymo vertė pakartojama įvykių eilutėse. Agreguokite tinkamu detalumo lygiu arba semantiniame modelyje naudokite aiškiai kontroliuojamus ryšius.

MetrikaRekomenduojamas apibrėžimasInterpretacijos apsauga
Gabenimo trukmėPristatymo laiko žyma minus pirmoji tinkama vežėjo priėmimo laiko žymaPraneškite apie trūkstamus priėmimo nuskaitymus; nepakeiskite jų etiketės sukūrimu to neatskleidę.
Pristatymo laiku rodiklisTinkamu pažadu pristatytos tinkamos siuntos, padalytos iš pažado termino kohortai priklausančių tinkamų siuntųApibrėžkite ribinį laiką, laiko juostą, išimtis ir neįteiktų vėluojančių siuntinių traktavimą.
Išimčių dažnisUnikalių siuntų su tinkama išimtimi skaičius, padalytas iš tinkamos siuntų kohortosSkaičiuokite siuntas, o ne pasikartojančius išimčių pranešimus.
Sekimo neaktyvumasAtaskaitos laikas minus paskutinio tinkamo sekimo įvykio laikasNeaktyvumas yra signalas tirti, o ne įrodymas, kad siuntinys prarastas.
Stebimas atnaujinimo vėlavimasGavimo laikas minus nurodytas įvykio laikasAtskirkite šaltinio delsą nuo laiko žymos neapibrėžtumo ir duomenų saugyklos vėlavimo.

Užbaigtų gabenimo trukmių analizei naudokite pristatytų siuntų kohortas, tačiau nelaikykite jų visu našumo vaizdu. Lėtos dar gabenamos siuntos į šį skaičiavimą nepatenka. Užbaigto pristatymo statistiką papildykite atvirų siuntų senėjimo vaizdu ir pažado termino kohorta.

Lygindami siuntimo maršrutus, rodykite imties dydį, paslaugos lygį, paskirties vietą ir ataskaitinį laikotarpį. Siuntų sudėties skirtumai gali paaiškinti tariamą vežėjų našumo skirtumą. Skydelis turėtų padėti tirti šį skirtumą, o ne pateikti nepagrįstą priežastinę išvadą.

7. Prieš skelbdami veiklos skydelius patikrinkite duomenų srautą

Tikrinkite scenarijus, o ne vien sėkmingus API atsakymus. Įtraukite įprastą pristatymą, išskaidytą užsakymą, pakaitinę siuntą, vežėjo perdavimą, pasikartojantį atnaujinimą, ne eilės tvarka gautą įvykį, trūkstamą laiko juostą, su muitine susijusį įvykį, grąžinamą judėjimą ir vėlyvą pataisymą.

Kiekvieno scenarijaus atveju atsekite neapdorotą duomenų paketą per normalizuotus įvykius, siuntų suvestines ir galutinį skydelį. Operacijų komanda turėtų patvirtinti, kad rodoma būsena ir rekomenduojamas veiksmas atitinka pagrindinius įrodymus.

  • Aprėptis: palyginkite tinkamas įvykdytas siuntas su siuntomis, esančiomis sekimo duomenų sraute.
  • Išsamumas: išmatuokite trūkstamus siuntų identifikatorius, įvykių laikus, vežėjų nuorodas ir pristatymo pažadus.
  • Nuoseklumas: pažymėkite neįmanomas ar įtartinas etapų sekas peržiūrai, o ne automatiškai jas perrašykite.
  • Aktualumas: atskirai stebėkite šaltinio gavimą, duomenų saugyklos apdorojimą ir skydelio atnaujinimą.
  • Atkuriamumas: atkurkite ataskaitinį laikotarpį iš išsaugotų įvesčių ir patvirtinkite tikėtiną rezultatą.

Veiklos skydeliuose rodykite duomenų aktualumo indikatorių. Siuntos išimtis ir duomenų gavimo sutrikimas gali atrodyti panašiai, kai abu rodomi kaip „nėra naujausio atnaujinimo“. Naudotojams reikia pakankamai konteksto, kad galėtų juos atskirti.

8. Diekite etapais, nustatykite atsakomybes, prieigos kontrolę ir naudingus įspėjimus

Išbandykite integraciją ribotame siuntimo maršrutų rinkinyje, apimančiame tipišką tarpvalstybinį sudėtingumą. Plėskite ją, kai siuntų susiejimas, būsenų interpretavimas ir metrikų suderinimas atitiks sutartus priėmimo kriterijus. Bandomasis etapas, kurį sudaro tik lengvai pristatomos siuntos, nepatikrins sudėtingų modelio dalių.

Analitikai perduokite tik ataskaitoms reikalingus laukus. Apribokite prieigą prie sekimo nuorodų ir asmens duomenų, laikykite prisijungimo duomenis ne BI ataskaitose ir nustatykite saugojimo bei ištrynimo procedūras pagal taikomus įsipareigojimus.

Kiekvienam įspėjimui paskirkite atsakingą asmenį. Pasenęs duomenų gavimo srautas priklauso inžinerijos komandai; nesusietas įvykis – duomenų komandai ir logistikos specialistams; vėluojantis siuntinys – atitinkamam veiklos procesui. Pradėkite nuo nedidelio skaičiaus veiksmingų įspėjimų, o ne kurkite pranešimą apie kiekvieną neįprastą nuskaitymą.

Integracija parengta platesniam naudojimui, kai verslo naudotojas gali atsekti skydelio rezultatą iki siuntos, normalizuoto įvykio ir jo šaltinio įrašo bei suprasti, kokios prielaidos suformavo rezultatą.

DUK

Ar BI ataskaitoms reikia sekimo realiuoju laiku?

Nebūtinai. Istorinė našumo atskaitomybė gali veikti su suplanuotais atnaujinimais, o aktyvių išimčių tvarkymui gali reikėti naujesnių duomenų. Pirmiausia apibrėžkite reikiamą reakcijos laiką, tada įvertinkite šaltinio atnaujinimų vėlavimą, duomenų gavimo delsą, duomenų saugyklos apdorojimą ir skydelio atnaujinimą. Greitesnis skydelio atnaujinimas negali sukurti vežėjo įvykių, kurie dar nebuvo pranešti.

Ar sekimo duomenys gali išmatuoti muitinės įforminimo laiką?

Tik tada, kai šaltinis pateikia įvykius, patikimai žyminčius norimo matuoti muitinės etapo pradžią ir pabaigą. Tarpas tarp dviejų nuskaitymų nėra pakankamas muitinės apdorojimo laiko įrodymas. Kai ribos neaiškios, įvardykite metriką kaip stebimą intervalą, o ne patvirtintą įforminimo trukmę.

Kaip tvarkyti kelis vieno užsakymo sekimo numerius?

Užsakymo ir siuntos ryšį modeliuokite atskirai nuo siuntos ir sekimo nuorodos ryšio. Keli siuntiniai gali priklausyti vienam užsakymui, o kelios nuorodos gali apibūdinti skirtingus vieno siuntinio kelionės etapus. Atskirti šie ryšiai padeda išvengti pasikartojančio siuntų skaičiavimo ir neteisingų užsakymo užbaigimo ataskaitų.

Ar turėčiau naudoti apklausą, ar įvykiais grindžiamus atnaujinimus?

Naudokite šaltinio palaikomus mechanizmus ir pasirinkite juos pagal aktualumo bei patikimumo reikalavimus. Įvykiais grindžiamas pristatymas gali sumažinti pasikartojančių užklausų skaičių, o apklausa gali padėti gauti arba suderinti duomenis, kai tai įmanoma. Nei vienas būdas nepanaikina dublikatų šalinimo, pakartotinių bandymų, stebėsenos ir praleistų atnaujinimų atkūrimo poreikio.

Ar sekimo duomenys gali paaiškinti, kodėl padaugėjo pinigų grąžinimų?

Jie gali padėti tirti situaciją, kai tinkamais identifikatoriais ir laiko intervalais sujungiami su pinigų grąžinimo bei klientų aptarnavimo įrašais. Tačiau vieni patys jie priežasties nustatyti negali. Prieš priskirdami padidėjimą pristatymo našumui, patikrinkite grąžinimo priežastis, produktų problemas, klientų segmentus, siuntimo paslaugas ir kitus svarbius veiksnius.

Šaltiniai