Open data în FME – studiu de caz

By August 12, 2020November 27th, 2020FME

Modificarea Legii topografiei și cartografierii, precum și a „Scutului anti-criză 4.0”. Actul care a intrat în vigoare a avut ca rezultat mai multe date deschise disponibile.

În fiecare zi folosim diferite tipuri de date – date statistice, date geografice etc. Toate provin din surse diferite și au diverse formate acceptate numai de sistemele selectate. Utilizarea acestor date poate fi problematică, deoarece uneori necesită trimiterea unei cereri de acces și plata taxelor de acces. De obicei, se referă la date tehnice utilizate pentru analize geospațiale sau dezvoltarea de produse GIS. Din fericire, majoritatea datelor sunt partajate în cadrul unor licențe libere, deschise.

Unde găsiți date deschise pentru descărcare?

Unele date sunt disponibile gratuit în Polonia de mult timp. De obicei provin din surse precum administrațiile locale (voievodate, provincii, județe), servicii de topografie și cartografiere, sau Statistics Poland. După cum s-a menționat anterior, creșterea cantitativă a datelor deschise este rezultatul unor modificări recente ale legii. Aceste modificări vizează contracararea efectelor negative ale pandemiei COVID-19. Hătțile ortofoto și punctele de control ale rețelei geodezice de bază sunt acum partajate gratuit datorită „Scutului Anti-Criză”.

Cum se descarcă datele deschise?

Majoritatea serviciilor de date deschise permit descărcarea acestora într-un mod clasic. Aceasta înseamnă alegerea unei anumite baze de date și a zonei de interes și apoi descărcarea unui pachet care permite salvarea diferitelor formate de date. Cu toate acestea, în zilele noastre este din ce în ce mai frecvent să folosiți API-ul acestor servicii.

Ambele abordări au argumentele pro și contra. Merită să utilizați prima metodă atunci când datele sunt descărcate o singură dată, pentru o anumită zonă și în cazul în care pot fi arhivate. A doua metodă care folosește API este mai universală. Permite descărcarea datelor pentru diferite zone și fără a fi nevoie să le salvați pe computer.

Ce programe vă permit să lucrați cu date deschise?

Nu contează ce serviciu de date deschise este utilizat, ce metodă este utilizată pentru descărcarea acestuia și ce format este utilizat pentru salvarea acestuia. Platforma FME permite încărcarea datelor salvate local în orice format, precum și descărcarea directă a datelor din servicii bazate pe API partajat. În continuarea a acestui articol vom arăta cum să utilizați FME pentru descărcarea directă a datelor deschise, cum ar fi hărțile ortofoto și datele recensământului.

Hărți orthofoto – cum să descărcați automat cantități mari de date?

Pe 24 iunie, sediul central pentru geodezie și cartografie a anunțat că toată lumea este acum liberă să descarce date de rețea de bază geodezice și hărți ortofoto fără limite. Orthophotomap este un sondaj cartografic al unei zone alese, realizat cu fotografii prelucrate într-un anumit sistem de coordonate. Fotografiile folosite pentru a realiza o hartă ortofoto sunt făcute de la altitudine, cum ar fi fotografii aeriene sau fotografii cu drone.

Să luăm cazul datelor raster. Accesați site-ul web Geoportal și alegeți straturile „Date pentru descărcare” și „Ortofotomapa”. Veți avea două opțiuni pentru selectarea datelor: prin actualitate (ortofotomapa wg aktualności) și rezoluția spațială (ortofotomapa wg rozdzielczości). Apoi, veți vedea indexul împărțit în secțiuni de hartă cu un simbol adecvat. În timpul selecției puteți vedea toate ortofotomapele disponibile pentru un anumit punct, sau mai degrabă o „bbox” care caută date.

:

Fiecare parte a datelor are o descriere tehnică detaliată a unei anumite descrieri și un link pentru descărcarea datelor, care este cea mai importantă funcție. Începutul interogării URL este persistent, dar referința ulterioară la un anumit depozit poate varia.

Simbolul de început și harta nu ar trebui să cauzeze probleme. Cu toate acestea, sintaxa internă a restului depozitului face ca legătura exactă pentru descărcarea datelor să fie afișată numai după selectarea anumitor reprezentări. Din fericire, este ușor să găsiți interogarea care vă permite să adunați toate datele într-o singură fereastră. Puteți găsi o „cerere” legată de serviciul GetFeatureInfo afișată la National Geoportal atunci când analizați secțiunea „Rețea” din sistemul de control sursă (cheia F12 din browser). Vedeți aici un exemplu.

Partea principală a interogării este referința corectă la straturi (indexul foilor de hartă) și interogarea spațială, „bbox”. Poate arăta că marcați un punct doar atunci când selectați o foaie pe Geoportal, dar algoritmul îl transformă într-un dreptunghi sau pătrat și efectuează interogarea spațială în funcție de acesta. Ca urmare, veți obține o fereastră cu răspunsuri.

Funcționalitatea prezentată mai sus poate fi implementată în platforma FME și accelerează descărcarea automată a datelor despre Polonia utilizând anumiți parametri, nu numai actualitatea și rezoluția spațială. În scriptul utilizat pentru această funcție, am pregătit următoarele opțiuni:

  • Alegerea propriei interogări spațiale, așa-numita „bbox”, care este inclusă în coordonatele dreptunghiului sau pătratului unei interogări în sistemul din 1992 (EPSG: 2180) în formatul „y_min, x_min, y_max, x_max”. Dacă valoarea rămâne goală, scriptul se va referi la date exemplare din descrierea de mai jos.
  • Folosind lista exemplificativă a interogărilor spațiale, care au fost generate din grilele de diviziune ale foilor DTM (digital terrain model) sau orthophotomaps, din centrodele unor secțiuni particulare.
  • Scriptul vă permite să alegeți anul / actualitatea ortofotoplanului și rezoluția acestuia în același timp.

Două interogări HTTPCaller sunt principalele părți ale scriptului. În primul pas se referă la selecția care imită interogarea Geoportal iar în al doilea pas se referă la descărcarea directă a datelor folosind un link din depozitul opendata.geoportal.gov.pl.

Setul corect al unei interogări folosind StringConcatenator este un aspect suplimentar:

După ce primiți rezultatul, căutați atributele dorite utilizând expresii obișnuite și ștergerea atributelor. StringSearcher și AttributeCreator cu AttributeTrimmer sunt cele mai utile instrumente de aici.

În cele din urmă, ortofotoplanurile selectate sunt salvate în locul fișierului .fmw în formatul TIFF împreună cu o descriere completă a atributelor pe care le puteți găsi pe geoportal. Datele descrierii sunt salvate în format CSV.

Scenariul prezintă multe posibilități. După ce îl utilizați o perioadă, puteți observa cât de ușor este să implementați parametri suplimentari, cum ar fi un simbol specific, tipul de compoziție de culoare sau un număr exact de lucrări raportate. De asemenea, este simplu să descărcați datele complete de arhivă disponibile din „casetă” fără a le filtra. Tot ce trebuie să faceți este să ștergeți „Tester” responsabil pentru parametrizare sau să modificați codul. Vă încurajăm să testați descărcarea altor date disponibile din Geoportal, cum ar fi BDOT10k, în același mod.

Descărcați script cu exemple aici (FME 2020.0, Build 20252).

Registrul funciar și al proprietății – puteți descărca automat date despre parcelele funciare?

În momentul redactării acestui articol nu există încă un set de date complet deschis despre Registrul funciar și al proprietății. Cu toate acestea, nu înseamnă că nu sunt disponibile. În această parte vă vom arăta cum să integrați FME cu:

Toate serviciile menționate mai sus au un fel de formă deschisă de partajare și descărcare a datelor. Au unele limitări, de exemplu, Serviciul de localizare a parcelelor interioare interzice descărcarea. După un anumit număr de interogări trimise de la un singur IP, serviciul va fi blocat timp de câteva ore. Cu toate acestea, câteva mii de interogări nu cauzează o problemă similară. Este același mod pentru funcția „GetFeatureInfo” pentru integrarea națională a registrului funciar. Integrarea națională a registrului funciar și Integrarea națională a utilităților terestre vă permit, printre altele, descărcarea „blocului” de date al unui cadastru. Puteți selecta mai multe straturi:

Serviciul de localizare a parcelelor terestre (ULDK) este un serviciu cu localizare precisă a parcelelor terestre. Localizează după mai multe criterii:

  • Identificator de parcelă precis
  • Numărul unei parcele și district
  • Coordonate

Geometria în format WKB sau WKT și atributele descriptive pot fi rezultatele unei interogări:

Este ușor să utilizați o astfel de interogare cu HTTPCaller pentru a descărca datele dorite. Platforma FME vă permite, de asemenea, să utilizați aceste servicii. Există un scenariu în scriptul pregătit în care utilizând WMS puteți descărca „blocul” de date care conține registrul funciar și de proprietate. Apoi, încercați să extrageți geometriile parcelelor folosind algebra hărții. În cele din urmă, centroidurile parcelelor create sunt utilizate pentru interogarea Serviciului de localizare a parcelelor de teren (ULDK). Datorită acestui fapt, veți primi geometrii precise ale parcelelor cu atribute descriptive, cum ar fi înregistrările TERYT, numărul parcelei sau localizarea precisă, inclusiv o divizie administrativă.

În primul rând, zona cercetată este extrasă din datele din Registrul național al limitelor și salvată temporar în localizarea scriptului.

Acest tip de date poate fi împărțit în clădiri și parcele folosind metode de algebră a hărții. Datele nu vor fi pe deplin exacte, dar pot fi perfecte pentru serviciul Land Parcel Location Service (ULDK). Acesta este rezultatul părții din scenariu „PUTEM FACE CEVA DIN ACESTA – ALGEBRA HĂRȚII”, împreună cu centrodele:

În cele din urmă, coordonatele centrodei ajung la Serviciul de localizare a parcelelor terestre (ULDK) folosind HTTPCaller:

Acum, răspunsul serviciului trebuie împărțit de deliminatori, iar geometriile trebuie extrase din atribut. În cazul WKB, ar trebui să vă amintiți despre schimbarea formatului de câmp din UTF-8 în formatul binar. Rezultatul va reflecta premisa de mai sus – geometrii precise ale parcelelor cu atribute descriptive pentru zona cercetată.

Scriptul FME este disponibil aici. Vă încurajăm să încercați!

Viitorul datelor deschise

Următoarele modificări ale legii cu privire la partajarea datelor sunt doar o chestiune de timp. Modul în care sunt partajate datele nu este o problemă, deoarece FME garantează că orice API sau serviciu poate fi utilizat pentru descărcarea acestora. Chiar dacă datele sunt partajate doar parțial, este posibil să vedem în jurul acestei probleme și să obținem un rezultat satisfăcător, așa cum se arată în exemplele de mai sus.

Este rândul tău acum!

Dacă doriți să utilizați date deschise în proiectele dvs. dar nu știți cum să o faceți cu FME – contactați-ne! Vom fi bucuroși să vă ajutăm. Vizitați site-ul nostru FME pentru a obține mai multe detalii despre integrarea datelor!