Ideetje voor mijn eerste data project met sensoren
Als je wilt weten wie ik ben en waarom ik doe wat ik doe nodig ik je uit om even naar mijn profiel te gaan. Daar vind je wat achtergronden. Tipje van de sluier .. ik ben een techneut en wil graag aan de slag met een sensor data project.
Vandaar dat ik gewoon een project heb verzonnen. De onderzoeksvraag luidt:
"Is er sprake van verminderde fijnstof uitstoot tijdens de lockdown in Arnhem Centrum?"
 |
| foto Andrea Piacquadio pexels.com |
Klopt, kon ook een andere vraag zijn, deze onderzoeksvraag heb ik geleend van een sensor project waarbij ik een beetje bij betrokken was. Wist gewoon even niets beters en wilde gewoon aan de slag.
Het doel van dit project is dan ook niet de beantwoording van deze vraag maar meer het doen van een concreet project. Ervaringen opdoen als nieuwbakken burger wetenschapper. Hoe kan ik de historische sensor data op een handige manier ontsluiten, valideren, analyseren en publiceren? Welke databronnen zijn voorhanden, wat zijn de voor- en nadelen. Door zo’n project op te pakken en mijn ervaringen te delen hoop ik dat ik wat kan leren van anderen die wat meer ervaring hebben op dit vlak en andersom. Alles voor de burger wetenschap!
De schaar er in!
In dit eerste deel, ga ik uit van de databron Luftdaten.info. Dit is de organisatie waar alle Arnhemse burger sensoren elke 3 min de sensordata dumpen. Zij hebben dus de ruwe core data. Lijkt me dus logisch om dit project te starten met informatie uit eerste hand.
Het mooie van luftdaten.info is dat de sensor data voor iedereen toegankelijk is gemaakt. De actuele sensor data via een API. Deze API wordt vooral gebruikt door online luchtkwaliteit kaarten zoals de eigen Luftdaten kaart. Ook de historische data is vrijelijk toegankelijk. Het minder fijne is dat het best lastig is om al deze data handmatig te verzamelen. Voor elke dag moet je per sensor twee csv bestanden downloaden als je tenminste ook de temperatuur en luchtvochtigheid metingen van de sensoren wilt gebruiken. Dat wordt dan knap lastig als je een analyse wilt doen in mijn geval van heel Arnhem met ~120 sensoren over een periode van een half jaar. Ik verwacht dat ik dit zoveel mogelijk ga automatiseren, ben namelijk wars van herhalende handmatige handelingen. Zal uiteraard alle code met betrekking tot dit project delen voor geïnteresseerden.
Een ander nadeel van Luftdaten lijkt me dat de historische data wel erg ruw is. Denk aan slecht functionerende of opgehangen sensors die tijdelijk verkeerde waarden doorgeven. Je zal toch redelijk wat data moeten opschonen om een betrouwbaar beeld te krijgen is mijn verwachting.
Omdat ik benieuwd ben wat nu het verschil is op het resultaat tussen het gebruik van ongecorrigeerde data en geschoonde data voor situatie in Arnhem, ga ik beide scenario's uitvoeren. Maken die paar "kapotte" sensors en die paar piekwaarden nu echt wat uit op het eindresultaat? Ik snap het, de resultaten van 1 zo'n projectje zegt natuurlijk niet zoveel, maar doe het toch om beetje gevoel voor de materie te krijgen.
In het tweede deel wil ik starten met de data die het RIVM via het project Samen Meten ter beschikking stelt. Via een API en dataportaal levert deze bron zowel historische als actuele sensor data. Ze leveren hierbij ook de ruwe data uit Luftdaten.info maar geven als extra ook een gekalibreerd signaal mee met nog wat extra referentie sensoren zoals voor verkeers- en achtergrondbelasting. Hier verwacht ik dat het verzamelen van data net als bij Luftdaten moeizaam is, maar de validatie misschien wat eenvoudiger.
Aan het eind zal ik de balans op te maken. Wat zijn de cons en pro’s van beide bronnen. Zijn de eindresultaten van deel 1 en deel 2 te vergelijken, zijn de evt. verschillen te verklaren. Logischerwijs zou je zeggen dat de RIVM databron de voorkeur zou hebben, maar misschien zijn er toch overwegingen om voor een combinatie te gaan. Ik weet het allemaal nog niet niet en laat me verrassen.
Reacties
Een reactie posten