Adatbetöltési és szerver oldali programozási lehetőségek értékelése és bemutatása SensorHUB környezetben
Szakdolgozatomat egy egyetemi rendszerprojekt keretein belül végeztem. A Budapesti Műszaki Egyetemen is használatos SensorHUB platformhoz hasonló rendszert valósítottunk meg itt, a soproni informatikai környezetünkben. Az adatelemző csoport tagjaként vettem részt a projektben, azon belül is főleg a...
Saved in:
| Main Author: | |
|---|---|
| Other Authors: | |
| Format: | Manuscript essay |
| Published: |
2016-05-09
|
| Tags: |
Add Tag
No Tags, Be the first to tag this record!
|
| Summary: | Szakdolgozatomat egy egyetemi rendszerprojekt keretein belül végeztem. A Budapesti Műszaki Egyetemen is használatos SensorHUB platformhoz hasonló rendszert valósítottunk meg itt, a soproni informatikai környezetünkben. Az adatelemző csoport tagjaként vettem részt a projektben, azon belül is főleg a szerver oldali kérdéseiben, munkálataiban. Feladataim közé sorolhatjuk rendszertervezést és –integrációt, speciális adatforrásokkal való munkát, melyeket különböző külső partnerek szolgáltattak számunkra, valamint egyéb szerver oldali teszteléseket és fejlesztéseket, konfiguráció beállításokat és konvenciók felállítását. Munkám során megismerkedtem a SensorHUB keretrendszerrel, annak paraméterezhetőségével és megoldásaival. Ezek mellett dolgoztam az Apache Hadoop és Cloudera komponensekkel, amely megoldásokat a nagy adathalmazok kezelésére és adatbányász feladatokra fejlesztettek ki. Részletesen megismerkedtem a Flume beépülő modullal és plugin lehetőségeivel, annak Java alapú adatmanipulációs, adatáramlás irányító lehetőségeivel. Feladataimhoz tartozott még egy NoSQL alapú Cassandra adatbázis megoldás integrálása és felépítése is a rendszerbe, mellyel a kapcsolódó külső alkalmazások könnyedén és gyorsan tudnak megjeleníteni, szolgáltatni hasznos információkat az adattárház rendszerünkből a piaci érdekeltségeink, partnereink részére. A létrehozott megoldás hasonlítható egy előrehaladt fázisban lévő „sandbox” rendszerhez, elsajátítása és tanulása könnyű lehet azoknak, akik a jövőben szeretnének ezzel a rendszerrel dolgozni, foglalkozni, esetleg a rendszer komponenseihez fejleszteni. Több BME-ről kapott alkalmazással, több saját ötlettel, tervezési, tesztelési és implementációs, integrációs fázissal létrejött NyME SensorHUB rendszer használható különböző adatbányász és adattárolási, adatelérési feladatok elvégzésére, ezek mellett több lehetséges kapcsolati csatornát nyújt más külső alkalmazások számára adatmegjelenítés és információ szemléltetés céljából. |
|---|