MLAB wiki

User Tools

Site Tools

Trace:
en:programming_tasks

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revisionPrevious revision
Next revision		Previous revision
en:programming_tasks [2014/07/04 19:42] – kakliken:programming_tasks [Unknown date] (current) – external edit (Unknown date) 127.0.0.1
Line 24: Line 24:
   * Nodes acting as data storage, or performing some calculations on the data (data mining servers)   * Nodes acting as data storage, or performing some calculations on the data (data mining servers)
  
-Each node as part of a network will be operated by the observational application (eg, Observer Radio, Meteor Observer, Visual Observer, etc.) in cooperation with a daemon that will handle communication with the rest of the network and data distribution. Daemon should therefore have an interface or filesystem in which data measuring application should store data. Station-supervisor daemon then solve optimal data distribution between data servers.+Each node as part of a network will be operated by the observational application (eg, [[en:radio-observer]], Meteor Observer, Visual Observer, etc.) in cooperation with  [[en:station-supervisor|Station-supervisor]] which manages the station verify its work. Another daemon should therefore have an interface or file system in which data measuring application should store data and then solve optimal data distribution between data servers.
  
 ====  System Properties  ==== ====  System Properties  ====
Line 33: Line 33:
   - An important parameter of the network is that data from individual stations were available at one time (with the least time scatter) in order to perform live calculations on the inter-station data.   - An important parameter of the network is that data from individual stations were available at one time (with the least time scatter) in order to perform live calculations on the inter-station data.
  
-==== The hardware implementation ====+ 
 +=== Typical station design === 
 + 
 +{{ :cs:designs:supervising_system.png?direct |}} 
 + 
 +Image above illustrates an typical station connected to the distributed measurement system. The measuring station itself consist several subsystems.  
 + 
 +== Local presentation node == 
 + 
 +A PC system located at same site where the measuring station operates but generally in another room or building.  The purpose of presentation node is displaying of measuring data in an interactive form which is attractive for visitors or should be used to demonstrate principle of measurement. 
 + 
 +== Measuring node == 
 + 
 +This is part which performs the measurement and it is responsible to data making. Measuring node has several minor subsystems. 
 + 
 +Measuring Hardware - A set of sensors and hardware required for measuring. 
 + 
 +Hardware station guard - A hardware recovery unit which could separately reset every hardware part of measuring node. The station-supervisor daemon should use this device for error outputs. Connection management between recovery unit and station-supervisor daemon will be self controlled by device. Interface between hardware recovery unit and main station computer should be terminal based.  The terminal functionality should be provided by station-supervisor monitor software (ssmon) (if it is running, otherwise by 
 +standard system console) in system console mode station 
 +supervisor-should write debug output on this device (similarly to dmesg 
 +for example) 
 + 
 +== Network interface == 
 + 
 +We will not have direct IP connectivity from Internet to stations. Station supervisor software should generate data file outputs and upload these data files to an web server which serves station status information. Telemetry information will be displayed in the web on separate central web server.  Web page served by central status server is primary diagnostic interface. Terminal interface to measuring node is secondary backup interface which is not accessible on all stations. 
 + 
 +Moreover web access is intended as file based. File based means that 
 +station-supervisor uploads an diagnostic file to the central web server. Web server takes this files (from more than one station) and serve a web page with stations status information. User interface in this case is limited only to modification of an station-supervisor configuration file stored 
 +on web server.  
 + 
 +For example configuration file may contain an parameter for station reboot 
 +request. After station-supervisor will notice a change or update in the 
 +web server stored configuration file, station-supervisor reboots the station and 
 +update its parameters according to actual configuration file.  
 + 
 + 
 +=== Node software === 
 + 
 +Node hardware will run a data-processing utility ([[en:radio-observer]] for example), data uploading and distributing utility and station-supervisor daemon. Station-supervisor acts as watchman which checks proper functioning of whole measuring node. Data-upload is another daemon, which manages storage space on measuring node.  
 + 
 +Station-supervisor does not have a screen output. Screen output may be served by client program ssmon (Station Supervisor Monitor) which generates interactive status screen after connection to Station Supervisor server. 
 + 
 + 
 +==== Hardware implementation ====
  
 === Computing power === === Computing power ===
Line 50: Line 93:
 ====  Software implementation  ==== ====  Software implementation  ====
  
-The network management would be advantageous to use the system to control robots [[http://www.ros.org/wiki/|ROS]], or any system designed for control [http://www.astro.physik.uni-goettingen.de/~hessman/MONET/software.html|robotics telescopes]].+The network management would be advantageous to use the system to control robots [[http://www.ros.org/wiki/|ROS]], or any system designed for control [[http://www.astro.physik.uni-goettingen.de/~hessman/MONET/software.html|robotics telescopes]]. Similar functions are implemented in [[http://en.wikipedia.org/wiki/Simple_Network_Management_Protocol|SNMP]].
  
 ===  Data Processing  === ===  Data Processing  ===
Line 134: Line 177:
   *  fits liberator   *  fits liberator
   *  http://onekilopars.ec/qlfits/index.html   *  http://onekilopars.ec/qlfits/index.html
- 
  
 == Multi parametric data viewers == == Multi parametric data viewers ==
Line 146: Line 188:
   * [[https://nit.felk.cvut.cz/drupal/cs/univerzalniuloziste|Univerzální úložiště nejen pro lékařská data]]   * [[https://nit.felk.cvut.cz/drupal/cs/univerzalniuloziste|Univerzální úložiště nejen pro lékařská data]]
  
-===== Radio Observer =====+=====  Integrated SDR receiver  =====
  
-This is an application designed to operate radio observations: : +The compact MLAB SDR receiver integrated in the box [[cs:unibox|UNIBOX01]]
- +
-  - Meteor observation +
-  - Sun, Jupiter or galactic emissions +
-  - Observations of other objects +
- +
-A key feature of the program is the ability to record time-tagged data, useful for further analysis after obtaining data from multiple stations.  +
- +
-A test version is available at [[https://github.com/MLAB-project/radio-observer|radio-observer]]. It should run on a  [[cs:arm|ARM computer]]. +
- +
-Functional requirements for the resulting application-Observer Radio are written to [[http://www.mlab.cz/redmine/projects/rao01a|Redmine]]. +
- +
-====  Radio telescopes ==== +
- +
-One use case of the radio-observer is its deployment at stations The radio astronomy station [[cs:bras]] and advanced radio astronomy station [[cs:aras]], or the simple parabolic radio telescope . +
- +
-==== Meteor observations ==== +
- +
-Software for meteor observations is engaged in a project [[http://wiki.bolidozor.cz/doku.php?id=cs:about|Bolidozor]].  +
- +
-====  Observing the Sun / Jupiter  ==== +
- +
-This type of observation would need waterfall display with a lower frequency and time resolution, but a large frequency bandwidth (in range of MHz) in order to see the entire band where emissions occur. This could be achieved by retuning the receiver. Tunning period should be slow because Sun or Jupiter emissions is a slow phenomena. +
- +
-The result should be a long FITS file throughout the day, with intensity spots corresponding storms.  +
- +
-==== Detector data outputs ==== +
- +
-  * Obrázkové náhledy ve FITs pro generování náhledů na webu. (Webový prohlizeč by mohl vykreslovat obrázek vykreslovat a obarvovat přímo z FITS podle požadavků uživatele) +
-  * RAW záznamy odrazu meteoru, (jsou důležité pro pozdější analýzu záznamů) +
-  * K velkym zaznamum by mel ve slozce existovat metadatovy textový soubor, společný pro všechny soubory ve složce (každý soubor by měl jeden řádek metadat). Toto opatření má zabránit nutnosti otevírání velkých souborů a procházení jejich hlaviček. Tento soubor by měl být lidsky čitelný. +
- +
----- +
- +
-Návrh nazvu datových souboru //TYP_TIME_NAME.EXTE// Delka celého názvu souboru je omezena na 50 znaků.  +
- +
-  * NAME  je indentifikátor stanice a může mít délku do maximální povolené délky celého názvu. Název by měl obsahovat i verzi konfigurace stanice. Např. //SVAK1-RADIO-1-1// +
-  * TYP  je identifikátor dat +
- +
-Podminkou prispivani do databaze je splneni nasledujiciho regulárního výrazu v názvu souboru:  +
- +
-  ({0-9}{4})([0-9]{2})([0-9]{2})([0-9]{2})([0-9]{2})([0-9]{2})([0-9]{3})([A-Z]{1})?_[A-Z0-9]{1,20}(_([A-Z0-9]{1,4}))?(\.[0-9a-zA-Z]{1,4})? +
-   +
-Příklady:  +
-  20131215115953208_SVAKOV-R2_met.jpg +
-  20131215115954558_SVAKOV-R2_fb.jpg +
-  20131215115955002_SVAKOV-R2_nomet.jpg +
-  +
- +
- +
- +
-===== Visual Observer ===== +
- +
-Pozorovací aplikace učená ke zpracování obrazu na místo obvyklého vizuálního pozorovatele. Umožňuje paralelní zpracování obrazu z více kamer. +
- +
-==== Paralelní astronomická pozorování ==== +
- +
-Příkladem takového pozorování je například fotometrie, nebo sledování asteroidů a komet. +
- +
-==== Video pozorování meteorů ==== +
- +
-Data budou získávána ze stanice [[cs:vmds|VMDS01A]]. Problémem v tomto případě je hledání meteorických stop v obrazových datech. A interpretace stopy meteoru (detekce výbuchů, zákryty oblačností, pohasnutí při průletu atd.) Následně mohou být na stopě měřeny její geometrické vlastnosti. Za účelem výpočtu dráhy.  +
- +
- +
-=== TODO === +
- +
-  * Konstrukce vlastní kamery založené na [[cs:opsa|OPSA01A]] +
-  * Eliminace časovače pro vypínání kamer přes den. (Vypínat pouze v případě ohrožení čipu) +
-  * Časová synchronizace jednotlivých kamer na stanici i mezi jednotlivými stanicemi. +
- +
- +
-===== Meteo observer ===== +
- +
-Obslužný měřící program meteorologické stanice [[cs:aws|AWS]] případně i jiné. Meteorologická data z jednotlivých stanic budou pomocí lokálního klienta databáze ukládána do výše popsaného univerzálního úložiště společně s ostatními daty z jiných projektů. +
- +
- +
- +
- +
- +
-===== Integrovaný SDR přijímač ===== +
- +
-Přijímač integrovaný v krabici [[cs:unibox|UNIBOX01]]+
  
   * [[http://openhpsdr.org/wiki/index.php?title=Ghpsdr3|Ghpsdr3]]   * [[http://openhpsdr.org/wiki/index.php?title=Ghpsdr3|Ghpsdr3]]
Line 236: Line 197:
 ===== Astrozor ===== ===== Astrozor =====
  
-Doplnění identifikace na hvezdarnach: +Adding support for users identification on observatories:
- +
-  -Moznost pouzit identifikacni karty  +
-  -Identifikovat uzivatele na hvezdarne na zaklade informaci o mobilnim telefonu IMEI, IP MAC, Bluetooth MAC (sparovani s bluetooth).  +
-  -Na pozorovacim miste by bylo zarizeni, ktere tyto informace bude ziskavat. +
- +
-Další [[http://www.astrozor.cz/index.php?udalost=3|náměty]] a [[http://www.astrozor.cz/index.php?udalost=2|chyby]] jsou k dispozici přímo na [[http://www.astrozor.cz/index.php?misto=2|Astrozoru]] +
- +
-===== Meteogramy pro astronomy ===== +
- +
-Generování pohledu na oblačnost na obloze z určitého pozorovacího místa. Meteogram v podobě videa by mohl zobrazovat i  časový vývoj oblačnosti. +
- +
-Pro některé případy by stačila jenom koncentrace absolutní vlhkosti. A nebo intenzita pohybu mas vzduchu s různou hustotou, které pak vytváří seeing. +
-Vypocet z modelu NMM nebo WRF.+
  
-Výsledek tohoto výpočtu by se dal použít pro plánování pozorování. +  -The possibility of using an identification card 
 +  -Identify the user to the observatory on the basis of information about mobile phones IMEI, MAC IP, Bluetooth MAC (paired with bluetooth).  
 +  -A device mounted on observing site which would be capable to retrieve identification information.
  
-===== Realizační prostředky =====+Other [[http://www.astrozor.cz/index.php?udalost=3|suggestions]] and [[http://www.astrozor.cz/index.php?udalost=2|bugs]] are recorded directly on [[http://www.astrozor.cz/index.php?misto=2|Astrozor]]
  
-==== Řešitelé ====+=====  Meteograms for astronomers  =====
  
-Projekt je realizován týmem několika studentů ČVUT, VUT a členů Robozor: +Generating view of clouds in the sky from a particular observation point. Meteogram in the form of video could also display the time evolution of cloud.
  
-  * [[https://usermap.cvut.cz/profile/suchmari/|Bc. Marián Šuch]] - Vizualizace a příprava systému distribuce dat +For some cases,absolute concentration of moisture should be satisfactory. A movement or intensity of air masses of different densities, which then creates seeing. Computation should use NMM or WRF model.
-  * <del>Bc. Radka Škvařilová - Vizuální detekce meteorů</del> +
-  * Martin Povišer - Digitalizace signálu a decentralizace úložiště +
-  * [[https://usermap.cvut.cz/profile/milikjan/|Bc. Jan Milík]] - Rádiová detekce meteorů  +
-  * [[https://usermap.cvut.cz/profile/kakonjak/|Bc. Jakub Kákona]] - Organizace a architektura projektu +
  
 +The result of this calculation could be used for observation planning. 
  
 +==== References ====
  
-==== Podpora projektu ====+  * [[https://openmeteoforecast.org/wiki/Main_Page|Open Meteo Forecast]] 
 +  * [[http://flymet.meteopress.cz/|Aeronautical meteograms]] 
 +=====  Implementation resources =====
  
-Projekt byl podpořen z fondu ESA projektem ESA Summer of Code 2013.+==== Investigators ====
  
 +The project is implemented by a team of several students CTU, TU and members of Robozor robotics club: 
  
-Většina hardwarových součástí projektu je pořízena z prostředků firmy [[http://www.ust.cz/|Universal Scientific Technologies s.r.o.]] {{ :logo_ust.png?nolink|Universal Scientific Technologies s.r.o.}}+  * Martin Povišer - Signal digitalization and storage decentralization 
 +  * [[https://usermap.cvut.cz/profile/milikjan/|Bc. Jan Milík]] - radio detection of meteors  
 +  * [[https://usermap.cvut.cz/profile/kakonjak/|Ing. Jakub Kákona]] - Organization and Architecture of the project 
  
 +==== Founding ====
  
 +The project was supported by the ESA program of ESA Summer of Code 2013 and 2014. 
 +Most hardware part of the project is realized from support of [[http://www.ust.cz/|Universal Scientific Technologies s.r.o.]] {{ :logo_ust.png?nolink|Universal Scientific Technologies s.r.o.}}
  
-===== Reference ===== 
  
  
en/programming_tasks.1404502924.txt.gz · Last modified: 2014/07/04 19:42 (external edit)