Big Data Sensing & Procurement

The course introduces the design, implementation and analysis of Information Retrieval systems that are efficient and effective in managing and searching for information stored in the form of collections of texts, possibly unstructured (e.g. Web), and labeled graphs (e.g. Knowledge graph). The theoretical lessons will describe the main components of a modern Information Retrieval system, more exactly of a search engine, such as: crawler, text analyzer, storage and compressed index, query solver, text annotator (based on Knowledge graph and Entity linkers), and rankers.

The module presents the characteristics and peculiarities of "big data", highlighting through specific use cases the growing importance of the ability to extract significant information and valuable insights from this enormous amount of heterogeneous data (for example data from sensors, purchase data and consumption, data from social media and social networks, open data, etc.). The participatory methods of data collection through crowdsourcing and crowdsensing systems are also discussed, showing popular examples of application of these concepts.

Il modulo prevede la descrizione della struttura di un motore di ricerca e di strumenti di Text Mining, analizzando le loro caratteristiche e limiti dal punto di vista computazionale, dei parametri precision/recall/F1, e di espressività delle interrogazioni supportate. Il modulo prevede anche una parte hands-on in cui si descriveranno e utilizzeranno alcuni ben noti strumenti open-source Python per il crawling e analisi di pagine web, l’annotazione semantica di testi (TagMe), e l’indicizzazione di collezioni documentali (ElasticSearch).

Il modulo presenta le tecniche di acquisizione di big data dalle principali sorgenti ad oggi disponibili, incluso dati telefonici, dati di navigazione satellitare, dati di acquisto e di consumo e dati da social media e social networks, open data e dati amministrativi, dati da sensori personali e ambientali. Vengono anche discusse le modalità partecipative di raccolta dei  dati attraverso sistemi di crowdsourcing and crowdsensing come i giochi con scopo e le campagne virali.

Il modulo prevede l'insegnamento dei moduli software che costituiscono un moderno motore di ricerca, e di analisi delle prestazioni e dei limiti computazionali delle soluzioni algoritmiche correntemente adottate per ciascuno di essi. Fondamenti pratici e teorici per l’organizzazione e l’analisi dei sistemi di IR.

Il modulo prevede l'insegnamento dei moduli software che costituiscono un moderno motore di ricerca, e di analisi delle prestazioni e dei limiti computazionali delle soluzioni algoritmiche correntemente adottate per ciascuno di essi. Fondamenti pratici e teorici per l’organizzazione e l’analisi dei sistemi di IR.

Il modulo presenta le tecniche di acquisizione di big data dalle principali sorgenti ad oggi disponibili, incluso dati telefonici, dati di navigazione satellitare, dati di acquisto e di consumo e dati da social media e social networks, open data e dati amministrativi, dati da sensori personali e ambientali. Vengono anche discusse le modalità partecipative di raccolta dei  dati attraverso sistemi di crowdsourcing and crowdsensing come i giochi con scopo e le campagne virali.

Il modulo presenta le tecniche di acquisizione di big data dalle principali sorgenti ad oggi disponibili, incluso dati telefonici, dati di navigazione satellitare, dati di acquisto e di consumo e dati da social media e social networks, open data e dati amministrativi, dati da sensori personali e ambientali. Vengono anche discusse le modalità partecipative di raccolta dei  dati attraverso sistemi di crowdsourcing and crowdsensing come i giochi con scopo e le campagne virali.

Il modulo prevede l'insegnamento dei moduli software che costituiscono un moderno motore di ricerca, e di analisi delle prestazioni e dei limiti computazionali delle soluzioni algoritmiche correntemente adottate per ciascuno di essi. Fondamenti pratici e teorici per l’organizzazione e l’analisi dei sistemi di IR.

Il modulo prevede l'insegnamento dei moduli software che costituiscono un moderno motore di ricerca, e di analisi delle prestazioni e dei limiti computazionali delle soluzioni algoritmiche correntemente adottate per ciascuno di essi. Fondamenti pratici e teorici per l’organizzazione e l’analisi dei sistemi di IR.