Ya disponible en fase de pruebas la nueva versión Spark 1.5

August 26th, 2015|

Sin duda la velocidad de crucero que lleva Databricks es difícil de seguir. Hace unos días, mientras estábamos dando una conferencia con la gente de Databricks y explicándoles que  teníamos totalmente operativa la versión 1.4 de Spark en el supercomputador Marenostrum, ellos va y hacen pública la versión 1.5 de Spark! Desde esta semana Databricks permite probar en su Cloud Databricks la nueva versión de Spark, la 1.5.0. Si les interesa pueden pedir una cuenta de prueba para 30 días en esta página. La versión oficial será liberada dentro de unas semanas. Si están interesados en saber más detalles les recomiendo la presentación que realizará Patrick Wendell, este jueves a las 7 de la tarde (hora española) que pueden seguir por internet. En esta nueva versión de Spark, con aportaciones de más de 220 contribuidores, podemos encontrar nuevos algoritmos [...]

¿Cómo puede mejorar el “internet de las cosas” metrópolis como Barcelona?

July 30th, 2015|

El Internet de las Cosas ya está aquí y, sin duda, ha venido para quedarse. A pesar de que para mucha gente sea invisible y aún no sea consciente de ello, ya está aquí y nos acompaña a todas partes. Básicamente se trata de tres cosas: conectar miles de millones de objetos (sensores, ropa, coches, relojes, maquinaria, etc.); recoger la información que estos han obtenido; y analizar esta información para extraer conocimiento. Se calcula que 50 mil millones de computadoras, teléfonos inteligentes y sensores de todo tipo estarán conectados a través de internet en 2020, hecho que augura un mercado de miles de millones. Sus aplicaciones son muy diversas, y una de ellas es conseguir unas ciudades más sostenibles. Un objetivo muy de actualidad y que afecta [...]

Big Data Analytics and Bikes: Tour de France

July 19th, 2015|

Are you a fan of le Tour de France?. For the first time in Tour de France history, all riders racing in this year’s event have GPS on their bikes (placed under each rider’s bicycle seat). The data collected from this device includes:  the stage winner’s top speed, average speed and time per kilometer;  the fastest riders up key climbs; the speed of the winner at the finish line; the top speed achieved by a rider on the day; average speed across all riders; among others With this information the global service provider Dimension Data provides real-time information on each of the 200 riders as they travel 3,360 kilometers  in 21 stages. For instance, do you now that for the first 11 stages we know that (source): The highest speed [...]

Learning Bayesian Networks and Neural Networks in Madrid

July 8th, 2015|

Due research in my group requires incorporate knowledge of Machine Learning, for some time I have been getting in this discipline thanks to Ricard Gavaldà, among others colleagues. Right now I was looking for a more specific training course on Neural Networks and Bayesian Networks. Thanks to Jesús Cerquides, co-advisor of our PhD Student Joan Capdevila, I discovered the “Advanced Statistics and Data Mining Summer School” and I decided take 2 courses. This summer school is organized by the Artificial Intelligence Department  of the School of Computer Science at Univ. Politécnica de Madrid (This year they celebrate its 10th edition). I would like to thank the organisers for this great and useful summer school. I was impressed by the lecturers and the practical parts in both courses. I learned a [...]

“Big Data Analytics and Apache Spark”

July 4th, 2015|

Enclosed you will find the slides of my conference "Big Data Analytics and Apache Spark" held at UPC on June 15th. This conference is one of the  1st anniversary  events of our of Barcelona Spark Meetup!. The presentation was already distributed to the attendees but here I leave a copy for those who could not come and are interested in its content  (We are already over 800 members!). I hope you find the slides useful.  (PDF Link) Two pictures of the event: (thank you  Nacho!):  

Scholarships for MSc students on the MIRI MSc Program in Barcelona-UPC

June 30th, 2015|

Hi, are you interested to enrol in the Master in Innovation and Research in Informatics and take my course Supercomputers Architecture (specialization High Performance Computing)? BSC, under the program Severo Ochoa is offering 4 scholarship grants for the 2 academic years of the program. Follow the link below to the application form. Hope to see you next september, we will talk about Supercomputers and Big Data! Since 2013, in the context of the Severo Ochoa Program, Barcelona Supercomputing Center (BSC-CNS) is offering 4 scholarship grants for MSc students on the MIRI MSc Program in Facultat d’Informàtica de Barcelona-UPC who have chosen to study the High Performance Computing Specialization. The duration of each scholarship is for the 2 academic years of the program. This year´s scholarships are  for the MIRI HPC MSc starting September [...]

Apache Spark on Amazon EMR

June 28th, 2015|

Good news for Sparkers, Amazon has pre-installed Spark and made it an easy-to-order option on its menu of computing services: “Although many customers have previously been installing Spark using custom scripts, you can now launch an Amazon EMR cluster with Spark directly from the Amazon EMR Console, CLI, or API,”. It was Jon Fritz (Amazon’s senior product manager) who writes it in the AWS Official Blog  The same blog mention few examples of customers that are using Spark on Amazon: The Washington Post  to power a recommendation engine to show additional content to their readers, Yelp  a consumer application that connects users with local businesses or Krux to process log data stored in Amazon S3. The post also includes a quick example in scala to show how you can start processing data using [...]

Conferència: Present i futur del Big Data

June 13th, 2015|

Gràcies a tots i a totes per l'acollida de la conferència del proper dilluns dins dels actes del 1r aniversari del Barcelona Spark Meetup. Hem canviat de sala per donar més cabuda i ara la conferència serà a la sala d'Actes del Vèrtex ( UPC - Campus Nord - Edifici Vèrtex, Planta S-1). Plaça Eusebi Güell, 6 , Barcelona (map) dilluns 15 de juny de 18:00 a 19:00. Parlarem del Big Data i les seves implicacions, fent una referencia especial a la technologia Apache Spark, que ha vist una ràpida adopció per les empreses d'una àmplia gamma de sectors. Intentarem explicar el perquè de tot plegat donant una visió introductòria des d'un punt de vista tècnic debatent alhora les implicacions de l'aparició d'aquesta nova tecnologia. La presentació serà en català però les [...]

Gràcies a tots i a totes!

June 5th, 2015|

Aquest any he viscut la (13a edició de la) Festibity com quelcom més que la festa de les tecnologies i la informació. Ha estat al camp del Barça, un camp qualsevol que no té res d'especial, però que estava farcit de grans amics i amigues, que varen tenir el puntàs de fer-me pujar a l'escenari, juntament amb Siscu Vallverdú,  Felip Puig, Núria Castell, Josep Sanjuàs, Pere Barlet, Albert Pallejà, Albert Herrero, Antoni Vives, Peyu, i etc etc (foto 1). I a sobre em varen deixar agafar el micro amb l'excusa de concedir-me el guardó "menció FIB"! (foto 2). Impressionant la imatge de veure la graderia plena de cares conegudes! Malgrat sembli impossible (els qui em coneixen saben que sóc un desvergonyit) vaig quedar emmudit pels nervis del directe en veure la graderia! Com ja vaig dir [...]

Conferència: Introducció a la tecnologia Apache Spark

May 30th, 2015|

Dins dels actes del 1r aniversari del Barcelona Spark meetup s'ha volgut fer alguns actes en format de portes obertes. En aquest sentit s'ha programat aquesta conferència oberta a un públic tècnic però encara no iniciat en el món de l'Apache Spark en la que parlarem aquesta tecnologia emergent en el món del Big Data.  Apache Spark es un potent motor open source de processat i anàlisi de dades  desenvolupat originalment  a la University de Berkeley  en el 2009 i que al 2013 ja es va fundar una empresa al voltant d'aquest projecte, l'empresa Databricks. Des del seu llançament Spark ha vist una ràpida adopció per les empreses d'una àmplia gamma d'indústries. En aquests moments potències d'Internet com Yahoo o Baidu ja han desplegat Spark. El mateix hem fet al BSC sobre [...]

1r aniversario del Barcelona Spark Meetup

May 30th, 2015|

Hace ahora un año que pusimos en marcha el Barcelona Spark Meetup, un grupo alrededor de Apache Spark, una de las tecnologías Big Data que más ha crecido últimamente. Junto al BSC, dan apoyo a esta iniciativa la UPC, la FIB, FIB Alumni,  itnig y COEINF. El grupo cuenta  ya con más de 600 miembros de perfiles diversos: ingenieros de datos, profesores, estudiantes, investigadores, científicos de datos y profesionales de machine learning e inteligencia artificial. Con motivo de este primer aniversario,  desde Barcelona Spark Meetup se han organizado 4 actividades alrededor de Apache Spark: Barcelona Apache Spark Workshop 2015 (en inglés): 2, 5, 8, & 12 junio. UPC Campus Nord. Los estudiantes del Máster Internacional de Innovación e Investigación de la FIB han preparado unas presentaciones, en total 8 horas, que ofrecen una visión completa de [...]