Spark Summit: Stories about Spark, HPC and Barcelona

November 25th, 2015|

Dear readers, I’m a little bit late posting this information, but I have been up to my eyes with work!. Few weeks ago I attended the European Spark Summit held in Amsterdam. It was a wonderful opportunity to meet and talk with the spark community. The summit started with Matei Zaharia, who talked about how spark usage is evolving and Ion Stoica talking about how Spark is entering into enterprises. There were a lot of interesting presentations. You can download them and see the recorded video presentations on this web site. BSC also gave a presentation where we presented what we are doing with Spark in our research supercomputing center in Barcelona. Below you can find the slides that we presented. Attending the summit also gave us the opportunity [...]

Introducción práctica al Deep Learning con TensorFlow de Google – parte 3

November 24th, 2015|

  Hoy, en esta tercera entrega de la introducción práctica al Deep Learning con TensorFlow de Google (primera entrega, segunda entrega) presentaremos diferentes fuentes de datos para poder empezar a trabajar. 6- ¿Por donde empezar? Con los datos que presentábamos en la segunda entrega el lector se sentirá  abrumado por los cifras que aparecen , siendo probable que aun no tenga datos y se pregunte ¿que datos puedo usar para entrenar a mis redes neuronales si mi empresa aun no ha acumulado suficientes? Por suerte en la comunidad de machine learning, y en el caso que nos ocupa la de Deep Learning, dispone de un gran número de conjuntos de datos de acceso abierto para poder crear modelos a partir de ellos si no se dispone de datos propios para empezar. En el portal DeepLearning.net se puede encontrar una lista de conjuntos de [...]

Introducción práctica al Deep Learning con TensorFlow de Google – parte 2

November 23rd, 2015|

  Hoy, en esta segunda entrega de la introducción práctica al Deep Learning con TensorFlow de Google ( primera entrega ) responderemos a la pregunta de ¿Por qué ahora, si las técnicas de Deep Learning son técnicas basadas en redes neuronales artificiales que ya aparecieron en la literatura científica hace muchísimos años? 3- Mucho tiempo entre nosotros, peró ... Sin duda las técnicas de Deep Learning hasta hace pocos años no han experimentado su gran auge, a pesar que son técnicas basadas en redes neuronales artificiales que ya aparecían en la literatura científica de los años 80 (por ejemplo con el  Neocognitron de Kunihiko Fukushima).  Como dato, mencionar que en 1990,  Yann LeCun  junto con otros investigadores, consiguieron aplicar el algoritmo estándar backpropagation  (algoritmo creado a mediados de los 70) a una deep red neuronal con varias capas con el propósito de reconocer los dígitos de los códigos postales del correo escritos [...]

What we mean by/Qué queremos decir con “High-Performance Big-Data Analytics”?

November 21st, 2015|

    ES    Hoy en día nos encontramos inmersos en un nuevo proceso en el que las "cosas" pasan del mundo físico al mundo digital y son accesibles desde cualquier dispositivo electrónico. El Cloud Computing es lo que hace posible que la tecnología digital penetre en todos los rincones de nuestra economía y la sociedad. Este nuevo escenario no sólo permite a los usuarios conectarse a través de sus dispositivos móviles al mundo digital que se avecina, sino que empieza también a permitir la conexión de cualquier objeto o dispositivo. Esto causará un diluvio de información digital, que se conoce como Big Data. Existen actualmente diferentes frameworks Big Data de código abierto que proporcionan los medios para lidiar con este diluvio de datos. Estos frameworks permiten abstraer [...]

Introducción práctica al Deep Learning con TensorFlow de Google – parte 1

November 20th, 2015|

ACTUALIDAD: Nuevo libro sobre TensorFlow con el título  “HELLO WORLD EN TENSORFLOW para iniciarse en la programación del Deep Learning”, estará disponible para consultar en esta web a partir de su presentación el próximo lunes 1 de febrero. ¡Están todos invitados a la presentación! Versión en papel ya disponible en el portal lulu.com (y próximamente en el de amazon.com) y algunos ejemplares se podrán adquirir en la presentación.     NOTA: La información contenida en la  recopilación de les 8 post sobre TensorFlow  (este era el primero) se ha actualizado y ampliado completamente en este nuevo libro.      La prensa generalista como La Vanguardia o El País que encuentro en el restaurante donde voy a comer, ya llevan tiempo mencionando de manera tímida las palabras Deep Learning. Pero esto no ha hecho más que empezar, y sin duda [...]

Cursos que usan/usarán el libro INTRODUCCIÓN A APACHE SPARK

October 30th, 2015|

A continuación encontrarán una lista de los cursos que están usando/usarán el libro INTRODUCCIÓN A APACHE SPARK para empezar a programar el Big Data editado por la editorial UOC de los autores Mario Macías, Mauro Gómez, Rubèn Tous y Jordi Torres. En cada curso indicamos la persona de contacto por si es de vuestro interés conocer más detalle de las asignaturas o masters en cuestión. Si tienen un curso que usa el libro y quieren que su curso aparezca en esta lista, pueden enviar la información a nuestra cuenta de correo Libro.Spark@gmail.com.   Asignatura Big Data & Data Mining del master MASTEAM (Master's degree in Applied Telecommunications and Engineering Management) en la Castelldefels School of Telecommunications and Aerospace Engineering (EETAC) de la University Politècnica de Catalunya - UPC Barcelona Tech. Responsable de la asignatura: Cristina [...]

Acte de presentació del nou llibre INTRODUCCIÓN A APACHE SPARK para programar el Big Data

October 18th, 2015|

En nom dels autors em complau informar-vos en primícia de la presentació del llibre INTRODUCCIÓN A APACHE SPARK para empezar a programar el Big Data de l'editorial UOC . Es tracta del primer llibre sobre Apache Spark escrit en castellà amb el suport de MATEI ZAHARIA (creador d'Spark, CTO a Databricks i vicepresident d'Apache Spark) que n'ha escrit el pròleg . L'acte serà presentat per ALEIX RUIZ DE VILLA ,director Data Science de La Vanguardia, i comptarà amb la participació de MARC TORRENT, Director del Big Data Center of Excellence Barcelona, entitat organizadora del BIG DATA CONGRESS que es celebra el mateix dia a Barcelona i en el marc on es presenta aquest llibre sobre el Big Data. Us esperem dimarts, 3 de novembre a les 19.00 h., a l'Aula Master de l'edifici A3 [...]

New Big Data position in our research group: Junior Developer in multimedia big data analytics

October 9th, 2015|

Hi, are you interested to join BSC team? BSC-CNS (Barcelona Supercomputing Center – Centro Nacional de Supercomputación) is the National Supercomputing Facility in Spain and manages MareNostrum, one of the most powerful supercomputers in Europe. Currently we are over 400 staff from 41 countries.  To get an idea of what its like to work at the BSC take a look at this video: https://www.youtube.com/watch?v=VRkEii7OzRE Attached you will find information of a new position in our research group autonomic systems and ebusiness platforms at BSC. The candidate will be incorporated at full-time to the "Autonomic Systems and eBusiness Platforms" research line from BSC. Candidate's main task will be oriented toward the development and support for the assigned tasks to the research group in the Computer Vision and Big Data Analytics [...]

Barcelona Spark Meetup: Nueva temporada de actividades otoño-invierno 2015/16

October 4th, 2015|

Este mes de Octubre empezamos nueva temporada del Barcelona Spark Meetup con más de 900 miembros. Gracias a todos por vuestro soporte al meetup!. A continuación podéis ver la lista de actividades programadas para esta nueva temporada otoño-invierno. Empezamos en Octubre con una conferencia excepcional de Chris Fregly del  IBM Spark Technology Center de San Francisco en California. Todo un honor para Barcelona tener a Chris entre nosotros.  Recordar que a finales de Octubre hay el primer Spark Summit en Europa. Si estáis interesados en asistir y sois miembros de nuestro meetup podéis obtener un descuento del 10% usando el código . Para Noviembre hemos organizado un meetup conjuntamente con el Barcelona R Users Group y el Barcelona Machine Learning Study Group para hablar de la combinación de Spark, R y Machine Learning. Para este encuentro tenemos el lujo de disponer de [...]

Marenostrum visit with Supercomputer Architecture students

September 16th, 2015|

Enclosed you will find some pictures of our visit with David Vicente. Thank you David for the explanations. we really enjoyed the visit an it will be very useful for my course. Now, you can see some pictures from last year visit with Sergi Girona. Thank you Sergi for your explanations, we really enjoyed the visit and was an excellent introduction to the course.

Ya está disponible la nueva versión de Apache Spark 1.5

September 11th, 2015|

Apache Spark es actualmente uno de los paquetes de código abierto más importantes en el espacio del Big Data y por el que importantes empresas como IBM, SAP, Oracle o Amazon han apostado, siendo asimismo grandes contribuidores. Hace unos días avanzábamos en este blog que estábamos a las puertas de la nueva versión de Apache Spark.   Pues ya lo tenemos aquí, hace un par de días el equipo de Spark lo anunció. Destaca el hecho que se ha contado con 230 contribuidores  y más de 1,400 commits. Si nos fijamos en el siguiente gráfico podemos ver como Apache Spark continua creciendo en número de contribuidores, la mejor garantía de buena salud de un proyecto open source [1]: En el blog de Databricks podemos encontrar un post de Reynold Xin and Patrick [...]

Our research group at BSC is opening 2 Positions to collaborate with research project

September 9th, 2015|

  If you are interested to join BSC now you have an opportunity in one of the two open positions. POSITION 1:  Junior Developer The candidate will be incorporated at full time to the "Autonomic Systems and eBusiness Platforms" research line from BSC. Candidate's main task will be oriented toward the development and support for the assigned tasks to the research group in the ASCETiC project funded by the European Commission in its 7th Frame Program. Two types of tasks can be differentiated: Tasks supporting project management: the candidate must collaborate in the daily project management. This includes the organization/attendance of/to conference calls, travelling to project meetings, preparation of presentations, deliverables writing, etc. Tasks supporting technical developments: the candidate must collaborate in the design and implementation of [...]