Facebook Twitter Gplus LinkedIn RSS

Ya disponible en fase de pruebas la nueva versión Spark 1.5

Published on 26/08/2015

BSCandDatabricksSin duda la velocidad de crucero que lleva Databricks es difícil de seguir. Hace unos días, mientras estábamos dando una conferencia con la gente de Databricks y explicándoles que  teníamos totalmente operativa la versión 1.4 de Spark en el supercomputador Marenostrum, ellos va y hacen pública la versión 1.5 de Spark!

Desde esta semana Databricks permite probar en su Cloud Databricks la nueva versión de Spark, la 1.5.0. Si les interesa pueden pedir una cuenta de prueba para 30 días en esta página. La versión oficial será liberada dentro de unas semanas. Si están interesados en saber más detalles les recomiendo la presentación que realizará Patrick Wendell, este jueves a las 7 de la tarde (hora española) que pueden seguir por internet.

En esta nueva versión de Spark, con aportaciones de más de 220 contribuidores, podemos encontrar nuevos algoritmos de aprendizaje en MLlib o un nuevo control dinámico de llegada de los datos a Spark Streaming (muy importante para permitir a las aplicaciones streaming adaptarse a la variación imprevisible en la carga del procesado) entre muchas otras cosas.

Pero una parte importante de los esfuerzos se han concentrado en mejorar el rendimiento de Spark. Sin duda este es uno de los temas clave para los usuarios de Spark. Concretamente en esta versión se presenta por primera vez un nuevo backend de ejecución como primera fase del proyecto Tungsten, que representa el mayor cambio hasta el momento del backend de Spark. Sobretodo se centra en mejorar la eficiencia de la CPU y la memoria. Podríamos resumir los cambios propuestos en estas tres cosas:

  • Hacer un aprovechamiento de la semántica de aplicación para la gestión de la memoria explícita y eliminar el overhead que representa el modelo de objetos de la JVM y el Garbage Collection.
  • Hacer la computación consciente de la cache con algoritmos y estructuras de datos para explotar jerarquía de memoria (L1/ L2/L3 CPU caches).
  • Hacer una generación de código que permita explotar los nuevos compiladores y CPUs disponibles actualmente.

Es interesante ver como cada vez queda más claro que la complejidad de las aplicaciones big data analytics recae en el cálculo y no tanto en los datos. Databricks argumenta que en los workloads de Spark que ellos manejan se constata que el cuello de botella se encuentra en la CPU y la memoria en lugar de las entrada/salidas o la comunicación por la red del cluster. Según ellos que el cuello de botella sea cada vez más la CPU se debe entre otras razones a que las configuraciones de hardware actuales ofrecen cada vez mayor ancho de banda agregado, tales como enlaces de 10 Gbps en redes y gran ancho de banda de SSD o arrays de HDD para el almacenamiento. Si están interesados en más detalle del proyecto Tungsten pueden visitar esta página.  Si prueban la nueva versión de Spark 1.5 en Databricks ya me contarán.

(*) Matei, el padre de la criatura!

 

 

 
 Share on Facebook Share on Twitter Share on Reddit Share on LinkedIn

¿Cómo puede mejorar el “internet de las cosas” metrópolis como Barcelona?

Published on 30/07/2015

El Internet de las Cosas ya está aquí y, sin duda, ha venido para quedarse. A pesar de que para mucha gente sea invisible y aún no sea consciente de ello, ya está aquí y nos acompaña a todas partes. Básicamente se trata de tres cosas: conectar miles de millones de objetos (sensores, ropa, coches, relojes, maquinaria, etc.); recoger la información que estos han obtenido; y analizar esta información para extraer conocimiento. Se calcula que 50 mil millones de computadoras, teléfonos inteligentes y sensores de todo tipo estarán conectados a través de internet en 2020, hecho que augura un mercado de miles de millones.

barcelonacontanimancionSus aplicaciones son muy diversas, y una de ellas es conseguir unas ciudades más sostenibles. Un objetivo muy de actualidad y que afecta a ciudades como Barcelona. Por ejemplo, esta semana podemos leer en varios periódicos que “La contaminación en Barcelona sigue rebasando los límites de la UE”. Sin duda, uno de los principales problemas de muchas ciudades europeas son los altos niveles de contaminación del aire, en gran medida, a causa del tráfico rodado.

En la actualidad ya existen soluciones proporcionadas por el Internet de las Cosas que pueden ayudar a paliar este problema. El primer eslabón es medir los niveles de polución. En este sentido existen en el mercado varias soluciones robustas y ya contrastada. Por poner un ejemplo, podemos encontrar placas bases que permiten medir de manera muy fiable los niveles de partículas en el aire, los niveles de monóxido de carbono, los niveles de ozono, los niveles de nitrógeno, la temperatura, la humedad relativa, etc.

A partir de aquí podemos encontrar un sinfín de aplicaciones. Si combinamos las medidas de la polución existente en diferentes puntos de la ciudad con los datos obtenidos por sensores colocados en vehículos, podemos aplicar modelos predictivos para realizar una gestión sostenible del tráfico. Entre otros, un caso de éxito es el sistema de transporte público de Helsinky que ha reducido el consumo de combustible y mejorado los trayectos gracias a esta aproximación al problema.

Otro caso de mejora ambiental puede ser la gestión eficaz de los aparcamientos. Está estudiado que la búsqueda de aparcamiento provoca una mayor congestión en las calles y un aumento innecesario del consumo de combustible. En este caso tenemos soluciones como las que la empresa barcelonesa URBIOTICA ha aplicado a la ciudad de Niza, que permite informar al ciudadano a tiempo real sobre la disponibilidad de parking.

Lo más interesante es que el Internet de las Cosas permite no sólo predecir comportamientos sino incluso cambiarlos. El caso del sistema de aparcamiento de Niza mencionado anteriormente aplica una tarifa dinámica en base a la disponibilidad de aparcamiento, situación del tráfico o los niveles de contaminación. Esta adaptación de precios permite influir en la densidad del tráfico, previniendo de esta manera congestiones y reduciendo la contaminación dentro de la ciudad.

Hay un sinfín de aplicaciones del Internet de las Cosas y aquí solo hemos mencionado una diminuta parte de sus posibles aplicaciones. Si quieren saber más tienen la oportunidad de ponerse al día en el “Internet of Things Solutions World Congress”, que se celebrará en Barcelona el próximo septiembre. No lo duden, el Internet de las Cosas va a reinventar la mayoría de sectores en sus modelos de negocio y sus procesos. Yo lo tengo claro, el Internet de las Cosas es un tren en marcha al que hay que subirse si uno no quiere acabar apeado.

Nota de autor: La entrada de hoy a este blog es una práctica del seminario “Cómo escribir claro” de la UOC impartido por el profesor Marc Oriol Crespí al cual me he matriculado este verano: sin duda, un verdadero placer que recomiendo a todos aquellos que les apetezca mejorar su escritura de una manera amena y refrescante.

imagen: Foto de CARLES RIBAS en que la contaminación atmosférica cubre la ciudad de Barcelona (http://ccaa.elpais.com/ccaa/2015/07/22/catalunya/1437559339_543208.html)

 
 Share on Facebook Share on Twitter Share on Reddit Share on LinkedIn

Big Data Analytics and Bikes: Tour de France

Published on 19/07/2015

Screen Shot 2015-07-19 at 18.00.35Are you a fan of le Tour de France?. For the first time in Tour de France history, all riders racing in this year’s event have GPS on their bikes (placed under each rider’s bicycle seat). The data collected from this device includes:  the stage winner’s top speed, average speed and time per kilometer;  the fastest riders up key climbs; the speed of the winner at the finish line; the top speed achieved by a rider on the day; average speed across all riders; among others

With this information the global service provider Dimension Data provides real-time information on each of the 200 riders as they travel 3,360 kilometers  in 21 stages. For instance, do you now that for the first 11 stages we know that (source):

  • The highest speed in the first 11 stages was 109.08 kilometers per hour, accomplished by Lars Boom (AST), during stage 3, at the 144 km mark. This was followed by 93.38 km/h by Alejando Valverde (MOV) at the 149 km mark on July 15 at stage 11, and 78.48 km/h by André Greipel (LTS) on stage 5 at 89.4 km.
  • The highest average speed achieved by a stage winner was 55.45km/h (Rohan Dennis on stage 1).
  • The average speed across all riders for the first 11 stages was 42.46 km/h.
  • The average speed of the riders during the big spill in last Wednesday’s third stage was 42.03 km/h.
  • The analysis of riders’ speed through a Feed Zone shows that on average, riders slow down 20 km/h when picking up their bags.

According Dimension Data Throughout the race are expected to generate 42,000 geospatial points and 75 million GPS readings. The live-tracking website supports 17 million viewers and 2,000 page requests per second; Dimension Data’s cloud platform, spread over five continents.  They also reported that at its busiest, the beta live tracking site supports more than 25,000 unique visitors simultaneously.

In addition to  allow the millions of cycling fans around the world follow the progress of the Tour de France via the BETA live tracking site  (allows users to track their favorite riders and a daily wrap-up), the system will also help the riders and teams. For instance, Christian Prudhomme (Tour de France director) , “it will enable a better analysis of the race, highlight the race tactics, and also show how essential in this sport is each rider’s role within his team”. He also said  that “It will now be possible to understand how to prepare for a sprint finish in the last few kilometres of a stage, feel the wind’s impact on the rider’s speed, and so much more. Our efforts combined with those of Dimension Data will permanently change the way we follow cycling and the Tour de France.”

Fantastic, right?

 
 Share on Facebook Share on Twitter Share on Reddit Share on LinkedIn

ESADE International Summer Program 2015: Cloud Computing & Future

Published on 19/07/2015

Screen Shot 2015-07-19 at 12.26.42Enclosed you will find my presentation about Cloud Computing & Future in the “ESADE International Summer Program” held last week in Sant Cugat. I hope this presentation will may be useful to you.


 
 Share on Facebook Share on Twitter Share on Reddit Share on LinkedIn

Learning Bayesian Networks and Neural Networks in Madrid

Published on 08/07/2015

Due research in my group requires incorporate knowledge of Machine Learning, for some time I have been getting in this discipline thanks to Ricard Gavaldà, among others colleagues. Right now I was looking for a more specific training course on Neural Networks and Bayesian Networks. Thanks to Jesús Cerquides, co-advisor of our PhD Student Joan Capdevila, I discovered the “Advanced Statistics and Data Mining Summer School” and I decided take 2 courses. This summer school is organized by the Artificial Intelligence Department  of the School of Computer Science at Univ. Politécnica de Madrid (This year they celebrate its 10th edition).

I would like to thank the organisers for this great and useful summer school. I was impressed by the lecturers and the practical parts in both courses. I learned a lot and I am sure that my newly acquired knowledge will come to great use in my work here in Barcelona. It also was an excellent opportunity to meet leading researchers in these areas working in Madrid and we talked about future collaborations.

I would highly recommend this summer school if you have interest in this area of knowledge.

Enclosed a picture with the students and some teachers during the first week. Thank you everybody, I had an excellent experience!

 Foto.Madrid.July.2015
 
 Share on Facebook Share on Twitter Share on Reddit Share on LinkedIn

“Big Data Analytics and Apache Spark”

Published on 04/07/2015

Enclosed you will find the slides of my conference “Big Data Analytics and Apache Spark” held at UPC on June 15th. This conference is one of the  1st anniversary  events of our of Barcelona Spark Meetup!. The presentation was already distributed to the attendees but here I leave a copy for those who could not come and are interested in its content  (We are already over 800 members!). I hope you find the slides useful.


 (PDF Link)

Two pictures of the event: (thank you  Nacho!):

meetupSpark1

meetupSpark2

 

 
 Share on Facebook Share on Twitter Share on Reddit Share on LinkedIn

Scholarships for MSc students on the MIRI MSc Program in Barcelona-UPC

Published on 30/06/2015

Screen Shot 2015-06-30 at 23.05.52Hi, are you interested to enrol in the Master in Innovation and Research in Informatics and take my course Supercomputers Architecture (specialization High Performance Computing)? BSC, under the program Severo Ochoa is offering 4 scholarship grants for the 2 academic years of the program. Follow the link below to the application form. Hope to see you next september, we will talk about Supercomputers and Big Data!

Since 2013, in the context of the Severo Ochoa Program, Barcelona Supercomputing Center (BSC-CNS) is offering 4 scholarship grants for MSc students on the MIRI MSc Program in Facultat d’Informàtica de Barcelona-UPC who have chosen to study the High Performance Computing Specialization.

The duration of each scholarship is for the 2 academic years of the program. This year´s scholarships are  for the MIRI HPC MSc starting September 2015. Follow the link below to the application form.

We encourage applications from highly motivated students in Engineering and Computer Science with excellent qualifications. Successful candidates will have the opportunity to join research groups with top-level scientists and will carry out their MSc thesis research in cutting-edge areas of Supercomputing, HPC or the application areas of Life Sciences, Earth Sciences and Computer Applications in Sciences and Engineering.

Available Scholarships:

2 scholarships contributing to fees: 3200 euros/per annum each

1 scholarship contributing to fees and accommodation: 6000 euros/per annum

1 scholarship for international (non Spanish citizen) contributing to fees, travelling and accommodation: 12000 euros/per annum

Requirements:

The program is aimed at students (Spanish nationals, EU and non EU citizens) who have completed by July 2015 one of the following options:

a) the studies that lead to an official Spanish, or European higher Education Area, 1st cycle university degree (BSc) in Computer Sciences, Electronic Engineering or related areas and that have 180 credits (ECTS) of an official university degree.

b) a degree from a non-European Higher Education Area university that gives access to MSc studies in Computer Sciences, Electronic Engineering or related areas.

To be eligible for the scholarship grant the applicants have to be admitted also to the MIRI MSc program, FIB-UPC and the High Performance Computing Specialization.

This  application call closes at 23:59 on 06.07.2015

Further information here

Application Form Link

 
 Share on Facebook Share on Twitter Share on Reddit Share on LinkedIn

Apache Spark on Amazon EMR

Published on 28/06/2015

Screen Shot 2015-06-28 at 18.06.48Good news for Sparkers, Amazon has pre-installed Spark and made it an easy-to-order option on its menu of computing services: “Although many customers have previously been installing Spark using custom scripts, you can now launch an Amazon EMR cluster with Spark directly from the Amazon EMR Console, CLI, or API,”. It was Jon Fritz (Amazon’s senior product manager) who writes it in the AWS Official Blog  The same blog mention few examples of customers that are using Spark on Amazon: The Washington Post  to power a recommendation engine to show additional content to their readers, Yelp  a consumer application that connects users with local businesses or Krux to process log data stored in Amazon S3. The post also includes a quick example in scala to show how you can start processing data using Spark on Amazon EMR.

My opinion? It’s time to move from Hadoop to Spark!

 
 Share on Facebook Share on Twitter Share on Reddit Share on LinkedIn

Conferència: Present i futur del Big Data

Published on 13/06/2015

Screen Shot 2015-06-13 at 16.55.03Gràcies a tots i a totes per l’acollida de la conferència del proper dilluns dins dels actes del 1r aniversari del Barcelona Spark Meetup. Hem canviat de sala per donar més cabuda i ara la conferència serà a la sala d’Actes del Vèrtex ( UPC – Campus Nord – Edifici Vèrtex, Planta S-1)Plaça Eusebi Güell, 6 , Barcelona (map) dilluns 15 de juny de 18:00 a 19:00.

Parlarem del Big Data i les seves implicacions, fent una referencia especial a la technologia Apache Spark, que ha vist una ràpida adopció per les empreses d’una àmplia gamma de sectors. Intentarem explicar el perquè de tot plegat donant una visió introductòria des d’un punt de vista tècnic debatent alhora les implicacions de l’aparició d’aquesta nova tecnologia.

La presentació serà en català però les transparències de la presentació seran en anglès, i les distribuiran just a l’acabar la conferència a les persones que estiguin registrats en aquesta esdeveniment  a través de la pàgina del meetup.

REGISTRE ENCARA OBERT.  Imprescindible registrar-se en  la pàgina de l’event a http://www.meetup.com/es/Spark-Barcelona/events/222865010 , per estar a la llista de registre de l’entrada de l’edifici Vertex i també per poder rebre les transparència a través del grup del meetup si es que al final no s’ha pogut assistir a la conferència.

 
 Share on Facebook Share on Twitter Share on Reddit Share on LinkedIn

Gràcies a tots i a totes!

Published on 05/06/2015

Aquest any he viscut la (13a edició de la) Festibity com quelcom més que la festa de les tecnologies i la informació. Ha estat al camp del Barça, un camp qualsevol que no té res d’especial, però que estava farcit de grans amics i amigues, que varen tenir el puntàs de fer-me pujar a l’escenari, juntament amb Siscu Vallverdú,  Felip Puig, Núria Castell, Josep Sanjuàs, Pere Barlet, Albert Pallejà, Albert Herrero, Antoni Vives, Peyu, i etc etc (foto 1).

I a sobre em varen deixar agafar el micro amb l’excusa de concedir-me el guardó “menció FIB”! (foto 2). Impressionant la imatge de veure la graderia plena de cares conegudes! Malgrat sembli impossible (els qui em coneixen saben que sóc un desvergonyit) vaig quedar emmudit pels nervis del directe en veure la graderia!

Com ja vaig dir durant el meu minut de glòria amb el micro a la ma (foto 3), el reconeixement se’l mereix, i per això els hi vaig dedicar, al col.lectiu de persones que treballen a la FIB – Facultat d’Informàtica de Barcelona i que mantenen viva aquesta institució en moments una mica difícils a nivell de recursos. Persones anònimes sovint que permeten que jo pugui continuar disfrutant any rere any donant classes. Ensenyar és una de les meves passions! I ensenyar a estudiants brillants d’arreu del món que venen a la FIB, un luxe!

I per acabar, moltes gràcies a tots i a totes que m’heu anat felicitant durant aquests dies. Espero no defraudar expectatives! :-)

Adjunto algunos fotos que m’han fet arribar:

foto.festibity.2foto.festibity.1IMG_0666 1

IMG_0115IMG_0120Crédits de les fotos: festibity. com

 

 

 
 Share on Facebook Share on Twitter Share on Reddit Share on LinkedIn

Conferència: Introducció a la tecnologia Apache Spark

Published on 30/05/2015

Screen Shot 2015-05-30 at 15.53.10Dins dels actes del 1r aniversari del Barcelona Spark meetup s’ha volgut fer alguns actes en format de portes obertes. En aquest sentit s’ha programat aquesta conferència oberta a un públic tècnic però encara no iniciat en el món de l’Apache Spark en la que parlarem aquesta tecnologia emergent en el món del Big Data.  Apache Spark es un potent motor open source de processat i anàlisi de dades  desenvolupat originalment  a la University de Berkeley  en el 2009 i que al 2013 ja es va fundar una empresa al voltant d’aquest projecte, l’empresa Databricks.

Des del seu llançament Spark ha vist una ràpida adopció per les empreses d’una àmplia gamma d’indústries. En aquests moments potències d’Internet com Yahoo o Baidu ja han desplegat Spark. El mateix hem fet al BSC sobre el nostre supercomputador Marenostrum. Spark s’ha convertit ràpidament en la comunitat de codi obert Apache més gran dels món Big Data, amb més de 500 col·laboradors de més de 200 organitzacions (essent l’empresa Databricks qui té cura del full de ruta).

En aquesta xerrada s’oferirà una introducció a Spark i tot el seu ecosistema d’aplicacions. La visió serà introductòria des d’un punt de vista tècnic i s’intentarà debatre les implicacions de l’aparició d’aquesta nova tecnologia per al sector de les TIC.  No es requereixen coneixements previs d’ Spark però si que es suposa un background tècnic a l’audiència.

Us hi esperem a tots!

Ponent: Jordi Torres, catedràtic de la UPC i investigador al BSC.

Dia: 15 de juny de 2015

Hora: 18:00 – 19:30

Lloc: Aula Master, edifici A3, Campus Nord UPC. c\ Jordi Girona 1-3, Barcelona (mapa)

Imprescindible registrar-se en  la pàgina de l’event a http://www.meetup.com/es/Spark-Barcelona/events/222865010 . Places limitades. Si en el moment de registrar-se no queden places poden apuntar-se a la “waiting list” i intentarem trobar una sala més gran si calgués. 

 
 Share on Facebook Share on Twitter Share on Reddit Share on LinkedIn

1r aniversario del Barcelona Spark Meetup

Published on 30/05/2015

Screen Shot 2015-05-30 at 15.53.10

Hace ahora un año que pusimos en marcha el Barcelona Spark Meetup, un grupo alrededor de Apache Spark, una de las tecnologías Big Data que más ha crecido últimamente. Junto al BSC, dan apoyo a esta iniciativa la UPC, la FIBFIB Alumni,  itnig y COEINF. El grupo cuenta  ya con más de 600 miembros de perfiles diversos: ingenieros de datos, profesores, estudiantes, investigadores, científicos de datos y profesionales de machine learning e inteligencia artificial. Con motivo de este primer aniversario,  desde Barcelona Spark Meetup se han organizado 4 actividades alrededor de Apache Spark:

  • Barcelona Apache Spark Workshop 2015 (en inglés): 2, 5, 8, & 12 junio. UPC Campus Nord. Los estudiantes del Máster Internacional de Innovación e Investigación de la FIB han preparado unas presentaciones, en total 8 horas, que ofrecen una visión completa de la situación actual de la tecnología Spark.Más info aquí
  • Tastet práctico de Apache Spark y Machine Learning (en castellano): 10 junio. UPC Campus Nord. Sesión práctica en la que cada uno en su portátil podrá experimentar los primeros pasos en Spark y se hará un caso práctico de manejar, procesar y analizar datos de twitter. Más info aquí
  • Introducción al Big Data práctico con el ecosistema Apache Spark (en catalán): 15 junio. UPC Campus Nord. Sesión en formato de clase en la que se ofrecerá una introducción a Spark y todo su ecosistema de aplicaciones. La visión será muy introductoria y se contextualizará en el fenómeno de Big Data en que nos encontramos inmersos. Más info aquí
  • Visita a MareNostrum (en castellano/catalán): 17 junio. Torre Girona. Visita al supercomputador MareNostrum y en la que además se explicarán los trabajos realizados en el BSC para desplegar Spark en el supercomputador. Más info aquí

Si les apetece alguna de estas actividades están invitados y solo tienen que inscribirse a través de nuestra página web http://www.meetup.com/Spark-Barcelona/

A continuación les adjunto la entrevista que BSC nos realizaron para la nota de prensa:

  • ¿Cómo surgió la idea de constituir el grupo Barcelona Spark Meetup? 

Se formó a raíz de dos hechos básicos: por un lado a principios del año pasado descubrí el fantástico mundo de los meetups gracias a que miembros de nuestro grupo de investigación estaban muy activos en meetups como el de Scala Developers Barcelona (Jordi Aranda) o Big Data Operations On Performance (Nico Poggi).  Por otro lado, como grupo de investigación que debe estar atento a lo que se “cuece” en la investigación a nivel mundial, hacía tiempo que estábamos estudiando artículos de investigación que derivaban de los trabajos de investigación del estudiante de Berkeley (Universidad de California) Matei Zaharia, el padre de Spark.

  • ¿Cuál es vuestro objetivo? 

Junto a, los entonces investigadores del BSC, Jordi Nin y Jordi Aranda nos pareció que con poco esfuerzo podríamos contribuir a aproximar este conocimiento a nuestro entorno. Estábamos convencidos de que podría ser de valor para muchas empresas que en aquel momento empezaban a pelearse con Hadoop para paralelizar sus tareas, que conocieran cuanto antes Spark. Ya por aquel entonces Apache Spark era uno de los proyectos más activos del mundo Big Data, con más contribuyentes que el mismo Apache Hadoop, que hasta aquel momento había sido la gran estrella.

  • Después de un año, ¿qué valoración hacéis? 

Que fue un acierto sin ninguna duda, como lo demuestra que en estos momentos seamos más de 600 miembros, uno de los meetups de Spark más numerosos de los que existen en el mundo. Además, personalmente creo que es fantástico este punto de encuentro que se ha formado con antiguos alumnos de la FIB. Pero lo más gratificante son los mensajes que recibimos de agradecimiento por haber creado esta ventana a la vanguardia de la tecnología que permite a mucha gente estar al día y, a su vez, conocer a otras personas que están en su misma sintonía.

  • ¿Qué papel tiene el BSC en esta iniciativa?

El BSC tiene la suerte de estar expuesto a los últimos avances en el campo del Big Data y, por tanto, juega un papel primordial a la hora de saber qué se “cuece” en el mundo antes de que llegue al mercado como producto. Por ello el BSC tiene una posición única para contribuir a orientar correctamente esta energía que hay alrededor de Spark en Barcelona y su área de influencia. Además, no olvidemos que la mayoría de los que estamos detrás del meetup, además de investigadores en el BSC, somos también profesores de la universidad UPC y está en nuestros genes la vocación de transmitir el conocimiento.

  • ¿Qué se hace en el BSC en cuanto a Spark?

Spark es un entorno de ejecución entre muchos en el mundo de la investigación y por tanto Spark en el BSC es un entorno más. El centro realiza investigación en multitud de problemas y además recordemos que el BSC tiene sus propias propuestas de entornos y modelos de programación Big Data, con lo cual no diría que tenga un papel predominante. Pero está claro que para ciertos tipos de problemas Big Data, Spark es una buena propuesta de partida y por ello analizamos su rendimiento en plataformas como el MareNostrum entre muchas otras, además de colaborar con la empresa Databricks, que es la que se ha creado alrededor de Spark.

  • Durante el mes de junio habéis programado diversas actividades alrededor de Apache Spark. ¿En qué consisten? 

Nuestra idea ha sido hacer un aniversario de puertas abiertas. Habitualmente las presentaciones que hemos estado haciendo iban dirigidas a gente que ya forma parte del meetup y presuponen un cierto background de Spark a los asistentes. Esta vez vamos a dirigirnos a un público menos iniciado. Esperemos que esto permita a más gente conocer la tecnología Spark. Todas las actividades son gratuitas pero limitadas en número de plazas por riguroso orden de inscripción en nuestra página de meetup.

1rAnniverary.Spark.Global.Activities

 
 Share on Facebook Share on Twitter Share on Reddit Share on LinkedIn

Elecciones Municipals 2015: resultats en directe des de Ràdio Argentona

Published on 23/05/2015

Crònica de la nit electoral

Elecciones Municipals Argentona 2015Aquest any la M. Rosa  m’ha fitxat per “jugar amb l’algoritme d’Hondt “a Ràdio Argentona  (a 104.6 FM o per internet) durant la nit electoral mentre van arribant els recomptes de les taules i fer un anàlisi d’aquestes. Tot un luxe per a mi perquè se que serà emocionant, no és la primera vegada que obro el portàtil en la nit electoral per aplicar el mètode d’Hondt, algoritme matemàtic que tradueix els vots obtinguts per cada partit en número de regidors.

Es tracta del primer algorisme que vaig conèixer a la meva vida, i com saben els algorismes són la passió de qualsevol enginyer informàtic!. Va ser a l’any 1979 amb les primeres eleccions municipals democràtics després de la dictadura, quan jo només tenia 15 anyets i ningú, excepte l’argentoní Antoni Carbonell, sabia què nassos era això de l’informàtica. Amb els resultats d’aquelles eleccions s’en feia una descripció del mètode d’Hondt (link a pàgina) al número especial de la revista Llaç (link portada) per qui aleshores era el director de la revista, Pep Masó.  Sens dubte aquesta  pàgina va marcar la meva vida! :-)

Per cert, si es fixen en la fotografia que acompanya a  l’editorial (link a pàgina), que ja  les feia aleshores el jovenet Pep Padrós, veuran en el centre de la fotografia a un d’aquells argentonins que des de la discreció ha estat sempre compromès amb la democràcia i Argentona, treballant de valent (recordo de petit com pujava pels arbres a penjar pancartes) i presentant-se a una de les llistes municipals (link a llistes) d’Argentona d’aquelles primeres eleccions democràtiques. Qui és? :-) .

Crònica de la nit electoral:

El programa especial de Ràdio Argentona en directe ha començat a dos quarts de vuit del vespre en l’estudi que en l’equip tècnic ha muntat al carrer, a la zona d’aparcament de Cal Guardià al costat mateix de l’ajuntament . A més de les periodistes hi havia representants dels diferents partits que han fet debat sobre com ha anat la campanya. A mesura que anaven arrivant resultats de votacions parcials de les taules hem anat generant vistes amb la projecció de regidors a la pantalla que servia per fer el seguiment en directe (i també en aquesta pàgina). He eliminat (ara, després de la nit electoral) d’aquesta pàgina moltes de les vistes parcials ja que ara no tenen massa interés i així queda més clara aquesta pàgina amb els resultats i el seu anàlisi. Però en deixo un exemple (quan havien arribat tres taules) de les vistes que varem anar visualitzant al llarg de la nit electoral:

 

Screen Shot 2015-05-24 at 20.42.14 Screen Shot 2015-05-24 at 20.42.21 Screen Shot 2015-05-24 at 20.42.27

11351370_385237668267758_2081222955853742584_n La primera matriu expressa els vots, la segona matriu és la del mètode d’Hondt sobre aquests vots amb la que es calculen els regidors ( i sobre la que es debatia amb els representants dels partits a la taula) i finalment un diagrama visual amb l’estimació actual de regidors en comparació als regidors de l’any 2011.  Es va anar seguint aquest format a mesura que anaven arribant les dades de vots.

Però quan encara ens faltaven diverses taules, Tots per Argentona ja ha anunciat des de la seva seu electoral que havien guanyat les eleccions donant el nombre definitiu de regidors que havia obtingut cada formació política. El seu equip d’enllaços per obtenir les dades de les 18 taules ha estat molt més eficient que el que tenia muntat Ràdio Argentona.  A partir d’aquest moment l’atenció informativa s’ha desplaçat obviament a les seus del partits per recollir les primeres impressions a través de la mòbil de la Ràdio Argentona i ha passar a segon pla  l’anàlisi de les dades amb els convidats dels partits deixant-los per la jornada després de les eleccions (a continuació els hi adjunto les dades i el petit anàlisi al que varem arribar).

Des d’aquí les meves felicitacions a Tots per Argentona per haver guanyat clarament les eleccions i especialment el meu reconeixement a en Pep i en Xevi per haver sabut orquestrar de manera tan eficient el mecanisme de recopilació de dades. I obviament les meves felicitacions i reconeixement a la gent de la CUP que sens dubte han fet una gran pas endavant duplicant de llarg els vots de l’any 2011 i convertir-se en la segona força més votada. I finalment, novament, el meu agraïment a Ràdio Argentona per haver-me convidat, vaig disfrutar “remenant” números amb bona companyia! Gràcies!.

Resultats de les eleccions municipals 2015

A continuación afegeixo les dades finals de les eleccions d’avui (fent captures de troços del full de càlcul excel) :

Vots per taula:

Screen Shot 2015-05-25 at 11.47.24

Regidors per partit ( i comparativa 2011):Screen Shot 2015-05-25 at 11.50.14

Percentatge de vots per cada partir:

Screen Shot 2015-05-25 at 12.38.42

Una mica més de detall sobre les dades

Recordeu que la matriu d’Hondt es la que determina la repartició de regidors. Es pot veure que a diferencia de la matriu d’Hondt de l’any 2011 el repartiment de regidors es clar i no hi ha cap situació que per pocs vots pugui canviar un regidor d’un partit a un altre. El darrer regidor s’ha assignat amb un valor de 252,8 a TxA i no hi ha cap altre valor proper en la matriu. Pel que fa a  la condició addicional de que tot partit per poder-li assignar un regidor segons el mètode d’Hondt ha de superar el llindar del 5% de vots vàlids (és a dir compten els vots blancs però no el nuls) que és tracta del 258,6 en aquestes eleccions, tots el superen.

Screen Shot 2015-05-25 at 11.52.51

El cens electoral:

El cens ha augmentat només de 220, és a dir menys d’un 2,5%, en tot cas hem de considerar que durant aquests 4 anys hi ha hagut incorporació de votants joves  en detriment de defuncions de vilatans i vilatanes més grans.

Screen Shot 2015-05-25 at 16.43.04

En base a que el cens ha variat poc  podem considerar que fer l’anàlisi comparatiu  dels vots de cada formació i la seva diferència entre les dues eleccions (columna 2015-2011) té un cert sentit. A continuació tenen una taula amb els vots del 2015 i del 2011 i la seva diferència.

Screen Shot 2015-05-25 at 12.23.43

 

Una mica més visual, les mateixes dades queden com:

Screen Shot 2015-05-25 at 15.28.55Comparativa en percentatge de vots entre les dues legislatures queda com:

Screen Shot 2015-05-25 at 12.43.34

Una mica més de detalle sobre els vots per col.legis electorals pot ser de valor per l’anàlisi (entrar a nivell de taula pot dificultat l’anàlisi al haver 18 taules x 10 partits x 2 eleccions =360 valors)  i per tant ho agrupo per col.legis que crec que manté signiticativament la informació rellevant de la tipologia de l’electorat. Adjunt una taula amb els vots del 2011 i 2015, i una altre amb la diferència de vots (en vermell pèrdua) en els diferents col.legis electorals. En la segona taula mantinc CiU perquè crec que és rellevant per l’anàlisi de les dades atès el seu pes en vots l’any 2011.

Screen Shot 2015-05-25 at 12.50.35 Screen Shot 2015-05-25 at 12.52.48

Finalment una mica de detall sobre la participació 2015 i la comparativa amb el 2011 pot ajudar a analitzar les dades (mantinc el detall per les 18 taules):

Screen Shot 2015-05-25 at 13.13.16

Un petit i ràpid anàlisi personal de les dades

  • GENERAL: Sembla que hi ha hagut una certa fidelitat dels electors, excepte la desfeta de AA i una mica la baixada al PPC. L’anàlisi de flux de vots més important a fer es estimar a on han anat a parar els 900 vots de CiU en l’anterior legislatura. Analitzant les taules es pot veure que la meitat dels vot de CiU va cap a ERC i la resta a CUP i una part també a TxA.
  • ERC no capitalitza tot el vot de CiU, només la meitat. Però hi ha casuístiques curioses com per exemple a l’ajuntament vell (districte 1-secció 4) que treu més vots que fins i tot els que tenia CiU en aquell col.legi.
  • CUP és uns dels grans receptors de l’altre meitat de vots de CiU (alguns d’ells són potser vots d’ERC en l’anterior legilatura que ara ha esta cobert a ERC per un dels de CiU). Però a la seva pujada també s’hi ha de sumar vots blancs en les anteriors eleccions (recordem que el vot blanc ha baixat quasi a la meitat) i finalment una part important dels vots provinent de l’increment del cens electoral, majoritàriament jove.
  • TxA són també beneficiaris, en menor pes, dels vots provinents de CiU per poder explicar els resultats. Hi ha llocs on aquesta tendència queda clarament apuntada, com és a la Velcro, on CiU tenia 300 vots que no es reflexen en pujada de ERC i sí en una pujada de CUP i TxA. També sembla que una part de vot addicional ve de vots en blanc en l’anterior legislatura. La pujada de TxA s’ha vist esmorteïda per una clara davallada de vot al Cros, a favor de PSC, de l’abstenció (que és on més ha pujat) i possiblement alguns vots han pogut anar ERC o CUP. També és probable que hagi cedit algun dels vots en totes les taules a favor de SdP. Segons el mètode d’Hondt si TxA no hagués tingut la baixada de vot al Cros i no hagués tingut l’escisió de SdP hauria aconseguit el  7e regidor.
  • PSC ha augmentat un 10% de vots en bona part al Cros, una part provinents de TxA. Com dèiem ha mantingut tot el seu electorat del 2011.
  • ICV mostra exactament el mateix nivell de vot que l’any 2011.
  • PPC també manté força el seu electorat, però perd un 10% de vots, bona part a la Velcro, que li comporten la pèrdua d’un regidor que va ser guanyat justet al 2011.
  • PxC sembla que pugui haver arreplegat els pocs vots perduts pel PP i potser alguns de AA, però no es evident de les dades ja que estem parlant de pocs vots repartits entre 18 taules.
  • SdP també té pocs vots i es fa difícil d’estimar d’on provenen, però sembla que rep una part de vot de AA atès que es pot observar una correlació en molts llocs on un puja i l’altre baixa. També se suposava que arreplegaria vots a TxA i es possible que així sigui perquè les dades no ho contradiuen.
  • AA s’ha desfet i sembla que escampant entre diversos partits els seus vots perduts. En tot cas sembla que passant un nombre rellevant de vots a SdP com deia abans, però hi ha llocs, com a l’ajuntament vell, que segons les dades part dels seus vots forçosament han hagut d’anar a parar a ICV (que aquí puja de manera diferent que ho fa en tota la resta de col.legis) o a PSC o fins i tot ERC podria ser segons les dades.
 
Tags:
 Share on Facebook Share on Twitter Share on Reddit Share on LinkedIn

Ordenadores más sabios (artículo en La Vanguardia)

Published on 19/05/2015

Screen Shot 2015-05-19 at 16.33.33Hoy La Vanguardia ha publicado un nuevo artículo escrito por Mateo y por mi mismo acerca de hacia donde van los ordenadores y sus consecuencias, buenas y no tan buenas.  Esperamos que les guste y sobretodo que piensen en ello. Estos ordenadores están ya aquí y han venido para quedarse, ¡no lo duden! ( artículos anteriores en La Vanguardia).


Ordenadores más sabios

por Jordi Torres y Mateo Valero

Ya hace tiempo que hemos pasado de una era tecnologicabasada en el procesamiento de numeros a una en que los textos y contenidos multimedia tambien son computables y, al mismo tiempo, accesibles digitalmente desde cual-quier lugar y en cualquier momento. Los dis-positivos moviles interaccionan con los usua-rios y lo hacen entre si. De ahora en adelante, la computacion tambien hara el contexto computable, incorporara capacidades pre-dictivas y de aprendizaje, proporcionando la funcionalidad correcta y el contenido en el instante adecuado, para la persona correcta, prediciendo lo que esta necesitara. No sera extrano que le pidamos al asistente de voz de nuestro movil: “Necesito un vuelo a Nueva York via Londres”, y que nos muestre las mejores opciones y nos reserve el billete segun las preferencias en los asientos o el numero de viajero frecuente.

Ya se trabaja en una nueva familia de supercomputadores capaces de tratar situaciones complejas caracterizadas por la ambiguedad. Maquinas cada vez mas sabias, con algoritmos de aprendizaje auto-matico para extraer conocimiento del gran volumen de datos disponible y capaces de predeciry autoaprender. Como elsupercom-putador Watson, que gano a los dos mejores concursantes de la historia del popular con-curso de television norteamericana Jeopardy. La computacion cognitiva se empieza a aplicar sobre un gran numero de datos sanita-rios para identificar pacientes con mas riesgo de enfermedad o readmision. Asi, se mejorala atencion preventivay se hace un uso mas efi-ciente de los recursos sanitarios.

Esta tecnologia mejorara nuestras vidas y permitira controlar lo que estamos apunto de hacer, con algoritmos que pueden predecir, como los que ya se aplican para conocer las preferencias de los usuarios en las compras por internet. La importancia de la privacidad pronto pasara a segundo plano cuando el reto sea salvaguardar la capacidad individual para decidir. Este nuevo estadio representa al tiempo un desafio a los trabajadores de cuello blanco de la sociedad del conocimiento, de la misma manera que la automatizacion de las fabricas en el siglo XX fue una revolucion para los trabajadores de mono azul en las cade-nas de montaje.

Nos hace falta un debate social para prepararnos para la llegada de esta nueva era tecnologica que transformara pro-fundamente la manera en que vivimos, traba-jamos y pensamos.

JORDI TORRES Y MATEO VALERO, Investigador de la UPC y del BSC, e investigador de la UPC y director del BSC, respectivamente.

 

Ordinadors més savis

per Jordi Torres i Mateo Valero

Ja fa temps que hem passat d’una era tecnologica basada en el processament de numeros aunaeraen que els textos i els continguts multimedia tambe son computables i, alhora, accessibles digitalment des de qualsevol lloc i en qualsevol moment. Els dispositius mobils interaccionen amb els usuaris i tambe ho fan entre si. D’ara endavant, la computacio tambe fara el context computable, es a dir, incorporara capacitats predictives i d’aprenentatge i proporcionara la funcionalitat correcta i el contingut en l’instant adequat, per a la persona correcta, predient el que necessitara. No sera estrany que li demanem a l’assistent de veu del telefon mobil: “Necessito un vol a Nova York via Londres”, i que ell ens mostri les millors opcions i ens reservi els bitllets segons les preferencies en els seients o el nu-mero de viatger frequent.

Ja es treballa en una nova familia de supercomputadors capagos de tractar situacions complexes caracteritzades per l’ambiguitat. Maquines cada cop mes savies, amb algoritmes d’aprenentatge automatic per extreure coneixement del gran volum de da des disponible i capaces de predir i autoaprendre.com el super computador Watson, que va guanyar els dos millors concursants de la historia del popular concurs de televisio nordamericana Jeopardy. La computacio cognitiva es comenga a aplicar sobre un gran nombre de dades sanitaries per identificar pacients amb mes risc de malaltia o readmissio. Aixi es millora l’atencio preventi-va, alhora que es fa unus mes eficient dels recursos sanitaris.

Sens dubte, aquesta tecnologia ens millorara la vida i permetra controlar el que estem a punt de fer, amb algorismes que poden predir, com els que ja s’apliquen per saber les preferencies dels usuaris quan compren per internet. La importancia de la privacitat aviat passara a un segon pla quan el repte sigui salvaguardar la capacitat individual per decidir. Aquest nou estadi representa alhora un repte per als treballadors de coll blanc de la societat del coneixement, de la mateixa manera que l’automatitzacio de les fabri-ques al segle XX va ser una revolucio pels treballadors de granota blava en les cadenes de muntatge.

Ens cal un debat social per prepararnos per a l’arribada d’aquesta nova era tecnologica que transformara profundament la manera com vivim, treballem i pensem.

OrdinadoresMesSavis.LV.19maig2015OrdenadoresMasSabios.LV.19maig2015

I també com a “retalls” a Diari d’Andorra :-)

DiariAndorra

 

 
 Share on Facebook Share on Twitter Share on Reddit Share on LinkedIn

How old do I look?

Published on 01/05/2015

EmmaRAC1.TecnologiaRecreativa[Traducción automática a Español] [Traducció automàtica a Català]

Yesterday Ruben Tous, the senior researcher in our group sent to me a link to Microsoft “Project Oxford”, a set of new machine-learning APIs in beta. Then  I discovered that  Microsoft released a fun new website, How-Old.net, which calculates your age , with varying degrees of success , after you upload a photo. You can upload a selfie or type your name into the search bar at how-old.net to do Bing image search, and Microsoft’s tool takes a stab at guessing your age and gender. I tried ( vanity is a funny thing) this picture with Emma Aixalà,  a charming journalist with whom I shared a radio station program two years ago in RAC1. Emma, Is the information correct? Or actually look younger than you are? :-)

Let’s talk seriously!. As I already presented in this blog,  BSC-CNS and UPC are doing research in this area and was for this reason why Ruben Tous send me the link to Project Oxford in order to include in my blog. Thank you Ruben!

The good new for my students is that Microsoft’s Project Oxford gives developers access To facial, image and speech-recognition APIs. For now, the service is for free and is available as RESTful APIs (with a limit of 5,000 calls per month).

It offers new APIs that allow developers to add face detection and recognition features to their apps.  The age-detection project was the result of a major collaboration between different groups inside of Microsoft. Much of what’s available through the service today is based on modern deep learning techniques the company worked on over the last few years. Other tools include speech recognition. The project also features a vision API for automatically categorising images. There’s also a API that lets developers build custom language understanding into their applications. Even if you’re a developer or one of my students you can have a look of project main features here. Also, I recommend to read this post authored by Corom Thompson and Santosh Balasubramanian, Engineers in Information Management and Machine Learning at Microsoft.

Undoubtedly Project Oxford represents a new step towards Cognitive Computing era!  Cognitive Computing is going to transform and improve our lives. But it also presents challenges that we need to be conscious of in order to make the best use of this technology. (read our position paper with Mateo Valero).

Nota d’autor: Emma, quins records, ho hem de repetir abans no ens retirem! T’escolto a  :-)

POST UPDATE:  Hi, after publishing this post, some of my colleagues remind me that BSC, and my team, have good contracts not only with Microsoft, but also with IBM. of course! Let me correct that error!. :-)  If there is a company that is betting on cognitive computing, that is IBM. For instance, let me refer one of  latest milestone in their research on Cognitive Computing: IBM Watson Personality Insights, a tool that very well could be your psychologist! The Watson Personality Insights service uses linguistic analytics to extract a spectrum of cognitive and social characteristics from the text data that a person generates through blogs, tweets, forum posts, and more.

As we can read in this IBM page the service offers a set of core analytics for discovering actionable insights about people and entities that business can use these insights to guide highly personalized engagements and interactions to better tailor their products, services, campaigns, and other communications for their audience. The service infers personality characteristics from three models:

  • Big Five personality characteristics represent the most widely used model for generally describing how a person engages with the world:
    • Agreeableness is a person’s tendency to be compassionate and cooperative toward others.
    • Conscientiousness is a person’s tendency to act in an organized or thoughtful way.
    • Extraversion is a person’s tendency to seek stimulation in the company of others.
    • Emotional Range, also referred to as Neuroticism or Natural Reactions, is the extent to which a person’s emotions are sensitive to the person’s environment.
    • Openness is the extent to which a person is open to experiencing a variety of activities.

    Each of these top-level dimensions has six facets that further characterize an individual according to the dimension.

  • Needs describe which aspects of a product will resonate with a person. The model includes twelve characteristic needs: ExcitementHarmonyCuriosityIdealClosenessSelf-expressionLibertyLovePracticalityStabilityChallenge, and Structure.
  • Values describe motivating factors that influence a person’s decision making. The model includes five dimensions of human values: Self-transcendence / Helping othersConservation / TraditionHedonism / Taking pleasure in lifeSelf-enhancement / Achieving success, and Open to change / Excitement.

If you are one of my students, a good new is that the Personality Insights REST API reference can be used with node.js.  The service can return its analysis in either JSON or CSV format. In either case, the service provides a percentage (or percentile) and a sampling error to indicate the extent to which the author’s writing exhibits the associated characteristic.

The tool also has a demo web in Bluemix where you can try the service  introducing a text that allows the system to generate a personality characterisation and visualisation. Here you can find the result from introducing this original post to  Bluemix.  It is important to remark that I only used 390 words and the minimum recommended is at least 3500 words (optimal more that 6000 words)  to produce a portrait with meaningful results. Anyway, for those who know me, no surprise to you that with only 10% input data reaches this characterisation of me? Does it surprise you that I put this personal information in my blog? Actually anyone can do this, also to you! Does it scare you? 

(Compared to most people who participated in our surveys)

You are analytical, rational and tranquil.

You are empathetic: you feel what others feel and are compassionate towards them. You are calm-seeking: you prefer activities that are quiet, calm, and safe. And you are independent: you have a strong desire to have time to yourself.

Your choices are driven by a desire for self-expression.

You are relatively unconcerned with tradition: you care more about making your own path than following what others have done. You consider independence to guide a large part of what you do: you like to set your own goals to decide how to best achieve them.

 

Screen Shot 2015-05-01 at 12.43.17

 

 
 Share on Facebook Share on Twitter Share on Reddit Share on LinkedIn

Congratulations for ten years of science at BSC

Published on 30/04/2015

Various representatives from scientific, political and industrial fields congratulated BSC for its 10th anniversary.  BSC produced a video that includes 26 testimonials (listed in speaking order): Andreu Mas-Colell, Carmen Vela, Antoni Brufau, Pedro Morenés, Bernard Bigot, John Hennessy, Yang Yuanquing, Lino Barañao, Rajeeb Hazra, Valentí Fuster, Jen-Hsun Huang, Michele Parrinello, Erich Clementi, Juan Ignacio Cirac, Orlando Ayala, Álvaro Giménez, John R. White, Antoni Massanell, Irene Qualters, Masahiko Yamada, Philippe Vannier, Joan Massagué, Carlos Moedas, Artur Mas and Mariano Rajoy.

I am proud to share it with you! :-)

 
Tags: ,
 Share on Facebook Share on Twitter Share on Reddit Share on LinkedIn

Quin llibre regalar per Sant Jordi?

Published on 22/04/2015


llibres de Sant JordiQuin llibre regalar per Sant Jordi? Aquest any em permeto recomanar un parell d’excellents llibres de dos grans amics de qui se’n pot apendre molt: “El mestre” de Màrius Mollà i “La Font Picant d’Argentona”  d’en Pep Padrós.  No en dubteu, l’encertareu!

El mestre“, també en castellà “El Maestro” és de l’escriptor Màrius Mollauna apassionant novel·la sobre els somnis que ens mantenen vius, els vells ideals que mai no s’obliden i la força de la canalla per canviar el món.  En Màrius ja porta diverses obres publicades. L’any 2010 sota el pseudònim Andrés Vidal ja va publicar amb l’editorial Planeta la seva primera novel·la. Amb aquell mateix perfil va firmar posteriorment dues novel·les més l’any 2012 i l’any 2013. En altres segells de l’editorial van néixer Eduardo Roca i Víctor Amat, dos heterònims que fins ara no havia descobert tampoc.

En Màrius és una de les persones més estimulants i engrescadores que conec. De fet va ser ell qui em va engrescar a escriure el llibre sobre “el núvol”. En realitat, a més de ser enginyer i escriptor, és un gran mestre, de qui he après moltes coses, com per exemple de la bona educació!  Gràcies Màrius!.

Els suggereixo que el coneguin el dia de Sant Jordi mentre estarà signant llibres a diferents llocs de Barcelona.  Paga la pena, de debó!. Aquesta és la seva agenda:

  • 11:00 h. a 12:00 h. Llibreria Campus/ La Rambla davant del Núria
  • 12:00 h. a 13:00 h. Casa de la Paraula / La Rambla, 140
  • 13:00 h. a 14:00 h. Besai / La Rambla davant del Núria
  • 16:00 h. a 17:00 h. FNAC Arenas
  • 19:00 h. a 20:00 h. Llibreria Maite / Via Augusta, 64

L’altre llibre que els hi recomano és “La Font Picant d’Argentona. Del Balneari Prats al Manantial Burriac 1783-2010.”  d’en Pep Padrós, que vaig tenir l’honor de escriure’n el pròleg i que varem presentar el passat dijous al saló de Pedra (a les fotografies adjuntes podran veure que ens ho varem passar d’allò més bé).  Aquest llibre ens porta a l’Argentona de les cures d’aigües del segle XIX, amb la descoberta de les propietats mineromedicinals de les déus de Prats i de Ballot i de tot el que voltava a l’entorn del Balneari Prats, “el Cuerpo de Médicos de Baños” i les vicissituds i problemàtiques d’aquell temps i les posteriors manifestacions populars i els processos que hi van haver fins que la font Picant va esdevenir pública. Per mi el més impressionant del llibre és la  gran quantitat d’imatges que l’il·lustra aquesta obra.

En Pep és sens dubte una de les persones més apreciades a Argentona, que porta les fonts a la sang i qui em va ensenyar a estimar-les des de ben jove quan em va convidar a formar part del Grup de Fonts d’Argentona (vegeu-ne la fotografia, qui sóc?).  En resum en Pep ha estat un dels meus mestres de qui n’he après moltes coses. Gràcies Pep!

El dia de Sant Jordi poden trobar en Pep signant llibres a la llibreria Arenas de 18 a 19,30.  El llibre es ven a la llibreria Arenas, A l’OAC de l’Ajuntament i al Museu del Càntir.

Screen Shot 2015-04-22 at 23.59.28

Screen Shot 2015-04-22 at 23.59.01Screen Shot 2015-04-23 at 00.01.18

Screen Shot 2015-04-23 at 00.11.42

 
 Share on Facebook Share on Twitter Share on Reddit Share on LinkedIn

What we mean by Cognitive Computing

Published on 22/04/2015

We are entering a new era in computing that departs form the current model of computing as process automation to provide a collaborative platform for discovery to gain actionable insights.

To do so, research community are including advanced analytics tools in the systems middleware to offer predictive models . Thanks to the advent of Big Data these models can be improved, or “trained”, by exposing them to large data sets that were previously unavailable. The general idea is that instead of instructing a computer what to do, we are going to simply throw data at the problem and tell the computer to figure it out itself.  For this purpose the computer middleware takes functions from the brain like: inference, prediction, correlation, abstraction, … giving to the systems to possibility to do this by themselves. And here it comes the use of cognitive word to describe this new computing.

These reasoning capabilities, data complexity, and time to value expectations are driving the need for a new class of supercomputer systems. It is required a continuous development of supercomputing systems enabling the convergence of advanced analytic algorithms and big data technologies driving new insights based on the massive amounts of available data.  We can identify four foundational building blocks that will help to organize the research agenda in the area:

Cognitive Computing building blocks

We will use the term “Cognitive Computing” (others use Smart Computing, Intelligent Computing, etc.) to label this new type of computing research. But whatever we call it, this change is actually the integration of the best of Analytics knowledge with new Big Data technologies and the awesome power of emerging computational systems to interpret massive amounts of a variety of types of data at an unprecedented rate of speed.

We’ve seen tremendous technological innovation in the big data middleware space over the past years, there’s been a ton of fantastic innovation on the processing layer  (e.g. map reduce programming model) and a ton of innovation on the managing layer (e.g. NoSQL Data Bases). However current middleware software stack do not offers an intelligent middleware that simplifies big data analytics. This fact requires the increase in the middleware software stack performance of today’s Big Data Systems. Inevitably, this will lead to the creation of a new layer, offering learning tools, but at the same time, abstracting lower layers to simplify the big data software stack. We refer to this new layer as the Cognitive Layer. This layer will help to automate predictive analysis preventing users and developers from wasting their time on tedious tasks related to data management and data processing.

Middelware Software Stack

 





 

 
 Share on Facebook Share on Twitter Share on Reddit Share on LinkedIn

Cognitive Computing: Benefits and Challenges of Next Tech Revolution

Published on 15/04/2015

Screen Shot 2015-04-15 at 22.07.08Today THE DIGITAL POST have published an article from Mateo Valero and Jordi Torres!  We present the benefits and challenges of  “Cognitive Computing”.

For today world it is required a continuous development of supercomputing systems enabling the convergence of advanced analytic algorithms and big data technologies driving new insights based on the massive amounts of available data. This will be one of the strategic areas in the next future at BSC. We refer to this as  “Cognitive Computing” (others use Smart Computing, Intelligent Computing, etc.).

Enclosed you will find a copy of the article. We hope that this could help you to understand the new computing wave! that makes context computable with systems that embed predictive capabilities, providing the right functionality and content at the right time, for the right application, by continuously learning about them and predicting what they will need.

Cognitive Computing: Benefits and Challenges of Next Tech Revolution 

Cognitive Computing is going to transform and improve our lives. But it also presents challenges that we need to be conscious of in order to make the best use of this technology.

Big Data technology allows companies to gain the edge over their business competitors and, in many ways, to increase customer benefits. For customers, the influences of big data are far reaching, but the technology is often so subtle that consumers have no idea that big data is actually helping make their lives easier.

For instance, in the online shopping arena, Amazon’s recommendation engine uses big data and its database of around 250 million customers to suggest products by looking at previous purchases, what other people looking at similar things have purchased, and other variables.

They are also developing a new technology which predicts what items you might want based on the factors mentioned above and sends it to your nearest delivery hub, meaning faster deliveries for us.

To do so, they are using predictive models, a collection of mathematical and programming techniques used to determine the probability of future events, analyzing historic and current data to create a model to predict future outcomes.

Today, predictive models form the basis of many of the things that we do online: search engines, computer translation, voice recognition systems, etc. Thanks to the advent of Big Data these models can be improved, or “trained”, by exposing them to large data sets that were previously unavailable.

And it is for this reason that we are now at a turning point in the history of computing. Throughout its short history, computing has undergone a number of profound changes with different computing waves.

In its first wave, computing made numbers computable.

The second wave has made text and rich media computable and digitally accessible. Nowadays, we are experiencing the next wave that will also make context computable with systems that embed predictive capabilities, providing the right functionality and content at the right time, for the right application, by continuously learning about them and predicting what they will need.

For example identify and extract context features such as hour, location, task, history or profile to present an information set that is appropriate for a person at a specific time and place.

The general idea is that instead of instructing a computer what to do, we are going to simply throw data at the problem and tell the computer to figure it out itself.

We changed the nature of the problem from one in which we tried to explain to the computer how to drive, to one in which we say, “Here’s a lot of data, figure out how to drive yourself”. For this purpose the computer software takes functions from the brain like: inference, prediction, correlation, abstraction, … giving to the systems to possibility to do this by themselves. And here it comes the use of cognitive word to describe this new computing.

These reasoning capabilities, data complexity, and time to value expectations are driving the need for a new class of supercomputer systems such as those investigated in our research group in Barcelona.

It is required a continuous development of supercomputing systems enabling the convergence of advanced analytic algorithms and big data technologies driving new insights based on the massive amounts of available data. We will use the term “Cognitive Computing” (others use Smart Computing, Intelligent Computing, etc.) to label this new type of computing research.

We can find different examples of the strides made by cognitive computing in industry. The accuracy of Google’s voice recognition technology, for instance, improved from 84 percent in 2012 to 98 percent less than two years later. DeepFace technology from Facebook can now recognize faces with 97 percent accuracy.

IBM was able to double the precision of Watson’s answers in the few years leading up to its famous victory in the quiz show Jeopardy. This is a very active scenario.

From 2011 through to May 2014, over 100 companies in the area merged or were acquired. During this same period, over $2 billion dollars in venture capital funds have been given to companies building cognitive computing products and services.

Cognitive Computing will improve our lives. Healthcare organizations are using predictive modeling to assist diagnosing patients and identifying risks associated with care. Or farmers are using predictive modeling to manage and protect crops from planting through harvest.

But there are problems that we need to be conscious of. The first, is the idea that we may be controlled by algorithms that are likely to predict what we are about to do.

Privacy was the central challenge in the second wave era. In the next wave of Cognitive Computing, the challenge will be safeguarding free will. After Snowden revelations we realize it’s easy to abuse access to data.

There is another problem. Cognitive Computing is going to challenge white collar, professional knowledge work in the 21st century in the same way that factory automation and the assembly line challenged blue collar labor in the 20th century.

For instance, one of the Narrative Science’s co-founder estimates that 90 percent of news could be algorithmically generated by the mid-2020s, much of it without human intervention. Or researchers at Oxford published a study estimating that 47 percent of total US employment is “at risk” due to the automation of cognitive tasks.

Cognitive Computing is going to transform how we live, how we work and how we think, and that’s why Cognitive Computing will be a big deal. Cognitive computing is a powerful tool, but a tool nevertheless – and the humans wielding the tool must decide how to best use it.

Mateo Valero and Jordi Torres!

photo credits: Robert Course-Baker (from thedigitalpost)

 
 Share on Facebook Share on Twitter Share on Reddit Share on LinkedIn

New developer position at BSC in our research group

Published on 11/04/2015

The Autonomic Systems and e-Business Platforms group from the Computer Science Department at the Barcelona Supercomputing Center (BSC-CNS) under the collaboration agreement with CA Technologies is offering a developer position. The project will be developed in close collaboration with industrial partners.

CLOSING DATE:  Thursday, 30 April, 2015
Key Duties
  • The position is aimed to contribute to the design and development of a framework for corporate databases (mail data, human resources data, servers logs, etc.) integration and mining

Requirements

  • Education
    • BS or above in Computer Science, Computer Engineering or Telecommunications
      Engineering.
  • Knowledge
    • The position requires knowledge of python, javascript, NoSQL queries but previous experience with big data visualization, data mining tools and spark is a plus.
    • Good level of English is required (and understand spoken Spanish or Catalan).
  • Professional Experience
    • We are looking for a motivated and talented Engineer with background/interest in big data and data visualization.

Conditions

The position will be located at BSC within the Computer Sciences department in collaboration with the specific program coordinator. The contract will be for one year.

Applications Procedure

All applications must be applied including:

  1. A motivation letter
  2. A full CV including contact details
Follow the following links for Application Procedure:  Position Dev_AC_CS 
 
Tags: ,
 Share on Facebook Share on Twitter Share on Reddit Share on LinkedIn