 |
||
|
||
Accueil > FORUM TERATEC > Programme > Atelier 1
Présidé par Pascale BERNIER-BRUNA, BULL - Marie-Christine SAWLEY, INTEL - Jean-Philippe NOMINE, CEA
HPC et Big Data se croisent aux frontières de domaines d’application en pleine expansion, et en repoussent les limites tout en produisant de nouveaux défis. Les centres de calcul voient des masses croissantes de données produites par la simulation, ainsi que, de plus en plus, des données d’expérimentation ou d’observation, à analyser ou post-traiter. Les flux de données sont désormais de plus en plus bidirectionnels entre calcul et stockage, et la capacité d’analyser ces données est nécessaire à divers endroits de cette chaine, ce qui soulève de nouvelles questions d’efficacité et de coût pour les solutions de traitement et de stockage. Le mouvement vers l’exascale risque d’exacerber encore plus les tensions entre bande passante et capacité respectives du stockage et du calcul.
Cette session a éclaireré les perspectives et l’état de l’art des architectures et plateformes matérielles et logicielles adaptées à l’exploitation et la valorisation de ces grands calculs et masses de données complexes.
 Running Hadoop Map Reduce Jobs on LustreGabriele PACIUCCI EMEA Lustre Solution Architect Intel - Zhiqi TAO, Ph. D. ASMO Lustre Solution Architect Intel
|
| Data Storage for the era of Converged Big Data and HPC
Torben KLING-PETERSEN, principal architect, XYRATEX
|
| Fast data meets HPC at TERALAB, dedicated to real-time analytics use cases
Pierre PLEVEN, Direction de l’innovation, INSTITUT MINES TELECOM
|
| Big Data with MATLAB Ascension VIZINHO-COUTRY, MATHWORKS |
| Addressing Open Source Big Data, Hadoop, and MapReduce limitations Emmanuel LECERF, IBM |
|
Résumé & Biographies 
© TERATEC 2014 |
Le monde moderne doit faire face à un nouveau défi : le déluge de données. Que ce soient des données d'origine domestique ou scientifique, de tels volumes ne se manipulent plus avec les outils du passé. Il faut désormais faire appel à des solutions de stockage et de traitement massif comme celles du HPC et celles des grands entrepôts de données de l'informatique décisionnelle (Business Intelligence), permettant le passage à l'échelle des méthodes innovantes pour exploiter au mieux les informations qui nous submergent. La session Big Data s'est proposée de jeter un éclairage actualisé sur les problématiques liées aux grands volumes et aux temps de traitement sous les angles du HPC et de l'informatique décisionnelle. Des acteurs du monde scientifique et du monde industriel ont illustré ces deux aspects aux travers d'exemples tirés de leur domaine et ont mis en avant les apports respectifs du HPC et du décisionnel, approches en cours de convergence dans leur relation au Big Data.
Chercheurs et ingénieurs sont depuis longtemps producteurs et consommateurs de grandes masses de données : issues de calculs, d’observations, de mesures, ou encore de CAO et de modèles numériques ; de volumes sans cesse croissants, avec une distribution et une circulation de plus en plus poussées sur réseau. Mais d’autres masses de données déferlent désormais autour de nous : commerciales, administratives, financières, multimedia, sur les réseaux sociaux, issues de capteurs, relatives à des objets nomades.... Qu’elles soient privées ou publiques, les modalités de représentation, stockage, traitement, analyse et exploitation de ces données repoussent les limites des approches conventionnelles ou appellent de nouvelles méthodes et techniques pour livrer leur sens et produire de la valeur. Cet atelier a demandé à des observateurs et acteurs éclairés de ces phénomènes de nous livrer leur vision et quelques exemples et éléments pouvant inspirer notre réflexion.