La boîte à outils taillée pour l’analyse d’énormes volumes de données non structurées incarne à elle seule le concept de big data. Retour sur ses origines, le rôle de Google et celui de Yahoo.

Une des raisons pour lesquelles Hadoop concentre tant l’attention de l’industrie tient à la légitimité qu’il a acquise tout au long de cette décennie. Pour la petite histoire, le succès de Google lui est en partie imputable. En 2001, alors qu’il ne pèse rien sur le marché des moteurs de recherche, le futur géant développe ce qui deviendra les composants phares d’Hadoop.  « Pour stocker, traiter et indexer 5 milliards de pages web, il construit MapReduce, Google Big Table et Google File System. Il exploite ces éléments pendant trois ans, et en fait la description dans une publication académique », raconte Charles Zedlewski, vice-président produit de Cloudera, l’une des start up pionnières dans le big data.

Doug Cutting, fondateur du moteur de recherche open source Lucene