Hadoop: как все устроено и как с этим жить?

Если вы думаете, что работа с Hadoop-кластером, это веселая прогулка, вы заблуждаетесь. Такой подход вкупе с недоиспользованием мощи JVM ведет к деградации разработки и стрельбе в воздух пачками денег.

Хорошо, а если серьезно, то в лекции будут рассмотрены подробно следующие моменты:

  • Введение в Hadoop;
  • Описание MapReduce — алгоритма;
  • Демоны Hadoop и HDFS как типичные Java — приложения;
  • Особенности MapReduce Java API;
  • Контейниризация по — Hadoop-вски;
  • Границы кастомизации в Hadoop;
  • Разные подходы к реализации JOIN;
  • Места в решении, которые стоит оптимизировать в первую очередь;
  • Настройки JVM*, которые вам действительно нужны;
  • Различные форматы файлов и кодеки сжатия;
  • Разработка, отладка и тестирование.

Этот доклад для тех, кто уже в курсе всей нервотрепки с BigData, имеет некоторый опыт с Hadoop, либо только присматривается к нему, но хочет познать все его возможности.

*Знание Java/JVM не обязательно, но будет не лишним

Конференция Yappi Days 17