Implementasi Hadoop Cluster Multi Node untuk Membangun Infrastruktur Big Data
Abstract
Perkembangan era digitalisasi berdampak pada meningkatnya volum, variasi, kecepatan, nilai dan kompleksitas data sehingga muncul fenomena baru yang disebut big data. Big data adalah data yang melebihi proses kapasitas dari konvensi sistem database yang ada. Big data dapat ditangani menggunakan database yang tidak memiliki keterbatasan dari segi kinerja dan skalabilitas, oleh karena itu dibangunlah sebuah model infrastruktur big data menggunakan Apache Hadoop pada multinode cluster dengan lima node. Dari infrastruktur tersebut dilakukan uji performa berdasakan runtime, dan throughput menggunakan tools benchmarking TestDFSIO. Pembanding yang digunakan adalah besar data yang bervariasi yang akan diproses dengan write dan read. Pengujian dilakukan berdasarkan variasi ukuran data (1GB, 2GB, 4GB, 8GB, 16GB record ) dan jumlah node yang digunakan (1,2,3,4 dan 5 node). Hasil pengujian menunjukkan bahwa pada proses write, semakin sedikit jumlah node, maka semakin kecil. Sedangkan pada proses read, semakin sedikit jumlah node yang digunakan, maka nilai semakin besar. Nilai diperoleh dari throughput yang dihasilkan. Dari hasil pengujian operasi yang paling lama dieksekusi adalah write. Cluster 1 node memiliki performa yang lebih baik saat write data dan cluster 5 node memiliki performa yang lebih baik saat read data karena dari hasil runtime tercepat dan throughput tertinggi.Downloads
Published
Issue
Section
License
Copyright info for authors
1. Authors hold the copyright in any process, procedure, or article described in the work and grant the journal right of first publication with the work simultaneously licensed under a Creative Commons Attribution License that allows others to share the work with an acknowledgement of the work's authorship and initial publication in this journal.
2. Authors retain publishing rights to re-use all or portion of the work in different work but can not granting third-party requests for reprinting and republishing the work.
3. Authors are permitted and encouraged to post their work online (e.g., in institutional repositories or on their website) as it can lead to productive exchanges, as well as earlier and greater citation of published work.