Strategi implementasi Big Data

Big Data memang menjadi Hits akhir-akhir ini dan banyak yang memperkiraan Big Data is here to stay artinya ini bukan trend sesaat dan akan terus ada dalam kurun waktu yang relatif lama seperti teknologi mobile.

Dikarenakan biaya implementasi yang relatif masih besar, awalnya hanya perusahaan-perusahaan besar yang mampu mengimplementasikan dan merasakan manfaat dari Big Data. Hampir semua perusahaan Fortune 500 memanfaatkan Big Data. Mereka secara garis besar memanfaatkan Big Data untuk mengolah data yang mereka miliki maupun data eksternal untuk membantu dalam mengambil keputusan-keputusan strategis.

Akhir-akhir ini banyak juga startup teknologi yang menyediakan layanan Big Data untuk perusahaan kecil (small medium enterprise / SME) sehingga perusahaan kecilpun juga bisa mendapatkan manfaat dari Big Data.

Secara umum meskipun kedua jenis perusahaan mulai mengimplementasikan Big Data, ada perbedaan diantara keduanya. Untuk Big Data di perusahaan besar mereka lebih menngimplementasikan Big Data untuk multi fungsi. Dengan implementasi ini analisa baru untuk kepentingan lain bisa dilakukan tanpa harus mengubah infrastruktur yang sudah ada secara signifikan. Umumnya perusahaan besar ini memiliki infrastruktur sendiri untuk Big Datanya atau menyewa infrastruktur untuk menampung Big Data mereka (IaaS) seperti New York Times yang menyewa infrastruktur di Amazon. Hal ini tentu dimungkinkan karena mereka memiliki dana yang besar.

Sementara Big Data yang dimanfaatkan oleh SME kebanyakan sudah sangat spesifik untuk suatu analisis data tertentu. Hal ini karena startup yang menyajikan layanan Big Data memang mentargetkan untuk fungsi tertentu. Contoh startup yang menawarkan layanan Big Data ada Bluefin Labs yang menawarkan data analytics untuk data yng diambil dari Social Media. Bluefin Labs sekarang diakusisi oleh Twitter. SME bisa mendapatkan manfaat dari Big data tidak dengan memiliki infrastruktur sendiri tapi dengan berlangganan service dari startup-startup yang menawarkan layanan spesifik Big Data.

Meskipun Big Data sangat populer saat ini dan banyak perusahaan yang memanfaatkannya ada hal-hal yang harus diperhatikan sebelum menggunakan Big Data. Meskipun banyak teknologi Big Data yang Open Source alias gratisan, tetapi untuk memanfaatkan Big Data membutuhkan biaya yang relatif tidak sedikit terutama untuk perusahaan kecil. Untuk itu sangat penting sebelumnya untuk benar-benar pastikan bahwa Big Data bisa memberikan solusi atas masalah yang Anda miliki. Selain itu, karena namanya saja Big Data, pastikan Anda memiliki akses atas data yang nantinya akan diolah dan dianalisis dengan teknologi Big Data. Kalau data yang Anda miliki tidak terlalu besar / tidak bergiga-bergiga dan bertera-tera bytes, pertumbuhan data yang tidak terlalu cepat serta masih terstruktur. Maka sepertinya bisa dipertimbangkan teknologi OLAP lain yang relatif lebih murah dan lebih mudah untuk digunakan.

Beberapa solusi yang biasanya ditawarkan dengan menggunakan Big Data adalah:

  1. Social data analysis. Solusi ini sepertinya idola buat startup dikarenakan akses data dari social media, seperti facebook dan twitter, yang relatif mudah didapat. Dengan social data analysis bisa dikembangkan kemungkinan lain seperti untuk sentiment analysis, customer segementation, mengukur efektifitas marketing, dsbnya.
  2. Historical data analysis. Solusi ini menganalisis data masa lalu yang dimiliki suatu perusahaan. Misalnya data penjualan. Solusi ini berfungsi untuk mencari trend atau kecenderungan data sehingga bisa memberikan gambaran apa yang terjadi dimasa lalu.
  3. Predicitive analysis. Solusi ini pada umumnya digabungkan dengan solusi historical data analysis. Dari data masa lalu maka dikembangkan kecerdasarn buatan yang bisa memprediksi kejadian dan trend di masa yang akan datang. dengan demikian tindakan antisipasi bisa dilakukan mulai dari sekarang.

Meskipun teknologi Big Data memungkinkan menganalisa data dalam jumlah besar, tetap keberadaan seorang data analysis yang membantu mendesain keseluruhan proses analisis dan juga domain expert tidak bisa dihilangkan. Domain expert adalah ahli yang memang mengerti bidang usaha Anda sehingga bisa menerjemahkan hasil dari data analisis sehingga bisa dimengerti oleh top level management dan bisa diambil tindakan strategis yang diperlukan. Tanpa domain expert hasil dari data analisis bisa jadi sia-sia. Contohnya bisa saja dari hasil social data analisis ditemukan bahwa tingkat kejahatan di Amerika naik seiring dengan menurunnya revenue dari Yahoo. Belum tentu kedua hal ini berhubungan. Sehingga tidak bisa disimpulkan bahwa untuk menurunkan kejahatan di Amerika maka revenue Yahoo harus dinaikkan.

Kesimpulan dari tulisan ini adalah ada langkah-langkah yang harus dilakukan sebelum mengimplementasikan Big Data yaitu:

  1. Pastikan ada masalah yang memang ingin dipecahkan dengan Big Data
  2. Ada data yang akan dianalisis sehingga memberikan solusi dari masalah Anda
  3. Ada data analyst dan domain expert yang akan membantu dalam proses implementasi dan pemanfaatan hasil dari Big Data. Bisa saja kedua hal ini diperoleh dari konsultan luar.
  4. Sesuaikan solusi yang Anda cari dengan kemampuan finansial, apakah ingin membangun infrastruktur sendiri atau memanfaatkan third party yang menyediakan solusi Big Data untuk masalah Anda
  5. Dari waktu ke waktu revisi proses analisis anda dengan data analis dan domain expert untuk mengatur jika ada perubahan dari data yang Anda miliki yang bisa jadi menarik untuk dianalisis.

 

Sumber artikel : https://openbigdata.wordpress.com/2014/09/27/strategi-implementasi-big-data/

Dampak Teknologi Informasi dan startup lokal terhadap perkembangan bisnis era sekarang.

Fenomena berkembangnya Teknologi Informasi yang merubah skema bisnis konvensional menjadi skema bisnis yang menyajikan informasi diatas platform teknologi membuat bisnis konvensional bisa langsung ketar ketir ketakutan.

Coba aja liat kasus aplikasi online kmarin, gua bandingin aja taksi konvensional versus taksi online (uber/grab), dari segi bisnis pendanaannya aja udah beda, taksi konvensional meraup keuntungan sepenuhnya dari sewa, keuntungan dibagi untuk perusahaan dan supir taksi berdasarkan persentase akibatnya cost tinggi.
Sementara startup taksi online bisnisnya berkembang dengan cara yang baru, gini dari yg gua tau,gua buat startup taksi online, gua buat proposal cari investor yg bisa danain pengembangan dan operasional untuk 2 tahun pertama, 100m, 1m aja masuk kantong pribadi udh untung, 2 tahun pertama kembangin startup nya (subsidi pengemudi) cost jd murah, tahun ketiga ketika aplikasi sudah besar di googlestore (pemasukan iklan sudah signifikan) cari investor baru dgn dana yg lebih besar, keuntungan investor pertama diambil dr investasi investor tahun ketiga, tahun ketiga dana operasional pun bisa berjalan, tahun berikutnya ketika startup sudah besar tinggal jual ke publik seperti yg dilakukan path.
Nah kalo sudah begini siapa yang salah? siapa yang kalah? siapa yang akan rugi?
Kelas bisnis kecil dan konvensional mau kreatif kaya apapun akan kebanting sama pemilik modal gede yg bisa modalin startup baru, marketplace dsb dia tinggal glontorin dana niru pasar yang ada dan seterusnya.
Ujung2 nya REGULASI pemerintah lah yang harus ngatur kebijakan tentang ini, kalo semua orang jiwanya kapitalis dan cuma money oriented, cukong2 yang punya dana gede itu akan menang telak.
Startup aplikasi harus didukung sesuai dengan Pasal 33 UUD 45 yang mendukung perekonomian rakyat, aplikasi online membuat lebih kompetitif, proses transaksi lebih singkat dan harga jauh lebih murah, tapi harus diatur oleh Regulasi yang jelas oleh pemerintah agar tidak merugikan banyak pihak.
Kalo melihat konsep ubertaksi beberapa taksi kedepan gua ngeliat kemajuan teknologi yang bener2 canggih kedepannya, sekarang sih kayanya belom terasa, kaya dampak smartphone aja beberapa tahun ini tiba2 bisa merubah bisnis  konvensional yang ada.
Regulasi yang tertinggal dengan perkembangan teknologi akan membawa dampak yang merugikan bagi banyak pihak.
Semoga aja pembuat kebijakan di negeri ini diisi oleh orang- orang yang bermental baik bukan kapitalis semata dan money oriented.

 

Reducing MySQL memory usage on Ubuntu / Debian Linux

If you are running your services on a low end virtual hosting every byte of memory you can save is important. The memory is often the limiting factor of how many applications you can run on VPS: CPUs are shared, memory not, on the same physical host.

  • Low-end VPS come with 512 MB memory or less
  • Front front-end server Apache / Nginx / Varnish takes > 100 MB +  min. 20 MB for each child process
  • Memecached takes its toll
  • MySQL takes 200 – 400 MB
  • Each Python / PHP process takes at least 15 MB and you need parallel processes for paraller HTTP requests (FCGI, pre-fork, others… )
  • Operating system processes need some memory (SSH, cron, sendmail)

As you can see it gets very crowded in 512 MB.

It’s especially troublesome since the memory is allocated lazily and the memory usage builds up slowly. In some point caches are no longer caches, but swapped to a disk – virtual memory usage grows beyond available RAM. To keep the server response, everything time critical should fit to RAM once and if the processes themselves don’t know how to release memory in this situation you need to tune a memory cap for them.

1. MySQL memory consumption

MySQL can be a greedy bastard what comes to memory consumption. Here on this server MySQL seems to take 417M virtual memory which seems to be little excessive for just running two WordPress instances and one Django / Python application:

1310 mysql     20   0  417M 21100  2776 S  0.0  1.2  0:00.00 /usr/sbin/mysqld --basedir=/usr --datadir=/var/lib/mysql --user=mysql --pid-file=/v

After some tuning I was able to bring it down a bit

3354 mysql     20   0  276m  19m 2848 S    0  1.2   3:41.19 mysqld

A reduction of 130 MB, or 1/4 of the server total memory. Not bad.

Use mtop to monitor running MySQL, its querieries, etc. so you know what’s going on. As you can see this MySQL has very good cache rate meaning that basically it is keeping everything in memory. If the content of the sites is less than 10 MBytes total, 400 MB contains plenty of space to cache the content:

load average: 0.05, 0.08, 0.16 mysqld 5.0.51a-3ubuntu5.8-log up 1 day(s), 19:47 hrs                                                             
2 threads: 1 running, 6 cached. Queries/slow: 187.1K/0 Cache Hit: 99.39%

2. What eats memory

I am not an expert on MySQL, so I hope someone with more insight could post comments regarding how to tune MySQL for low memory situations and how it is expected to behave.

Some ideas I run through my head

  • MySQL default cache settings are not too tight on Ubuntu/Debian, making it suitable for moderate loads, not low loads. If you don’t have much content, everything is just kept in memory (even if not needed)
  • MySQL uses round robin for connections and if there is 100 max connections it will allocate a thread stack for each connection (someone please confirm this – I found contracting infos).

3. Configuring MySQL

Here are listed some methods how to reduce the memory usage. This is what I done on this little box

MySQL is mostly configured in /etc/mysql/my.cnf on Ubuntu / Debian.

The final adjustments

key_buffer              = 8M
max_connections         = 30
query_cache_size        = 8M
query_cache_limit       = 512K
thread_stack            = 128

source from : http://opensourcehacker.com/2011/03/31/reducing-mysql-memory-usage-on-ubuntu-debian-linux/

Belajar Teknologi Virtualisasi : Instalasi VMWare vSphere Hypervisor™ ESXi

Yang perlu diperhatikan adalah bahwa proses instalasi akan menghapus data harddisk, jadi pastikan data yang ada sudah dibackup terlebih dahulu. Jauh lebih baik jika fungsinya didedikasikan untuk server, harddisk yang digunakan merupakan harddisk baru :-)

Berikut adalah langkah-langkah instalasi VMWare ESXi 5.0 :

  1. Download file ISO VMWare ESXi (penjelasan detailnya ada pada bagian pertama tulisan ini), kemudian burn menggunakan CD burner. Setelah selesai, booting komputer dengan CD VMWare ESXi berada di dalam CD/DVD ROM yang sudah diset sebagai media booting pertama
  2. ESXi akan menampilkan pesan ekstrak file iso. Tunggu sampai ada permintaan respon. Untuk proses instalasi dapat mengikuti pesan yang muncul pada tampilan wizard, misalnya untuk melakukan proses instalasi bisa menekan tombol ENTER sedangkan untuk membatalkannya bisa menekan tombol ESC.
    `

    `

    `

    `

    `

    `
  3. Masukkan password untuk host VMWare ESXi. Password ini akan digunakan untuk login pada VMWare Infrastructure Client (VI Client)

    `

    `
  4. Setelah proses instalasi selesai, sistem akan melakukan restart. Jangan lupa keluarkan CD instalasi dari CD/DVD ROM.
    `

    `

Untuk melakukan manajemen instalasi dan konfigurasi virtual machine pada VMWare ESXi, kita akan menggunakan VMWare Infrastructure Client. Caranya, buka alamat URL http://IP-Address-ESXi, misalnya http://192.168.1.104. Alamat URL tersebut akan menampilkan penjelasan mengenai akses VMWare ESXi melalui klien, baik menggunakan media VMWare Infrastructure Client maupun melalui akses Command Line.

 

 

source from : http://www.vavai.biz/product-services/vmware/belajar-teknologi-virtualisasi-2-instalasi-vmware-vsphere-hypervisor%E2%84%A2-esxi/

Belajar Teknologi Virtualisasi : Instalasi VMWare vSphere Client

Manajemen VMWare VSphere/ESXi dilakukan dengan menggunakan aplikasi VMWare VSphere Client yang berjalan pada sistem Windows. Sebenarnya tersedia juga tools untuk manajemen VMWare ESXi berbasis Linux namun saat ini yang tersedia berupa tools CLI (Command Line Interface).

Jika kita membuka alamat IP VMWare ESXi yang telah diinstall menggunakan web browser, akan tampil halaman informasi sebagai berikut :

Berikut adalah panduan instalasi dan penggunaan VMWare VSphere Client untuk keperluan manajemen virtual machine pada VMWare ESXi :

  1. Download VMWare Infrastructure Client pada alamat http://IP-Address-ESXi atau bisa juga didownload langsung pada alamat download ESXi. Nama filenya adalah VMware-viclient-all-xxx.exe
  2. Instalasikan pada sistem Windows. Jika menggunakan Linux, terpaksa menjalankan Windows melalui VirtualBox. Saya belum pernah coba VMWare VSphere Client menggunakan Wine apakah memungkinkan atau tidak. Masalah utama adalah karena VMWare VSphere Client menggunakan .NET Framework yang kemungkinan besar gagal dijalankan via Wine
  3. Proses instalasi akan berjalan. Ikuti wizard instalasi, jangan khawatir jika prosesnya kelihatan terhenti di fase tertentu. Biasanya jika demikian yang terjadi, proses instalasi bukan hang melainkan sedang dalam proses instalasi paket yang cukup besar, kecuali terhentinya terlalu lama :-D
    `
  4. Setelah selesai instalasi, kita bisa menggunakan VMWare VSphere Client untuk melakukan manajemen VMWare ESXi. Klik icon VMWare VSphere Client hingga masuk ke tampilan login
    `
  5. Langkah pertama yang perlu dilakukan adalah memasukkan serial key. VMWare ESXi free untuk dipergunakan namun tanpa serial key hanya bisa dijalankan selama 30 hari saja. Serial key didapatkan saat kita hendak melakukan download file ISO VMWare ESXi. Untuk mendapatkan serial key secara manual, silakan melakukan register user name dan password pada alamat http://www.vmware.com/products/vsphere-hypervisor/overview.html kemudian pilih menu download
  6. Untuk memasukkan License Key yang sudah diterima, silakan login menggunakan VMWare Vsphere Client kemudian pilih bagian Inventory, Configuration, Licensed Features, kemudian pilih Edit dan masukkan License Key yang dimiliki
    `

    `
  7. Setelah license key dimasukkan, kita dapat mulai membuat virtual machine dengan melakukan klik kanan pada IP ESXi yang ada di VMWare Vsphere Client kemudian mengikuti wizard instalasi yang diberikan.

 

source from : http://www.vavai.biz/product-services/vmware/belajar-teknologi-virtualisasi-3-instalasi-vmware-vsphere-client/

Installing LDAP support in PHP on Ubuntu server

LDAP support in PHP is not enabled by default. To enable LDAP support on an existing Ubuntu Apache web server you need to install php5-ldap package.

Install php5-lda:
sudo apt-get install php5-ldap
Reboot apache
/etc/init.d/apache2 restart

Be sure to enable LDAP support within PHP. Make sure that you have installed the necessary packages for your distro.

  • RedHat EL based distro (CentOS 4.3):
    yum install php-ldap
  • Make sure that /etc/php.d/ldap.ini contains
    extension=ldap.so
  • Ubuntu 6.06.1 (Dapper Drake) and others:
    sudo apt-get install php-ldap
    or possibly:
    sudo apt-get install php5-ldap
  • Other distros (/etc/php5/apache2):
    Modify php.ini, and uncomment the line:
     ;extension=php_ldap.so
    change to:
    extension=php_ldap.so
  • Windows:
    Modify php.ini, and uncomment the line:
     ;extension=php_ldap.dll
    change to:
    extension=php_ldap.dll