Habilitar Java dentro de R

step#1 sudo R CMD javareconf

step#2 install.packages("rJava",type='source')

http://stackoverflow.com/questions/35179151/cannot-load-r-xlsx-package-on-mac-os-10-11

Además, para usar rJava en Mac OS X El Capitan, hay que ejecutar en R:

dyn.load('/Library/Java/JavaVirtualMachines/jdk1.8.0_77.jdk/Contents/Home/jre/lib/server/libjvm.dylib')

http://charlotte-ngs.github.io/2016/01/MacOsXrJavaProblem.html

Update 13/Jul/2018

Aun así no me ha funcionado en mi sistema Mac OS X y he tenido que establecer correctamente la siguiente variable de entorno desde R:

Sys.setenv(DYLD_FALLBACK_LIBRARY_PATH = "/Library/Frameworks/R.framework/Resources/lib:/Users/gualberto/lib:/usr/local/lib:/usr/lib:::/lib:/Library/Java/JavaVirtualMachines/jdk1.8.0_172.jdk/Contents/Home/lib/server")

Cambiando jdk1.8.0_172.jdk por la versión que haya instalada en el sistema.