Java tiene un gran numero de IDE’s (Entornos Integrados de Desarrollo), pero en realidad solo un compilador “oficial”, el javac (incluido en el JSDK de Sun). Esto es motivo de confusión entre muchos, ya que confunden los compiladores con los IDE’s.

Entonces aclaremos las cosas: una cosa es el compilador, que traduce el código fuente a código de bytes que serán interpretados después por la máquina virtual; y otra cosa muy distinta es el IDE, que posee herramientas integradas como un editor, un modelador gráfico, un depurador, y un compilador, pero por lo general, en el caso de Java, utiliza el compilador “oficial”: javac.
Más información aquí.

Los IDE’s más importantes son:

GCJ – El compilador GNU para Java
GCJ es un compilador portable para Java. Este puede compilar código Java a Bytecodes (archivos .class), o directamente a código máquina nativo, y de bytecode a código máquina nativo.
Las aplicaciones compiladas son enlazadas con el Runtime de GCJ, libgcj, que contiene el núcleo de librerías de clases, un recolector de basura, y un interprete de bytecode. libgcj puede dinamicamente cargar e interpretar archivos de clases, dando resultado a aplicaciones compiladas/interpretadas.
GCJ puede ser también confgurado como un compilador multiplataforma, conveniente para sistemas de programación embebidos. Las últimas versiones del GNU Debugger soporta GCJ (tutorial corto). Para iniciarte puedes leerte este post: Compilando con GCJ.

Eclipse
Este es sin duda uno de los mejores (sino el mejor) IDE's de programación del mundo. Eclipse es un IDE multiplataforma libre para crear aplicaciones clientes de cualquier tipo.
El entorno integrado de desarrollo (IDE) de Eclipse emplea módulos (en inglés plug-in) para proporcionar toda su funcionalidad, a diferencia de otros entornos monolíticos donde las funcionalidades están todas incluidas, las necesite el usuario o no. El mecanismo de módulos permite que el entorno de desarrollo soporte otros lenguajes además de Java. Por ejemplo, existe un módulo para dar soporte a C/C++. Existen módulos para añadir un poco de todo, desde Telnet hasta soporte a bases de datos.
En cuanto a las aplicaciones clientes, eclipse provee al programador con frameworks muy ricos para el desarrollo de aplicaciones gráficas, definición y manipulación de modelos de software, aplicaciones web, etc. Por ejemplo, GEF (Graphic Editing Framework - Framework para la edición gráfica) es un plugin de eclipse para el desarrollo de editores visuales que pueden ir desde procesadores de texto wysiwyg hasta editores de diagramas UML, interfaces gráficas para el usuario (GUI), etc. Dado que los editores realizados con GEF "viven" dentro de eclipse, además de poder ser usados conjuntamente con otros plugins, hacen uso de su interfaz gráfica personalizable y profesional.
(Referencias: Wikipedia)

NetBeans

NetBeans es una herramienta para programadores para escribir, compilar, corregir errores y para ejecutar programas. Está escrito en Java - pero puede servir de soporte a cualquier otro lenguaje de programación. Existe también un número enorme de módulos para extender el NetBeans IDE. El NetBeans IDE es un producto libre y gratuito sin restricciones de utilización.

BlueJ
Este es un muy buen IDE de programación, y una de sus principales ventajas está en su simplicidad. Más información de este IDE aquí.

Sun Java Studio
Sun One Studio es una plataforma de desarrollo, disponible gratis especial para arquitecturas empresariales y desarrolladores que integran el centro de Desarrolladores de Red de Sun. Este incluye poderosas características para agilizar el de desarrollo de aplicaciones, tales como un modelador UML, colaboración instantanea y perfiles de aplicación. El IDE también está totalmente integrado con un completo runtime environment: Sun Java Enterprise System.

JDeveloper
Oracle JDeveloper es un IDE libre con end-to-end soporte para modelación, desarrollo, depuración, optimización, e implementación de aplicaciones Java y servicios Web.

JCreator
JCreator es una herramienta de desarrollo para programadores de Java. Este IDE es rápido y sencillo, y lo recomiendo para personas que estén empezando ya que es muy intuitivo y fácil de manejar.