A produção, inteiramente a cargo de Jimmy Page, contou pela primeira vez com a colaboração do engenheiro Eddie Kramer, cujo trabalho com Jimi Hendrix havia impressionado muito a banda. Juntos, Page e Kramer conseguiram um som que, segundo o especialista Dave Lewis, ainda soa atual. O disco se caracteriza por um estilo musical que se afasta do blues mais puro para adentrar em um som mais pesado, marcado pelos riffs de guitarra. Das nove canções, seis foram escritas pela banda, enquanto três são reinterpretações de temas de blues de artistas como Willie Dixon e Howlin' Wolf. Um exemplo claro dessa fusão é Whole Lotta Love, que foi lançada como single fora do Reino Unido e alcançou os primeiros lugares em muitos países. Outras faixas que capturam a essência deste álbum são Heartbreaker e Moby Dick, esta última mostrando a destreza de Page na guitarra.
Este álbum, concebido em um período de constante movimento, foi gravado e mixado em diferentes estúdios da Grã-Bretanha e América do Norte, incluindo locais como Londres, Los Angeles, Memphis e Nova York. A forma como foi gestado, com ideias surgindo em quartos de hotel e gravações realizadas em diferentes cidades, deu a Led Zeppelin II uma qualidade única. Foi o primeiro disco da banda a alcançar o número um no Reino Unido e nos Estados Unidos. O diretor de arte David Juniper foi indicado a um Grammy pelo design da embalagem do álbum. Com o tempo, Led Zeppelin II tem sido reconhecido como um dos álbuns de rock mais influentes e uma base para o som de muitas bandas de heavy metal posteriores.