A ocupação da atual área portuária, após a chegada das instituições religiosas, se deu pela formação de chácaras, onde se exerceu uma agricultura de subsistência. Ali passou também a ocorrer a extração de pedras da pedreira do Morro da Conceição e, depois, das pedreiras de São Diogo e Providência. Mas, sem dúvida, a atividade portuária, facilitada pela existência de enseadas, como o Saco da Gamboa, foi a atividade econômica que mais marcou a feição dos atuais bairros da Saúde, Gamboa e Santo Cristo.

A descoberta de ouro em Minas Gerais, no século XVIII, trouxe para a região a intensificação do infame comércio de escravos. Até então eles eram vendidos na antiga Rua Direita, atual Primeiro de Março. Depois essa atividade se expandiu para a Freguesia de Santa Rita, que abarcava as atuais áreas da Saúde e Gamboa. Junto à Igreja de Santa Rita foi criado um cemitério para africanos recém-chegados, que muitas vezes logo morriam acometidos por doenças e desnutrição, o qual funcionou entre 1722 e 1769. Em 1769, o Vice-Rei Marquês do Lavradio pôs fim a uma disputa dos traficantes de escravos contra a Câmara, que havia proibido esse tipo de comércio nas áreas mais próximas do Paço. O mercado de escravos foi então transferido para a área do Valongo, que se transformou no principal ponto de entrada dos africanos escravizados.

Isso atraiu para a área a fabricação de objetos de ferro para prisão e castigo. O cemitério para africanos foi transferido da Igreja de Santa Rita para a atual Rua Pedro Ernesto, onde hoje se situa o Instituto dos Pretos Novos, tendo funcionado até as primeiras décadas do século XIX. Havia ainda tabernas, onde se encontravam marinheiros e demais pessoas que viviam do tráfico negreiro. Em 1811, por ordem de D. João VI, a Intendência Geral de Polícia mandou construir um cais de pedra no Valongo, facilitando o tráfico de escravos. Foi também construído um hospital, o Lazareto dos Escravos na Enseada da Gamboa, para receber os que chegavam doentes, uma forma de minimizar as perdas dos investimentos realizados com a compra e transporte daquelas pessoas.   

A chegada de escravos no Rio de Janeiro continuou durante o século XIX, já agora para suprir a lavoura cafeeira do Vale do Paraíba, a maioria embarcada em Angola, de diferentes nações, tendo havido também aqueles chegados da Costa da Mina, atuais Gana, Togo, Benin e Nigéria. Mas muitos vinham do Nordeste, onde a lavoura açucareira havia perdido dinamismo. As crescentes dificuldades impostas pelos ingleses ao tráfico negreiro a partir da África impulsionaram essa migração interna no século XIX. Mesmo a área urbana do Rio de Janeiro perdeu população escrava para as regiões cafeeiras.

Na Saúde, a abertura dos portos brasileiros ao comércio com as nações amigas da corte portuguesa gerou a criação de trapiches, depósitos e novos cais. A partir de 1830, a exportação do café passou a ser a força impulsionadora desse processo. Diversos proprietários de trapiches ou de empresas industriais solicitaram licenças à Câmara Municipal para a construção ou a melhoria de seus cais. Em 1855 foi inaugurado o Mercado da Harmonia, que se localizava junto ao mar e a ele era ligado por um cais. Em 1888 o Moinho Fluminense solicitou licença para a construção de um cais defronte ao número 172 da Rua da Saúde. A própria Câmara Municipal tinha um para passageiros na Prainha, atual Praça Mauá.

Em 1831, a assinatura da lei tornando ilegal o comércio oceânico de escravos provocou o esvaziamento dos então chamados depósitos de escravos da Rua do Valongo. Logo chegaram novas atividades industriais, como a fábrica de artefatos de vidro no Saco do Alferes em 1830 e um estaleiro na Prainha, em 1837. Instalaram-se na área companhias de navegação e, em 1842, a Câmara Municipal promoveu a urbanização de uma praça no Valongo. No ano seguinte, ela foi remodelada para o desembarque da Imperatriz Teresa Cristina, recebendo um cais de pedras aparelhadas, que se sobrepôs às antigas pedras por onde haviam pisado os escravos em sua chegada ao Rio de Janeiro. O antigo Cais do Valongo só foi redescoberto em 2011, após escavações realizadas no local, propiciadas pelas obras de reurbanização da área portuária e pela construção de uma nova galeria de águas pluviais. Essa cortou parcialmente os dois cais sobrepostos. Em 2017 o Sítio Arqueológico do Cais do Valongo foi reconhecido como Patrimônio Mundial pela Unesco.   

Após a segunda metade do século XIX, surgiu a necessidade de um porto para a cidade, que fosse capaz de responder ao crescente volume de cargas. Em 1852 teve início a construção da Doca da Alfândega, entre os Arsenais de Marinha e de Guerra. A pequena dimensão dessa doca levou o engenheiro André Rebouças, o primeiro engenheiro negro a se formar na Escola do Largo de São Francisco, a propor a construção das Docas Pedro II, ocupando as enseadas da Saúde e da Gamboa, com cais sobre o mar, além de um ramal ferroviário que as servisse. A falta de recursos e a oposição de grupos rivais impediram que o projeto de Rebouças fosse completado, tendo sido executado apenas um trecho entre as atuais ruas Argemiro Bulcão e Barão de Tefé, inaugurado em 1871.

A demanda da atividade portuária por braços para a estiva atraiu retirantes fugidos das secas do Nordeste, ex-soldados de Canudos, imigrantes europeus e ex-escravos, especialmente da Bahia, como descreve Roberto Moura, no livro Tia Ciata e A Pequena África no Rio de Janeiro.^[1]

A Abolição engrossa o fluxo de baianos para o Rio de Janeiro, liberando os que se mantinham em Salvador em virtude de laços com escravos, fundando-se praticamente uma pequena diáspora baiana na capital do país, gente que terminaria por se identificar com a nova cidade onde nascem seus descendentes, e que, naqueles tempos de transição, desempenharia notável papel na reorganização do Rio de Janeiro popular, subalterno, em volta do cais e nas velhas casas no Centro.

Na Saúde, a Pedra do Sal tornou-se um ponto de encontro desses trabalhadores e de suas manifestações culturais. Baianos e cariocas se enfrentariam nas ruas da cidade usando a capoeira como forma de luta. E a atividade portuária lhes permitiu destacar-se em organizações sindicais, como a Sociedade de Resistência dos Trabalhadores em Trapiches de Café, antes chamada de Companhia de Pretos. A migração de trabalhadores europeus, assim como as migrações internas de negros libertos vindos de diversas partes do país, gerava uma crescente demanda por habitação, atendida por formas precárias de moradia no centro da cidade e nos bairros portuários.

Com a reforma Passos, a população mais pobre do Centro foi expulsa, aumentando a ocupação dos morros da cidade, especialmente os mais próximos dali, como o da Providência, o de Santo Antônio e o de São Carlos, além do crescimento dos subúrbios. Nesses morros foram erguidas casas de paredes de barro ou de chapas aproveitadas de latas, com chão de terra batida, sem saneamento ou energia elétrica, mas livres de aluguéis, ou pagando apenas valores baixos. Apesar de expulsos do coração da área central da cidade, a presença desses trabalhadores nas proximidades era importante para atender às necessidades do comércio e dos serviços daquela área e das casas da Zona Sul.

Seja por preconceito ou por desconhecimento de como atender às expectativas do comércio e da indústria, eram poucas e difíceis as possibilidades de inserção dos negros no mercado de trabalho formal. Eles se viram empurrados para as atividades de menor remuneração, como a fabricação e venda de doces e comidas, especialmente para as mulheres, e o mercado ambulante. Houve também os que entraram para a polícia e as forças armadas. E os que trabalharam como artistas em teatros e cabarés, ou no submundo da malandragem e da prostituição.

Outra opção de moradia popular na área central agora renovada, eram os bolsões do tecido urbano mais antigo, como a Cidade Nova, que continuaram a atrair setores da classe trabalhadora e da população pobre da cidade, incluindo os baianos. Uma dessas áreas era a mítica Praça Onze, depois arrasada para a abertura da Avenida Presidente Vargas.

Na Cidade Nova e na Lapa iam surgindo gafieiras, cafés e teatros, onde os músicos que praticavam a fusão dos ritmos europeus com o batuque e os ritmos negros se apresentavam. Músicos esses que se encontravam nas inúmeras e longas festas, especialmente do grupo de baianos, como a Tia Ciata. Ali o choro, o maxixe, e depois o samba, se desenvolveram e conquistaram o restante da cidade e do país, tornando-se a face mais conhecida da cultura popular brasileira. A música de ex-escravos tornou-se um símbolo nacional, apesar de seus criadores terem seguido relegados a uma subalternidade social e econômica. Heitor dos Prazeres denominou “Pequena África” a área que ia da Área Portuária à Praça Onze, tal a concentração de população negra e mulata, e a riqueza cultural que ali florescia. A casa de Tia Ciata era um dos principais pontos de referência dessa nova geografia.

Também o carnaval começou a ganhar sua feição atual por obra dos baianos instalados na periferia do Centro. Eles trouxeram para o Rio as tradições dos ranchos do Dia de Reis, deslocando-os depois para o período do carnaval. Assim, o entrudo começou a ganhar agremiações organizadas que desfilavam com suas músicas e evoluções. E a Praça Onze foi o centro dessa transformação.   

Toda essa movimentação e proximidade de negros e mestiços, baianos ou não, de pobres de todas as áreas, e de outros imigrantes europeus, cada vez mais numerosos na cidade, propiciou o surgimento da cultura popular carioca, que tanto contribuiu para a cultura brasileira. Formava-se a alma daquilo que depois veio a ser conhecido como a Cidade Maravilhosa.