Na época da colonização do Brasil, Martin Afonso de Souza, além de outras tarefas, foi incumbido de implantar a Justiça, podendo, inclusive, criar cargos como o de tabelião e o de oficial de justiça.
Apenas em 1587 advém a mais alta esfera judicial, o Tribunal da Relação, sediado na Bahia, todavia tal órgão não chegou a funcionar.
Em 07.03.1609, foi instituído o primeiro Tribunal da Relação do Brasil, com dez desembargadores, o qual foi extinto em 05.04.1626 e recriado em 12.09.1652, dessa feita com 08 desembargadores, conforme relata Edson Rocha Bonfim in “SUPREMO TRIBUNAL FEDERAL – Perfil Histórico” p. 3/9.
Inicialmente, haviam quatro Províncias no Brasil e em cada qual foi instituído um Tribunal de Relação que, por sua vez, originaram os futuros Tribunais de Justiça.
Na Relação do Rio de Janeiro, a segunda criada, foi introduzido no seu regimento a mesa do Desembargo do Paço, com competência para fianças, petições, perdões e comutações de pena, exceto as de degredo para Angola ou as galés.
O pilar da organização da máquina judiciária em nosso país foi o Alvará de 10.05.1808, de Dom João VI, que criou a Casa da Suplicação do Brasil, elevando a antiga Corte do Rio de Janeiro à qualidade de primeiro Tribunal, posicionando superiormente às Relações locais das Capitanias, órgão de cúpula que atuou até 1828, com vistas a disciplinar e revisar as decisões das Relações, de molde a unificar a interpretação do direito conforme as peculiaridades brasileiras.
Não se pode falar em Justiça Federal até o final do Império, pois o Estado Brasileiro era do tipo unitário.
A proclamação da República em 15 de novembro de 1889, ainda no Governo Provisório, trouxe modificações às instituições brasileiras. De fato a Constituição Provisória da República, publicada com o Decreto 510, de 22 de junho de 1890, atendendo à nova estrutura federativa, adota o dualismo judiciário. Vale dizer, além da Justiça dos Estados , formada por Juízes e Tribunais Estaduais, uma Justiça Federal.
Através do Decreto nº 848, de 11 de outubro de 1890 foi organizada a Justiça Federal, constituindo-se uma Seção Judiciária para cada Estado, bem como para o Distrito Federal, com sede na respectiva capital, tendo à frente um Juiz Seccional, auxiliado por um Juiz Substituto.
A primeira Constituição Republicana, de 1891, veio garantir a vitaliciedade dos magistrados e consagrar duas competências para o Poder Judiciário: A Federal e a Estadual.
A Constituição de 16 de julho de 1934 mantém o sistema dual do judiciário e deu ao Supremo Tribunal Federal o nome de Corte Suprema. O art. 36 estabelecia que seriam estes os órgãos do Poder Judiciário: a) A Corte Suprema; b) os Juízes e Tribunais Federais; c) os Juízes e Tribunais Militares e d) os Juízes e Tribunais Eleitorais.
Com a Constituição de 10 de novembro de 1937 foi extinta a Justiça Federal sendo abolido o sistema dual e adotado o modelo de Justiça única.
A Constituição de 1946 restaura a Justiça Federal, apenas em parte, com a criação do Tribunal Federal de Recursos como integrante do Poder Judiciário. Não foi restaurada, no entanto, a Justiça Federal de 1ª Instância.
Com a edição do Ato Institucional Nº 2, de 27 de outubro de 1965 é recriada a Justiça Federal de 1ª Instância. Cada Estado e o Distrito Federal passa a constituir uma Seção Judiciária. Os Juízes Federais são nomeados pelo Presidente da República, escolhidos em lista quíntupla formada por cidadãos de saber jurídico e reputação ilibada, indicados pelo Supremo Tribunal Federal. De resto o Poder Judiciário da União guarda a estrutura da Constituição de 1946.
Em 30 de maio de 1966, com o advento da Lei 5.010, é estruturada a Justiça Federal no modelo que a conhecemos hoje. São criados os cargos de Juiz Federal Substituto, sendo seu provimento por Concurso Público. Cada Vara dispunha de um cargo de Juiz Federal e um cargo de Juiz Federal Substituto.