Nos
últimos 40 anos, muitos sistemas de cuidados de saúde que eram financiados ou
detidos pelo Estado passaram a privatizar os seus serviços, principalmente
através da externalização para o sector privado. Mas qual foi o impacto da
privatização na qualidade dos cuidados de saúde? Um dos principais objetivos
desta transição foi melhorar a qualidade dos cuidados de saúde através de uma
maior concorrência no mercado, juntamente com os benefícios de um sector
privado mais flexível e centrado no doente. No entanto, tem havido preocupações
quanto ao facto de estas reformas poderem resultar em cuidados piores, em parte
porque é mais fácil reduzir os custos do que aumentar a qualidade dos cuidados.
Muitas destas reformas tiveram lugar há décadas e foram efetuados numerosos
estudos que examinaram os seus efeitos na qualidade dos cuidados de saúde
recebidos pelos doentes. Analisámos esta literatura, centrando-nos nos efeitos
da externalização dos serviços de saúde em países de elevado rendimento.
Verificámos que os hospitais que passaram do estatuto de propriedade pública
para o estatuto de propriedade privada tendem a obter lucros mais elevados do
que os hospitais públicos que não se converteram, principalmente através da
admissão seletiva de doentes e da redução do número de funcionários.
Verificámos também que os aumentos agregados da privatização correspondiam
frequentemente a piores resultados em termos de saúde para os doentes. Muito
poucos estudos avaliaram esta importante reforma e existem muitas lacunas na literatura.
No entanto, com base nos dados disponíveis, a nossa análise apresenta provas
que contestam as justificações para a privatização dos cuidados de saúde e
conclui que o fundamento científico para uma maior privatização dos serviços de
saúde é fraco.
Introdução
A privatização dos cuidados de saúde é uma
política de transferência da prestação de serviços públicos para indivíduos ou
empresas privadas. Muitos serviços de saúde nacionalizados têm procurado a
privatização desde os anos 80, na esperança de que os mercados mistos e a
inclusão de interesses do sector privado possam melhorar a qualidade dos
cuidados de saúde a um custo inferior ao do sector público. Embora existam
muitas formas de privatização, incluindo a transferência do financiamento do
Estado para os particulares, uma forma popular de privatização é a
subcontratação ou externalização de serviços.1 Nestes modelos, um
serviço financiado pelo sector público mantém os poderes de decisão, mas
contrata uma organização privada para prestar um serviço acordado. Embora este
modelo de prestação de serviços seja intuitivamente apelativo e notavelmente
popular, a sua conveniência é ainda contestada por aqueles que argumentam que
os mecanismos de mercado não podem funcionar eficazmente nos sistemas de saúde.2
Os defensores da externalização de serviços
para o sector privado argumentam que a responsabilidade financeira obriga as
empresas privadas a garantir o bem-estar dos doentes, a procurar a inovação e a
eliminar a burocracia desnecessária. Estes motivos de lucro supostamente dariam
às empresas privadas uma vantagem competitiva sobre o sector público, que é
frequentemente limitado por culturas e regulamentos rígidos e por poucos
incentivos à inovação.3,4 Os prestadores do sector privado podem
também ter efeitos concorrenciais, melhorando o desempenho de todo o sistema de
saúde, uma vez que todos os prestadores são incentivados a prestar serviços de
melhor qualidade se quiserem ganhar a confiança dos organismos que os contratam
(especialmente quando os preços são em grande parte fixos, o que acontece
frequentemente quando há um único comprador, como o governo central).5,6
No
entanto, a motivação do lucro nem sempre conduz aos resultados desejados.
Incentivar os prestadores privados a dar prioridade à qualidade dos cuidados de
saúde é um desafio para os organismos públicos, uma vez que a qualidade pode
ser difícil de verificar e de, racionalmente, ser uma prioridade. A assimetria
de informação surge quando os contratantes se esforçam por identificar os
níveis de qualidade e de desempenho dos prestadores.7 Os mercados
competitivos podem mesmo desencorajar os prestadores de revelar informações
sobre a qualidade dos serviços.8 Nesses casos, os resultados
observáveis (por exemplo, o custo do serviço) podem ser considerados
prioritários, especialmente quando é difícil melhorar a qualidade em relação
aos concorrentes. Assim, em alguns sistemas de saúde, a relação entre a concorrência
e a qualidade dos cuidados é difícil de identificar se não existirem dados
fiáveis que a meçam.9 Na ausência de incentivos corretos para que os
prestadores privados deem prioridade à qualidade dos cuidados, podem adotar-se
políticas que façam – o que se pense serem – sacrifícios marginais na qualidade
em troca de grandes reduções nos custos, como seja a redução do pessoal, a
diminuição dos salários do pessoal, a escolha seletiva de doentes rentáveis, a
prescrição excessiva de serviços ou a alta prematura de doentes.
As
análises anteriores sobre este tema centraram-se nos efeitos da propriedade dos
hospitais na qualidade de forma transversal – ou seja, comparando os resultados
dos prestadores públicos e privados.10,11 Estes estudos podem
ajudar-nos a compreender como os prestadores do sector privado se comportam de
forma diferente dos prestadores do sector público. No entanto, estas provas não
são conclusivas por duas razões. Em primeiro lugar, as análises transversais quanto
à propriedade não identificam frequentemente um grupo de comparação que preste
serviços semelhantes a tipos de doentes semelhantes. Mais especificamente, o
sector privado trata frequentemente pessoas mais saudáveis em sistemas de saúde
em que alguns serviços são prestados pelo Estado e outros pelo mercado privado.
As provas sugerem que os indivíduos que acedem a cuidados de saúde privados
tendem a ter mais recursos e melhor saúde.12,13 Consequentemente, ao
comparar os resultados em hospitais públicos e privados, será difícil controlar
o enviesamento dos doentes menos graves que são selecionados em hospitais
privados e que têm melhores resultados, não devido à qualidade dos cuidados,
mas devido ao estado de saúde subjacente desses doentes. O efeito da
propriedade é apenas uma parte da justificação para a privatização.
Em segundo lugar, a concentração no tipo de propriedade esquece
uma das principais razões para a privatização – o facto de a concorrência entre
prestadores dever produzir efeitos indiretos positivos na qualidade dos
cuidados prestados pelos prestadores públicos. Se a externalização funcionar
como os seus defensores teorizam, os prestadores públicos melhorarão a sua
qualidade de cuidados de saúde, aprendendo com os prestadores inovadores do
sector privado, ou devido a uma motivação intrínseca para evitar perder
contratos para o sector privado. Em teoria, a concorrência também permitirá que
os contratantes sejam mais exigentes no processo de contratação. Por
conseguinte, quaisquer diferenças entre prestadores públicos e privados podem
ser tendenciosas e não adequadas para compreender todos os efeitos do crescimento
das externalizações
A necessidade de medir tanto os efeitos da propriedade como os da
concorrência é abordada nesta análise, centrando-a em estudos longitudinais que
tenham grupos de comparação significativos ou que procurem ter em conta os
enviesamentos e que meçam os efeitos agregados do aumento da externalização.
Métodos
Os nossos critérios de seleção e a estratégia
do estudo estão resumidos mais adiante e no apêndice (p 1). Os critérios de
inclusão estão listados na tabela 1. Seguimos as orientações de síntese sem
meta-análise concebidas para intervenções complexas.14 Selecionámos
esta abordagem porque investigar se a privatização afeta a qualidade dos
cuidados de saúde requer uma análise cuidadosa de estudos quantitativos, mas a
privatização é frequentemente implementada de forma fragmentada e incremental,
o que significa que os estudos não são suficientemente comparáveis para uma
meta-análise.
Extraímos informações sobre os dados de
publicação, país do estudo, tipo de intervenção, métodos, principais conclusões,
resultados, direção do efeito e tamanho das amostras. Efetuámos uma avaliação
crítica de cada estudo utilizando uma ferramenta de avaliação de riscos:
Cochrane ROBINS-I para estudos não aleatórios de intervenções.18 Os
resultados desta avaliação do risco de viés são apresentados no apêndice (pp
2-5). Dado o pequeno número de estudos incluídos, criámos indutivamente duas
categorias com base nas duas estratégias de identificação que foram utilizadas
na metodologia dos artigos.
Resumo dos resultados
A nossa pesquisa permitiu obter 322 artigos,
dos quais 13 foram identificados como satisfazendo os nossos critérios de
inclusão após triagem e avaliação (figura 1). Encontrámos dois tipos de artigos
através do nosso processo de pesquisa e triagem: os que avaliaram o efeito da
conversão de hospitais públicos em privados (tabela 2) e os que realizaram
regressões longitudinais a um nível ecológico sobre a variação na proporção de
serviços prestados por fornecedores do sector privado (tabela 3).
Oito artigos analisaram a
qualidade dos cuidados (medidos de várias formas) recebidos pelos doentes antes
e depois de um hospital passar do estatuto de propriedade pública para o de
propriedade privada (quadro 2). Três destes estudos eram oriundos dos EUA,19,21,26
dois da Alemanha,20,22 um da Croácia,23 um do Canadá,24
e um da Coreia do Sul.25 Metodologicamente, cinco destes artigos
utilizaram modelos de diferença-em-diferenças ou modelos de regressão de
efeitos fixos (que controlam as variáveis invariantes no tempo). A gama de
resultados incluídos nos seus modelos era diversa, mas três centraram-se nos
níveis de pessoal, um examinou a estratificação dos doentes por tipo de seguro
e os restantes estudos exploraram uma série de resultados relacionados com a
qualidade, tais como a carga de trabalho dos médicos e outros funcionários, o
número de serviços prestados e as lesões entre os funcionários do hospital.
O tema dominante destes estudos foi o dos
hospitais privados que tendiam a procurar mais eficiências financeiras, visando
os doentes mais rentáveis e reduzindo os níveis de pessoal. No que se refere ao
estado de saúde financeira dos doentes, os estudos concluíram que o número de
doentes apoiados pelo Medicaid, por instituições de solidariedade social ou não
apoiados (e, por conseguinte, considerados menos rentáveis) foi reduzido, em
média, nos hospitais que passaram para o estatuto de hospitais privados com
fins lucrativos.19 Não foram encontradas provas relativas ao estado
de saúde dos doentes tratados após a privatização dos hospitais, o que poderia
ter evidenciado o modo como a privatização afeta as desigualdades em matéria de
saúde.
A maioria dos artigos concluía que a
privatização dos hospitais tinha implicações negativas para a qualidade dos
cuidados, embora, o que é importante, nenhum tivesse medido diretamente os
resultados de saúde dos doentes. Uma exceção notável foi o único artigo que
estudou a conversão dos cuidados primários, o qual constatou melhorias na forma
como os doentes conseguiam as suas consultas.23
Outro grupo de estudos analisou os efeitos
agregados da privatização, avaliando as alterações ao longo do tempo na
externalização e alguns resultados que representam a qualidade dos cuidados
(por exemplo, mortalidade evitável; quadro 3). Este grupo incluía cinco
estudos. Dois destes estudos foram realizados em Inglaterra,28,30 um
na Suécia,27 um em Itália,29 e um nos EUA;31
embora o estudo dos EUA fosse ligeiramente diferente, uma vez que examinou a
privatização dos serviços de cuidados de saúde prestados a indivíduos na
prisão. Quatro destes artigos utilizaram regressões de efeitos fixos
(controlando as variáveis invariantes no tempo) e um utilizou uma conceção de
séries temporais interrompidas. Três destes artigos utilizaram uma medida de
mortalidade evitável ou tratável (por exemplo, mortes que deveriam ter sido
evitadas com cuidados adequados), um centrou-se nas infeções por Staphylococcus
aureus resistentes à meticilina e um centrou-se na mortalidade de pessoas
encarceradas.
A maioria destes estudos identificou associações negativas com o aumento da externalização que correspondiam a cuidados de pior qualidade. Um estudo concluiu que uma reforma privatizadora melhorou os cuidados de saúde em toda a amostra (ou seja, 21 países), mas que os locais com os níveis mais elevados de prestação privada apresentavam uma pior qualidade dos cuidados de saúde do que as zonas com níveis mais baixos de privatização – medida em termos de hospitalizações evitáveis.27
Efeitos nos resultados de saúde
A nível ecológico, as elevadas taxas de privatização e de externalização corresponderam quase sempre a piores resultados em termos de saúde nos estudos incluídos nesta revisão. Dois artigos analisaram os níveis regionais de privatização para um país inteiro e ambos concluíram que o aumento da percentagem de externalização correspondia a taxas de mortalidade evitáveis mais elevadas do que antes da externalização.28,29 O único outro artigo que avaliou as taxas de mortalidade fê-lo em populações encarceradas e também encontrou taxas de mortalidade evitáveis mais elevadas à medida que a proporção de cuidados de saúde externalizados aumentava.31 Além disso, os serviços de limpeza externalizados correspondiam a taxas mais elevadas de infeção hospitalar do que os serviços de limpeza internos.30 Foram encontrados resultados mais matizados na Suécia, quando os resultados em termos de hospitalizações evitáveis melhoraram em todo o país após uma reforma de privatização dos cuidados primários; os resultados deste estudo não mostraram uma variação dose-resposta – ou seja, as áreas que foram reformadas primeiro ou que tiveram os maiores aumentos de prestadores privados não mostraram as maiores melhorias na qualidade dos cuidados – e este fator não é, por isso, atribuível a uma causa conhecida.27 Nenhum dos estudos desta revisão descobriu que o aumento da privatização correspondia a melhores resultados de saúde para os doentes. Nenhum dos artigos que avaliaram as conversões de hospitais incluiu resultados de saúde, uma lacuna importante na literatura identificada nesta revisão.
Efeitos no pessoal
Alguns estudos avaliaram o pessoal como uma medida intrínseca da provável qualidade dos cuidados recebidos pelos doentes ou em termos das condições de emprego do pessoal. Vários artigos mediram especificamente a diferença relativa das taxas de contratação de pessoal antes e depois da privatização dos hospitais.20-22 A Figura 2 resume os resultados identificados nestes estudos. De um modo geral, os estudos concluíram que a externalização correspondia a um menor número de efetivos por doente.20-22 O mesmo se verificou em relação ao pessoal de limpeza.30 No entanto, o efeito variava consoante o tipo de pessoal. Por exemplo, apenas os enfermeiros mais qualificados tiveram números reduzidos nos hospitais externalizados em comparação com os hospitais públicos nos EUA.21 Nos dois estudos que mediram o número de médicos, este valor não foi reduzido após a privatização, ao passo que a maioria das outras categorias de pessoal o foi.20,22
Outros artigos analisaram os resultados para os trabalhadores, tais como os salários, os contratos e a saúde dos trabalhadores. No Canadá, a externalização dos serviços de alimentação e de limpeza correspondeu a um menor número de lesões relacionadas com o trabalho e a períodos mais curtos de baixa por cada lesão relacionada com o trabalho (bem como a algumas que se mantiveram inalteradas).24 Um estudo qualitativo de acompanhamento sugeriu que a probabilidade de subnotificação destes incidentes após a privatização dificultou a interpretação dos dados e discutiu as incertezas sobre se a privatização melhorou efetivamente as condições de trabalho ou se apenas suprimiu a comunicação de dados.24 Outro artigo avaliou descritivamente as alterações na desigualdade salarial, na segurança do emprego e na carga de trabalho na Coreia do Sul, tendo encontrado piores resultados em todos estes domínios nos serviços privatizados, em comparação com os serviços não privatizados.25 No entanto, a amostra era demasiado pequena para se poderem efetuar estatísticas inferenciais.
Efeitos sobre o acesso aos cuidados de saúde
Três artigos avaliaram algumas formas de acesso aos cuidados de saúde
(aqui definido como a facilidade com que os doentes podem aceder aos serviços)
com resultados mistos.19,23,26 Dois artigos que avaliaram as
conversões de hospitais públicos para privados nos EUA concluíram que os
hospitais se tornaram menos acessíveis após a conversão, quer porque a
combinação de casos mudou para doentes mais rentáveis, quer porque o número de
serviços prestados foi reduzido.19,26
No entanto, a conversão das práticas de cuidados primários na Croácia para o estatuto de propriedade privada teve resultados mais positivos – os doentes começaram a receber horários de consulta mais precisos e tiveram a oportunidade de aceder aos cuidados de saúde através de novos meios, como chamadas telefónicas fora de horas.23
De um modo geral, os resultados sugerem que o acesso aos cuidados de saúde pode ser afetado de diferentes formas, com horários de marcação mais precisos e tempos de espera reduzidos em alguns casos, mas com efeitos que podem prejudicar alguns grupos, em especial aqueles cujos tratamentos têm baixos lucros para o sector privado.
Efeitos sobre os resultados financeiros
Esta análise não tentou avaliar o efeito da privatização na relação custo-eficácia, que está relacionada com a questão da qualidade dos cuidados, mas é diferente. Os estudos centrados apenas nos resultados financeiros poderão ter conclusões diferentes. No entanto, verificou-se uma tendência – entre os artigos que referiam alguma medida da qualidade dos cuidados de saúde – para o aumento das margens de lucro dos hospitais que passaram a ter fins lucrativos. No entanto, os hospitais que passaram a ter fins lucrativos tiveram, em média, um desempenho financeiro muito pior do que os hospitais públicos que permaneceram públicos. Por conseguinte, é possível que haja aqui um efeito de seleção e é necessário trabalhar mais para compreender melhor os efeitos no desempenho financeiro.
Discussão
Analisámos e resumimos as provas sobre os efeitos da externalização dos
serviços de saúde na qualidade dos cuidados, concentrando-nos nos estudos que
fornecem as provas mais fortes, porque utilizaram dados longitudinais que
permitiram acompanhar as mudanças ao longo do tempo. Esta análise descreve
reformas que frequentemente alteram a prestação de cuidados de saúde e reduzem
a abrangência e a generosidade dos cuidados. Infelizmente, estes ganhos de
eficiência não parecem ser benignos, uma vez que os estudos sugerem que a
externalização tende a piorar os resultados em matéria de saúde. A maioria dos
estudos constantes da presente análise sugere que a privatização reduz a qualidade
dos cuidados e piora os resultados em termos de saúde dos doentes tratados em
contextos de cuidados de saúde privatizados.
Quando os governos ponderam como responder às consequências atuais da
pandemia de COVID-19 nos sistemas de saúde, bem como às respostas a longo prazo
ao envelhecimento das populações e aos orçamentos limitados, podem procurar uma
solução única e simples que prometa cuidados de melhor qualidade a um custo
mais baixo.32,33 No entanto, as provas apresentadas nesta análise
sugerem que existe o risco de os governos procurarem reduções a curto prazo em
detrimento dos resultados a longo prazo, em parte porque a privatização através
da externalização de serviços para o sector privado não parece proporcionar
simultaneamente melhores cuidados e cuidados mais baratos.
A nossa análise também tem potencialmente implicações para os argumentos
teóricos mais amplos apresentados a favor da privatização em muitos domínios.
Os dados aqui compilados não correspondem às expectativas dos mercados mistos,
nomeadamente de que melhorariam a qualidade através do aumento da concorrência.5,9
Os dados apresentados nesta análise não põem em causa o mecanismo teórico
básico, mas sugerem antes que algumas áreas do Estado-providência, como a
educação e os cuidados de saúde, podem estar estruturadas de forma a serem
menos suscetíveis aos tipos de incentivos que operam noutros mercados. Por
exemplo, encontrar inovações que melhorem a qualidade no sector dos cuidados de
saúde pode ser mais difícil do que noutras áreas da economia, o que pode diminuir
os incentivos para competir em termos de qualidade.2 A apreciação
desta variação pode fazer com que os governos parem antes de prosseguir
reformas dispendiosas e demoradas em sectores onde a margem para melhorias de
qualidade é potencialmente pequena a curto prazo.
A presente análise centrou-se na conversão de serviços públicos em
serviços prestados pelo sector privado. No entanto, este processo não é muitas
vezes tão simples como a transição total para serviços privados e as formas
subtis de privatização, como as parcerias público-privadas, podem ser mais
difíceis de avaliar. Por exemplo, é frequentemente feita uma distinção entre
organizações privadas com e sem fins lucrativos. Nos estudos incluídos nesta
revisão, as transições para a prestação de serviços com fins lucrativos
resultaram normalmente em maiores declínios na qualidade dos cuidados de saúde,
em comparação com as transições para o estatuto de organização sem fins
lucrativos, mas as transições para organizações privadas sem fins lucrativos
também resultaram frequentemente em declínios na qualidade dos cuidados de
saúde. Uma das razões para esta conclusão pode ser o facto de as organizações
sem fins lucrativos poderem comportar-se de forma semelhante às organizações
com fins lucrativos.34 Em alternativa, poderíamos ter encontrado
maiores diferenças entre outras categorias de propriedade se os estudos
tivessem incluído essas subcategorias, por exemplo, os prestadores de cuidados
de saúde detidos por capitais privados que têm um desempenho particularmente
fraco.35
Esta análise tem algumas limitações, nomeadamente o facto de nenhum estudo
sobre privatização ter sido realizado num ensaio aleatório, o que significa que
os resultados estão necessariamente sujeitos a potenciais enviesamentos na sua
validade interna. Por exemplo, quando as alterações à legislação também alteram
simultaneamente os relatórios financeiros, os sistemas de pagamento e os
processos de reembolso, ou quando há uma perda de serviços que ocorre
paralelamente à privatização. É muito improvável que um ensaio aleatório deste
tipo seja realizado na prática e, mesmo que houvesse um governo disposto a
integrar a aleatorização na implementação de uma reforma de privatização, seria
difícil garantir que o processo de aleatorização não fosse violado de alguma
forma. Por outras palavras, as conceções de investigação de referência que podem
responder a esta questão são provavelmente muito diferentes das reformas ou
intervenções a nível individual, o que deve alterar a forma como encaramos as
provas aqui compiladas. A investigação resumida nesta revisão não é apenas a
melhor evidência de que dispomos atualmente, mas muitos destes estudos
permanecerão provavelmente entre as melhores evidências que alguma vez
poderemos recolher nesta área.
Do mesmo modo, os dados apresentados na presente análise provêm de um pequeno número de países de elevado rendimento (ou seja, oito países). Os nossos resultados não se aplicam, obviamente, aos países de rendimento médio e baixo e é possível que estes processos sejam diferentes nesses contextos, especialmente quando a base para a provisão pública não tem tantos recursos como em alguns dos contextos de rendimento elevado incluídos nesta análise. Além disso, embora as revisões sistemáticas tenham como objetivo descobrir o chamado efeito real de uma intervenção, o efeito da privatização dependerá provavelmente dos contextos sociais e institucionais em que essas reformas ocorrem. Declarar que a privatização nunca funciona seria prematuro (os estudos que incluímos sugerem alguns efeitos positivos em alguns contextos específicos) e precisamos de mais investigação para compreender quando é que a externalização pode melhorar a qualidade e não apenas reduzir os custos.
Há muitas lacunas nesta análise que merecem ser investigadas. A mais óbvia é o efeito das conversões de hospitais nos resultados de saúde dos doentes, mas também existe uma grande capacidade para análises de investigação a nível ecológico sobre outros resultados para além das taxas de mortalidade. Outra lacuna é o facto de muito poucos estudos incidirem sobre outros aspetos dos cuidados de saúde para além dos cuidados hospitalares – os cuidados comunitários, primários e ambulatórios são largamente omitidos. Muitos dos estudos centram-se nos níveis de pessoal, o que é apenas um de um vasto leque de fatores que poderiam ser considerados como fazendo parte da qualidade dos cuidados de saúde prestados aos doentes, faltando particularmente as perceções do público e dos doentes sobre os serviços prestados.15,16 Os estudos não desagregam os resultados por sexo ou género e o efeito da privatização dos cuidados de saúde sobre as desigualdades na saúde é uma área importante para investigação futura. Por último, considerámos principalmente os efeitos da externalização ou da subcontratação. Existem outras formas de privatização, como a transferência do financiamento dos cuidados de saúde do Estado para os particulares, que não foram analisadas na presente análise. Um exemplo é a passagem para o financiamento privado nos EUA, através da privatização do programa Medicare, que resultou em planos mais caros, mas com efeitos pouco claros na qualidade dos cuidados de saúde.36
Conclusão
Existe apenas um pequeno número de estudos sobre o efeito da
privatização na qualidade dos cuidados prestados pelos prestadores de cuidados
de saúde e, no entanto, neste pequeno grupo de estudos longitudinais,
encontramos um quadro bastante consistente. No mínimo, a privatização dos
cuidados de saúde quase nunca teve um efeito positivo na qualidade dos
cuidados. A subcontratação também não é um facto benéfico, uma vez que pode
reduzir os custos, mas parece fazê-lo à custa da qualidade dos cuidados. Em
termos gerais, a nossa análise fornece provas que põem em causa as
justificações para a privatização dos cuidados de saúde e conclui que o apoio
científico a uma maior privatização dos serviços de saúde é fraco.
Ver Tabelas, Figuras e Referências no artigo original AQUI