Modelo de validação de conteúdo de Pasquali nas pesquisas em Enfermagem
Introdução
Toda a pesquisa exige um planeamento para a sua execução, de forma a garantir
que o método científico seja cumprido em todos os seus aspetos. Para tanto,
torna-se essencial o uso de procedimentos que garantam indicadores confiáveis,
principalmente aquando da colheita de dados, para que a qualidade da pesquisa
seja alcançada.
A procura da qualidade nas pesquisas reflete a preocupação em analisar o
resultado dos diferentes trabalhos realizados pelo homem, com o objetivo de
alcançar a excelência e a qualidade exigidas no decorrer da evolução da
sociedade (Ventura, Ferreira, Loureiro, Oliveira, & Cunha, 2009).
Na área da saúde, é possível perceber um número crescente de questionários e
escalas disponíveis que procuram verificar e avaliar um fenómeno nas diversas
pesquisas realizadas (Alexandre & Coluci, 2011). No entanto, é
imprescindível que esses instrumentos possuam fidedignidade e validade para
minimizar a possibilidade de julgamentos subjetivos (Raymundo, 2009). Assim, o
reconhecimento da qualidade dos instrumentos torna-se um aspeto fundamental
para a legitimidade e credibilidade dos resultados de uma pesquisa, o que
reforça a importância do processo de validação.
A validação é um fator determinante na escolha e/ou aplicação de um instrumento
de medida e é mensurada pela extensão ou grau em que o dado representa o
conceito que o instrumento se propõe a medir (Bittencourt, Creutzberg,
Rodrigues, Casartelli, & Freitas, 2011).
Os métodos mais mencionados para obtenção da validade de uma medida pelos
psicometristas são a validade de construto, a validade de critério e a validade
de conteúdo (Pasquali, 2009).
A validade de construto ou de conceito constitui a forma direta de verificar a
amplitude em que a medida corresponde à construção teórica do fenómeno a ser
mensurado. Embora o conceito apresentasse outros nomes, tais como, validade
intrínseca, validade fatorial e até validade aparente. Estas várias
terminologias demonstram a confusa noção que o construto possuía (Pasquali,
2009).
O construto possui definições constitutivas e operacionais. A definição
constitutiva relaciona-se com a definição de termos em dicionários e
enciclopédias, ou seja, os conceitos, que são realidades abstratas e as
definições operacionais correspondem à definição do construto por operações
concretas, por meio de comportamentos físicos no qual o construto se expressa
(Pasquali, 2010).
A validade de critério é a correlação existente entre a medida avaliada em
relação à outra medida ou instrumento que serve como critério de avaliação, que
possui atributos iguais ou semelhantes e a validade preditiva e a concorrente
são dois dos seus critérios (Pasquali, 2009).
Em relação à validade de conteúdo esta inicia o processo de associação entre
conceitos abstratos com indicadores mensuráveis, bem como representa a extensão
com que cada item da medida comprova o fenómeno de interesse e a dimensão de
cada item dentro daquilo que se propõe investigar, bem como apresenta duas
etapas: a primeira constitui o desenvolvimento do instrumento e a segunda
envolve a análise e julgamento dos especialistas (Rubio, Berg-Weger, Tebb, Lee,
& Rauch, 2003). A análise de juízes ou análise de conteúdo é baseada,
necessariamente, no julgamento realizado por um grupo de juízes experientes na
área, a qual caberá analisar se o conteúdo está correto e adequado ao que se
propõe (Moura, Bezerra, Oliveira, & Damasceno, 2008).
Um estudo de validade de conteúdo pode fornecer informações sobre a
representatividade e clareza de cada item com a colaboração de especialistas,
porém existem limitações nos estudos de validade de conteúdo que precisam ser
observadas, visto que a análise dos especialistas é subjetiva e, por
conseguinte, podem existir distorções nos estudos (Rubio et al., 2003).
O modelo de Pasquali, apesar de ser da psicologia e consistir na teoria da
elaboração de escalas psicométricas aplicáveis à construção de testes
psicológicos de aptidão, de inventários de personalidade, de escalas
psicométricas de atitude e do diferencial semântico, é observado em pesquisas
de Enfermagem e envolve a teoria da elaboração de instrumentos de medida de
fenómenos subjetivos, com a composição de três conjuntos de procedimentos:
teóricos, empíricos (experimentais) e analíticos (estatísticos) (Pasquali,
2010).
O primeiro procedimento contempla a fundamentação teórica sobre o construto
para o qual se quer elaborar um instrumento de medida, isto é, a definição das
suas propriedades, a conceção da dimensionalidade desses atributos, bem como a
definição constitutiva e operacional desses, a construção dos itens e a
validação de conteúdo. O segundo consiste nas etapas e técnicas de aplicação do
instrumento piloto, bem como na colheita de informações que possam avaliar as
propriedades psicométricas do instrumento; e o terceiro são os procedimentos
analíticos, que determinam as análises estatísticas dos dados com vista à
validação do instrumento desenvolvido (Pasquali, 2010).
Além disso, para o julgamento dos itens de um instrumento existem doze
critérios, relacionados com o referencial metodológico de Pasquali que dão
subsídio para a validação de conteúdo desse instrumento, embora atinjam o campo
da validação aparente, uma vez que avaliam propriedades psicométricas do
instrumento, que indicam se os itens são compreensíveis à população alvo. Esses
constituem-se em critério comportamental, objetividade, simplicidade, clareza,
relevância, precisão, variedade, modalidade, tipicidade, credibilidade,
amplitude e equilíbrio (Pasquali, 2010).
Diante do exposto, o presente estudo tem como objetivo investigar a aplicação
do modelo de validação de conteúdo de Pasquali nas pesquisas brasileiras em
Enfermagem dos últimos cinco anos.
Procedimentos Metodológicos de Revisão Integrativa
Trata-se de um estudo de revisão integrativa da literatura, que consiste na
construção de uma análise ampla da literatura, com vista a contextualizar o
problema de estudo por restringir-se a estudos relevantes que apontem para
novos dados relacionados com os objetivos da pesquisa, de forma a contribuir
para discussões de métodos e resultados, assim como a reflexão sobre a
realização de estudos futuros (Crossetti, 2012).
A revisão integrativa foi realizada em cinco etapas, sendo elas: 1)
Identificação do problema; 2) Busca na literatura; 3) Avaliação dos estudos; 4)
Análise dos resultados e 5) Apresentação da síntese de conhecimento (Whittemore
& Knafl, 2005). Para identificação do problema considerou-se a seguinte
questão norteadora para este estudo: Como se aplica o referencial metodológico
de Pasquali nas pesquisas brasileiras em Enfermagem, relacionadas à validação
de conteúdo de instrumentos ou protocolos que contemplem a qualidade da
assistência em Enfermagem, por meio de validação de conteúdo de modelos
educativos, escalas de cuidados em Enfermagem ou procedimentos em Enfermagem?
Utilizou-se para a realização do estudo a Biblioteca Virtual em Saúde (BVS),
que incluiu a base de dados da Literatura Latino-Americana e do Caribe em
Ciências da Saúde (LILACS) e a Base de Dados de Enfermagem (BDENF), por
permitirem a pesquisa com uso de descritores em português e desse modo
favorecer a localização de estudos brasileiros, a fim de pontuar os estudos de
validação de conteúdo no cenário científico da enfermagem brasileira, com vista
à caracterização da aplicação do referencial metodológico de um pesquisador
brasileiro ' Luiz Pasquali.
O interesse pelo referencial metodológico de Pasquali nas pesquisas de
enfermagem brasileiras relaciona-se com a escolha da psicometria, uma vez que
esta estabelece subsídio para construção e obtenção de um instrumento válido,
que seja capaz de mensurar o que se espera. Dentre os três procedimentos, nos
quais se baseiam esse referencial, destacam-se procedimentos, que contemplam a
validação de conteúdo, apesar de outras formas de validação também poderem
estar envolvidas (Pasquali, 2010).
Embora não se garanta a inclusão de todas as pesquisas brasileiras sobre o tema
nas duas bases supracitadas, a forma como se realizou a pesquisa pretendeu
arrolar o maior quantitativo de estudos brasileiros dos últimos cinco anos.
Para a pesquisa nas bases de dados elencadas foram utilizados os descritores
controlados em Ciências da Saúde (DeCS): Estudos de Validação, Pesquisa em
Enfermagem e Enfermagem e o descritor não-controlado: Validação de Conteúdo.
Com o objetivo de aumentar as especificidades dos estudos, foi realizado um
cruzamento por pares de descritores.
Deste modo, foram realizados cinco cruzamentos nas bases de dados supracitadas,
que contemplaram os seguintes pares de descritores em cada base: Estudos de
Validação e Pesquisa em Enfermagem; Estudos de Validação e Enfermagem; Estudos
de Validação e Validação de Conteúdo; Pesquisa em Enfermagem e Validação de
Conteúdo e Enfermagem e Validação de Conteúdo.
A pesquisa foi realizada entre julho e agosto de 2013 e os critérios de
inclusão para seleção foram: artigos nos idiomas: português, espanhol e inglês;
que abordassem o modelo de validação de conteúdo de Pasquali aplicado em
pesquisas brasileiras de enfermagem e publicados a partir de 2008, os quais
contemplassem estudos de validação mais recentes acerca da qualidade da
assistência em Enfermagem, quer seja por meio da validação de conteúdo de
modelos educativos aplicados à Enfermagem, escalas de cuidado em Enfermagem, ou
procedimentos de Enfermagem. Excluíram-se os estudos que não responderam ao
questionário proposto ou os que estivessem duplicados, além das publicações do
tipo resumos, dissertações, teses, editoriais e notas ao editor.
Após a leitura dos dados colhidos, os artigos foram organizados em duas tabelas
no programa Microsoft Office Excel 2010. Essa fase envolveu a elaboração de um
instrumento de colheita de dados, com o objetivo de extrair as informações
chaves de cada artigo selecionado.
O instrumento adotado contemplou os itens: identificação do estudo (local de
publicação, local do estudo, ano), objetivos (dados do estudo), características
metodológicas (técnica de análise, juízes e número de etapas).
Resultados e Interpretação
Foram encontradas, numa primeira pesquisa, 383 publicações, das quais 98
(25,6%) foram pré-selecionadas após leitura dos títulos e resumos, enquanto 206
(53,8%) foram excluídas por estarem duplicadas.
Dentre as 98 publicações pré-selecionadas, 91 (92,8%) foram excluídas após
leitura na íntegra por não atenderem aos critérios de inclusão, o que resultou
numa amostra final de sete estudos selecionados, os quais foram desenvolvidos
no Brasil e constituem pesquisas de Enfermagem realizadas nos últimos cinco
anos.
Após a seleção dos sete artigos que atenderam aos critérios de inclusão da
pesquisa, foram extraídos dados quanto aos seus locais de publicação, locais de
desenvolvimento das pesquisas, ano, objetivos dos estudos e modelo de validação
de conteúdo utilizado nos estudos, conforme Tabela_1.
Os estudos selecionados foram todos estudos metodológicos que apresentaram
referencial metodológico de validação de conteúdo de Pasquali, com aplicação de
técnicas de validação que direcionam desde o número de juízes até ao número de
etapas desse processo, de acordo com esse referencial, como mostra a Tabela_2.
Os estudos analisados adotaram o referencial metodológico de Pasquali (2010)
baseados nos três grandes pólos ou procedimento - procedimentos teóricos,
procedimentos empíricos (experimentais) e procedimentos analíticos
(estatísticos).
Procedimentos Teóricos
Dentre os estudos pesquisados que especificaram os procedimentos teóricos
adotados para construção dos itens, Freitas et al. (2012) e Moura et al. (2008)
trataram da construção de materiais educativos para Enfermagem, com base em
materiais de domínio público para a construção do instrumento, além da
utilização de aspetos relacionados com o uso de tecnologias para a produção do
cuidado por meio do reconhecimento de um problema prático, da formulação do
problema, da procura de princípios científicos que o apoiem, do desenho do
artefato ou do processo com base nos princípios, do protótipo para ser
experimentado e a avaliação do resultado obtido.
Dentre outros estudos que detalharam tal procedimento, estão o referencial
teórico, que trata do desenvolvimento de uma performance clínica e construção
de um instrumento com base em três critérios: importância da atividade de
cuidado a ser mensurada, potencial de melhoria por ela apresentada e grau de
controle. O grau de controle que os profissionais executores do cuidado detêm
sobre os mecanismos possibilita a melhoria desejada, permitindo a execução dos
quatro passos, para construção dos itens que corresponderão: a escolha do
aspeto do cuidado a ser submetido à avaliação; a seleção dos indicadores dentro
de cada área; a construção de uma medida confiável e válida e submissão aos
juízes para verificar clareza e pertinência dos itens, permitindo assim a
construção de um Manual Operacional para cada item proposto, fundamentado por
um referencial científico (Vituri & Matsuda, 2009).
Yamada e Santos (2009) contemplaram a definição constitutiva de um referencial
teórico, que se propunha a construir para validação posterior, além da análise
da literatura sobre outros instrumentos que medem o mesmo construto, o que
corrobora com Pasquali (2010), uma vez que as fontes dos itens podem derivar da
literatura por meio de outros testes que medem o construto.
No que se reporta à avaliação do conteúdo dos instrumentos pela escala Likert,
em quatro estudos, utilizou-se a seguinte descrição: totalmente adequado,
adequado, parcialmente adequado e inadequado, ou seja, foram utilizadas escalas
de quatro pontos para colheita de informações com intuito de avaliar os itens
dos instrumentos (Moura et al., 2008, Freitas et al., 2012, Honório, Caetano,
& Almeida, 2011, Oliveira, Fernandes, & Sawada, 2008).
A escala Likert apresenta normalmente três ou mais pontos, onde o juíz da
pesquisa diz se concorda, está em dúvida ou discorda do que é afirmado no item
em relação à capacidade de medir o que o instrumento se propõe (Pasquali,
2010).
Para tanto, os itens construídos devem ser avaliados por juízes, os quais não
são amostras representativas da população para a qual o instrumento foi
construído. Para participar desta análise, os juízes devem ser peritos na área
da tecnologia construída, pois a sua tarefa consiste em ajuizar se os itens
avaliados se referem ou não ao propósito do instrumento em questão. Uma
concordância de pelo menos 80% entre os juízes poderá servir de critério de
decisão sobre a pertinência e/ou aceitação do item que teoricamente se refere
(Pasquali, 2010). Esse percentual de concordância entre os juízes foi referido
em cinco dos estudos analisados (Moura et al., 2008; Honório et al., 2011;
Oliveira et al., 2008; Vituri & Matsuda, 2009; Yamada & Santos, 2009).
Para o quantitativo de juízes, alguns autores esclarecem a adoção frente às
recomendações de Pasquali (2010), sugeridos de seis a vinte sujeitos, sendo
necessário no mínimo três indivíduos em cada grupo de profissionais
selecionados (Freitas et al., 2012). Já os estudos de Moura et al. (2008) e
Oliveira et al. (2008) basearam-se no número ímpar de juízes para evitar empate
nas opiniões (Vianna, 1982).
Os critérios quanto à seleção dos juízes variaram nos estudos, Freitas et al.
(2012) utilizou o critério de pontuação de Barbosa (2008) com a seleção de
especialistas com pontuação mínima de cinco pontos para enfermeiros obstetras,
que possuíam tese ou dissertação na temática, monografia de graduação ou
especialização, participação em grupos/projetos de pesquisa que envolva o pré-
natal, experiência docente em pré-natal, atuação prática em atenção pré-natal,
orientação de trabalhos na temática pré-natal, autoria em dois trabalhos
publicados em periódicos sobre pré-natal, participação em bancas avaliadoras de
trabalhos em pré-natal e escala de três pontos para profissionais da
informática ' especialista em desenvolvimento de websites, experiência
profissional em desenvolvimento de AVA e especialização na área de web;
enquanto Honório et al. (2011) recomendou o alcance mínimo de cinco pontos,
conforme preconizado por proposta de Fehring (1994), a qual considerou a
titulação académica, experiência profissional e publicação científica na área.
Foram adotados critérios para estudos, com a pontuação mínima de três pontos
quanto ao título, produção científica, tempo de atuação com a temática em
discussão ou pelo menos dois pontos nos critérios: trabalhar com educação em
saúde para portadores de diabetes, ter experiência profissional na área há mais
de dois anos, ter conhecimento sobre nutrição para diabéticos, ter trabalho
científico sobre diabetes, conhecimento sobre tecnologia educativa e
conhecimento sobre processo de validação de instrumentos (Moura et al., 2008;
Oliveira et al., 2008).
Em relação à análise teórica e semântica dos itens, há suplantação da validação
de conteúdo ocorrida até à definição constitutiva e operacional dos itens, com
o uso de critérios adaptados dos que são sugeridos por Pasquali (2010) que são
doze: critério comportamental, objetividade, simplicidade, clareza, relevância,
precisão, variedade, modalidade, tipicidade, credibilidade, amplitude e
equilíbrio, por Honório et al. (2011) e Vituri e Matsuda (2009). Uma vez, que
também foi utilizado o teste de força científica de medida com vista a
verificar a clareza e pertinência dos itens do instrumento em Vituri e Matsuda
(2009), que caracteriza a validação aparente.
Outros critérios foram utilizados por Moura et al. (2008) e Oliveira et al.
(2008) como objetivos, estrutura e apresentação, bem como relevância. Esses
estudos contemplaram o desenvolvimento de materiais educativos, no entanto não
foi especificada a origem dos critérios adotados.
Procedimentos Empíricos
Em relação aos procedimentos empíricos, com o intuito de avaliar as
propriedades psicométricas do instrumento, a aplicação do teste piloto foi
observada em quatro estudos: Martins e Mejias (2011), Oliveira et al. (2008),
Vituri e Matsuda (2009) e Yamada e Santos (2009).
O teste piloto foi utilizado para observar a pertinência dos itens, compreensão
e consistência interna do instrumento no estudo de Martins e Mejias (2011);
enquanto no estudo de Vituri e Matsuda (2009), foi realizado por meio da
aplicação do instrumento já reformulado após avaliação dos juízes para
verificar a sua aplicabilidade no estudo; e no estudo de Yamada e Santos
(2009), o teste piloto foi estabelecido pela aplicação na população a que se
destina, com uso de uma entrevista que correspondeu ao mínimo de oito pessoas
para cada item do instrumento, o que corrobora com o preconizado por Pasquali
(2010), uma vez que a aplicação do teste piloto tem o propósito de testar se os
sujeitos compreenderam as instruções e a entrevista consiste em solicitar às
pessoas representantes da população para a qual se deseja construir o
instrumento para opinarem em que tipo de comportamento tal construto se
manifesta.
Embora tal aspeto já envolva a análise semântica, o que constitui uma validação
aparente posterior com vista a verificar se todos os itens são compreensíveis
para todos os membros da população a que se destina; tal procedimento esteve
presente nos estudos de Martins e Mejias (2011), Oliveira et al. (2008), Vituri
e Matsuda (2009) e Yamada e Santos (2009), que realizaram validação de
conteúdo. No estudo de Oliveira et al. (2008) utilizou-se a técnica de
brainstorming, que se tem mostrado mais eficaz na avaliação da compreensão dos
itens. Esta técnica funciona por meio da constituição de um grupo de até quatro
pessoas, com sujeitos do estrato mais baixo da população-meta, porque se supõe
que se tal estrato compreende os itens, o estrato mais sofisticado também os
compreenderá. A este grupo é apresentado item por item, pedindo que ele seja
reproduzido pelos membros do grupo. Se a reprodução do item não deixar nenhuma
dúvida, o item é corretamente compreendido. Se surgirem divergências na
reprodução do item ou se o pesquisador se perceber entendido diferentemente do
que ele julga que deveria ser entendido, tal item apresenta problemas
(Pasquali, 2010).
Desta forma, os estudos apresentaram-se de acordo com o referencial
metodológico de Pasquali, uma vez que os itens dos instrumentos foram
selecionados após análise dos seus fundamentos teóricos. As fontes dos itens
derivaram da literatura por meio de outros testes que medem o construto e
entrevista junto à população-meta (Pasquali, 2010).
Procedimentos Analíticos
A análise dos dados, por meio de testes estatísticos, constituiu os
procedimentos analíticos dos estudos. O Alfa de Cronbach foi escolhido no
estudo de Martins e Mejias (2011) pela capacidade de refletir o grau de
concordância dos itens entre si, sendo que quanto mais próximo do valor um,
mais próximo de 100% foi a correspondência dos itens. Já Yamada e Santos (2009)
adotaram o coeficiente Alfa de Cronbach menor que 0,70 para a exclusão dos
itens do instrumento.
O coeficiente de Alfa de Cronbach estima a confiabilidade de consistência
interna de questionários e também a estimativa da confiabilidade entre
avaliadores. Dado que todos os itens de um questionário utilizam a mesma escala
de medição, o coeficiente Alfa é calculado a partir da variância dos itens
individuais e das covariâncias entre os itens (Freitas & Rodrigues, 2005).
As aplicações do coeficente Alfa nas diversas áreas do conhecimento são amplas
e abrangentes, porém, ainda não existe um consenso entre os pesquisadores
acerca da interpretação da confiabilidade de um questionário obtida a partir do
valor deste coeficente - em geral, considera-se satisfatório um instrumento de
pesquisa que obtenha Alfa maior ou igual a 0,70 (Freitas & Rodrigues,
2005).
O Índice de Validade de Conteúdo (IVC) e o Índice de Concordância entre os
juízes dos itens do instrumento foram observados em alguns estudos (Moura et
al., 2008; Honório et al., 2011; Oliveira et al., 2008; Vituri & Matsuda,
2009; Yamada & Santos, 2009). O IVC avaliou a concordância dos juízes
quanto à representatividade da medida em relação ao conteúdo abordado, ao
dividir o número de juízes que julgaram o item com score de extrema relevância
ou relevante pelo total de juízes (IVC para cada item), que resultou na
proporção de juízes que julgaram o item válido (Rubio et al., 2003).
O teste de fidegnidade ou concordância interavaliadores no que tange ao índice
de clareza e pertinência dos itens do instrumento, bem como a técnica Delphi
foram utilizados no estudo de Vituri e Matsuda (2009). Essa técnica objetivou
obter consenso na opinião de especialistas, por meio de uma série de
questionários estruturados, referidos como fases. As respostas de cada
questionário foram consideradas para reformulação dos subsequentes. Desta
forma, cada fase foi construída sobre as respostas da fase anterior e o
processo continuou até à obtenção da concordância entre os participantes
(Vituri & Matsuda, 2009).
Portanto, os modelos metodológicos de validação de conteúdo relacionaram-se com
a aplicação de técnicas que objetivam a validade de conteúdo de um instrumento
nos estudos analisados. Este processo exigiu o cumprimento de etapas que
compreenderam desde a construção do instrumento, o parecer dos juízes até à
aplicação de diferentes procedimentos estatísticos.
Conclusão
Os estudos analisados apresentaram a utilização de tecnologias criadas por
enfermeiros em pesquisas brasileiras como instrumentos que auxiliam no seu
trabalho, com vista à assistência segura e de qualidade ao paciente.
A elaboração de instrumentos quer seja protocolos, escalas de cuidado ou
materiais educativos em Enfermagem, bem como a validação de conteúdo destes com
base no referencial metodológico de Pasquali, revelam o crescimento da
enfermagem brasileira no ambiente científico, com necessidades de utilização de
medidas confiáveis nas pesquisas.
Os estudos analisados apresentaram como base para o seu desenvolvimento os três
procedimentos de Pasquali, embora o processo de validação de conteúdo tenha
ocorrido já no procedimento teórico, foram adotadas análises estatísticas com
vista à validação de conteúdo do instrumento e utilizada validação aparente,
por meio da análise semântica para aplicação de testes piloto e/ou utilização
dos critérios de Pasquali, com vista à avaliação psicométrica dos instrumentos
em alguns estudos.
Embora, o processo de validação de conteúdo envolva aspetos relacionados ao
desenvolvimento do instrumento e análise e julgamento dos especialistas, é
importante a associação com outros processos de validação para que o
instrumento produza o efeito esperado, quando este é capaz de mensurar o que se
propõe.
O estudo desenvolvido possibilita compreender o procedimento de validação de
conteúdo, fundamental para utilização na construção de medidas e instrumentos
confiáveis na área de Enfermagem, os quais subsidiam o conhecimento para uma
prática mais segura. Deste modo, a validação de instrumentos que padronizam o
cuidado torna-se útil para a realização adequada de procedimentos específicos
de Enfermagem.
No entanto, outros modelos de validação precisam ser investigados na aplicação
em estudos de Enfermagem para subsidiar o desenvolvimento de protocolos,
escalas de cuidado e materiais educativos em Enfermagem, por forma a obter uma
prática mais segura.
