EuPTCVHe0874-02832014000200005

Construção e Validação da Escala de Avaliação do Debriefing associado à Simulação (EADaS)

Introdução O debriefing é uma forma estruturada de conduzir os formandos na reflexão sobre a ação, ajudando a consolidar saberes e a mudar comportamentos errados. Numa simulação, o debriefing é parte fundamental. Dispor de uma ferramenta que permita avaliar a qualidade do debriefing, na perspetiva do formando, é importante para a investigação e melhoria contínua da qualidade, não existindo nenhum instrumento em Língua Portuguesa. Assim, pareceu-nos útil e pertinente a construção de um instrumento que permitisse tal avaliação, pelo que partimos para o presente estudo com o objetivo de construir e validar uma escala de avaliação do debriefing associado à simulação.

Enquadramento O debriefing na simulação Na formação dos enfermeiros, as metodologias ativas têm vindo a conquistar terreno. Nelas destaca-se a simulação, um método interativo que permite, não apenas a aprendizagem de habilidades, mas também de competências globais, como a tomada de decisão em situações e ambientes complexos. Através de cenários completos e complexos, em ambiente de simulação, os formandos consolidam os saberes e desenvolvem todo um conjunto de competências que favorece o seu desenvolvimento técnico, relacional e ético (Martins, 2009).

Trata-se de utilizar estratégias educativas que facilitam a aprendizagem a partir de situações reais, potenciando o crescimento e confiança dos estudantes (Rodrigues & Baia, 2012).

Um dos aspetos importantes na simulação é o realismo. Falamos hoje em simulação de alta-fidelidade ou simulação realística quando associamos um simulador de alta-fidelidade a espaços, materiais e equipamentos reais e tecnologia de som e imagem que permitam o registo áudio e vídeo, e a sua posterior utilização para discussão (Martins et al., 2012). Acrescentam os autores que, não bastam o material e o equipamento, sendo indispensável um cenário bem delineado, com objetivos pedagógicos bem definidos e uma equipa de trabalho, preparada e motivada, terminando a experiência clínica simulada com uma discussão (debriefing) em torno do desempenho dos formandos na resolução do cenário.

O debriefing é referido na literatura como o ponto crucial ou essencial para a aprendizagem, o coração e a alma da simulação (Gaba, Howard, Fish, Smith, & Sowb, 2001; Baldwin, 2007). É o processo pelo qual formadores e formandos reexaminam a experiência clínica simulada, fomentando o desenvolvimento do raciocínio e consolidação dos saberes, através de processos de aprendizagem reflexiva. A orientação do formador neste processo e a sua centralidade nos objetivos são os pontos centrais para o sucesso (Shinnick, Horwich, & Steadman, 2011). O debriefing é ainda importante como ferramenta de ajuda aos estudantes, melhorando o domínio afetivo da aprendizagem (Lasater, 2007).

Na simulação, a fase de debriefing é um processo intencional e importante, projetado para coordenar, fortalecer e transferir aprendizagem de um exercício de aprendizagem experiencial (Warrick, Hunsaker, Cook, & Altman, 1979). O debriefing tem como objetivos centrais: identificar as diferentes perceções e atitudes que ocorrem; relacionar o exercício com a teoria específica ou conteúdos e competências técnicas; transmitir feedback acerca da natureza e da prática durante o cenário; e estabelecer um clima que permita confiança e conforto.

O debriefing pode acontecer pós-simulação ou na simulação, sendo os resultados, para os estudantes, melhores no primeiro caso, pela eficácia na aprendizagem e compreensão do global (Heukelom, Begaz, & Treat, 2010; Shinnick et al., 2011).

Para além disso, muitos autores recomendam um estilo sem julgamento, não ameaçador, que não se limite a um mero interrogatório (Dreifuerst, 2009).

O debriefing é um processo dinâmico que requer dos participantes e formadores uma participação ativa, devendo ser planeado um período de tempo igual ou superior ao tempo consumido na prática simulada (Gururaja, Yang, Paige, & Chauvin, 2008).

Ainda assim, há pouca evidência de resultados associados à prática de debriefing, seja por este não ter sido um foco de atenção dos investigadores, seja pela inexistência de instrumentos que permitam a avaliação de tais resultados. No nosso país, o tema é novo, não existindo nenhum instrumento de avaliação.

Metodologia Trata-se de um estudo de investigação metodológica.

Começámos por construir uma lista de frases (itens), em torno do conceito central (debriefing), tendo por base a experiência dos investigadores e revisão de literatura sobre a temática. Nesta revisão da literatura, foram centrais as ideias expostas por Jeffries (2007); Kardong-Edgren, Starkweather, e Ward (2008); Campbell e Daley (2009); Baldwin (2007); e Heukelom et al. (2010).

Deste processo resultou uma lista de 50 itens (13 formulados em sentido inverso) que organizámos num formato que permite apenas uma alternativa de resposta, onde o estudante tinha de se posicionar numa escala tipo Likert, de cinco pontos, em que cada ponto representa o nível de concordância do estudante: discordo completamente (1); discordo (2); nem concordo nem discordo (3); concordo (4); e concordo completamente (5).

Procurando utilizar como critérios fundamentais a clareza, a compreensão simples e a representatividade temática, dispusemos os itens num quadro que designámos de Escala de Avaliação do Debriefing associado à Simulação (EADaS).

O quadro foi antecedido de um conjunto de instruções de preenchimento, com o seguinte teor: no quadro seguinte são realizadas várias afirmações relativas à discussão que fizemos após a prática simulada (debriefing). Para cada uma, assinale a sua opinião. Não há respostas certas ou erradas. Responda por favor de acordo com a sua verdadeira opinião.

No início do quadro, era ainda apresentada a expressão: no final do cenário, o debriefing contribuiu para, na continuidade da qual deveria ser lido cada um dos itens.

Validade de conteúdo A lista de itens foi avaliada por um painel de peritos que procurou identificar possíveis falhas quanto à clareza das afirmações, a sua representatividade para o constructo e a validade de conteúdo de cada um dos itens, garantindo a validade conceptual.

Do painel de peritos fizeram parte quatro investigadores da Unidade de Investigação em Ciências da Saúde: Enfermagem (UICISA: E), da Escola Superior de Enfermagem de Coimbra (ESEnfC). Dada a simplicidade e clareza do instrumento na sua globalidade, não foi necessário introduzir nenhuma alteração.

Amostra A escala foi aplicada a uma amostra acidental de 209 estudantes do 4º ano do Curso de Licenciatura em Enfermagem da ESEnfC, em abril de 2012.

A aplicação do questionário aconteceu após nove horas de práticas laboratoriais, por simulação, no final da Unidade Curricular de Enfermagem em Emergências.

Foram incluídos na amostra os participantes que corresponderam aos seguintes critérios de inclusão no estudo (elegibilidade): frequentar a Unidade Curricular de Enfermagem em Emergências; ter estado presente nas aulas da Unidade Curricular de Enfermagem em Emergências onde foram desenvolvidos os cenários e respetivos debriefings; e aceitar participar no estudo.

Responderam ao questionário 209 estudantes, dos quais 81,3% são mulheres e 18,7% homens, com uma média de idades de 22 anos.

As experiências clínicas simuladas As aulas práticas aconteceram no Centro de Simulação, utilizando como estratégia a resolução de cenários completos em ambiente realista, com dificuldade crescente. Para a resolução dos cenários, os estudantes tiveram à disposição material e equipamento realistas. Foram utilizados simuladores de utentes de média fidelidade (Manequins de Suporte Avançado de Vida Megacod® - adulto, com VitalSim®, da Laerdal®) e de alta-fidelidade (iStan® - adulto, da Meti®).

Após a resolução de cada cenário, foi conduzido um debriefing estruturado, sempre pelo segundo investigador, seguindo uma estrutura comum: (1) apreciação geral da experiência clínica simulada; (2) balanço relativo às intervenções corretamente desenvolvidas e reforço positivo; (3) balanço relativo às intervenções incorretamente desenvolvidas (ou não desenvolvidas) e respetiva justificação; e (4) pontos-chave relativos à experiência clínica simulada. Cada cenário foi desenvolvido durante cerca de 15 minutos, seguido de outros 15 minutos para o debriefing.

Aspetos formais e éticos O estudo insere-se no projeto A simulação no ensino de Enfermagem, inserido na UICISA: E, autorizado pela Presidente da ESEnfC e com parecer positivo (P01-09/ 2010) da Comissão de Ética da Unidade de Investigação supracitada.

A resposta ao questionário foi voluntária, anónima e confidencial. Foi garantido ao estudante a inexistência de quaisquer contrapartidas pela participação ou não participação no estudo, assim como a inexistência de qualquer relação com a avaliação da Unidade Curricular.

Durante todo o processo foram tidos em conta e assegurados os direitos dos participantes à privacidade, ao anonimato, à confidencialidade e à liberdade.

Resultados Começámos por analisar a escala, no que se refere à sua confiabilidade global, através da correlação de cada item com o total da escala, o seu efeito sobre o valor de Alpha e as medidas descritivas de resumo.

Obtivemos uma elevada correlação de praticamente todos os itens com o total da escala, o que demonstra o seu bom funcionamento como um todo e que contribui para o elevado valor de Alpha (0,934). Os valores mais baixos de correlação de um item com o global foram de 0,447 e de 0,505 para os itens 41 e 43, respetivamente.

Os valores até aqui encontrados, permitiram-nos avançar para a análise da estrutura da EADaS. Procedemos então à realização de análises fatoriais com rotação ortogonal Varimax com normalização de Kaiser.

A medida de Kaiser-Meyer-Olkin (KMO) é de 0,887, o que significa que existe boa adequação da amostra para análise. O valor do teste de esfericidade de Bartlett foi de ?2 = 5203,963; ? = ,000, o que nos permitiu prosseguir com a análise fatorial.

Numa primeira tentativa, definindo a extração de valores próprios maiores que um, obtivemos uma solução com cinco fatores, explicando estes 50,391% da variância. Mas olhando para esta solução, não lhe encontrámos significado racional, para além de apresentar itens a saturar em dois fatores e outros com cargas fatoriais muito baixas.

Procedemos então à análise do Scree Plot e a partir dela ensaiámos uma solução com três fatores.

Na escolha da solução fatorial final e dos itens que a deveriam integrar, procurámos respeitar os seguintes critérios: (1) a validade convergente do item com o fator ' cada item deverá apresentar uma correlação (loading) com o fator = ,30, e são considerados os fatores com comunalidade = ,50; (2) a validade discriminante do item com o fator ' o item deverá estar relacionado apenas com o fator hipotético, devendo obter-se diferença entre cada fator = ,30; e (3) a solução final encontrada deverá justificar no mínimo 40% da variância total.

Estes três fatores (dimensões), com valores próprios maiores ou iguais a um, explicam na totalidade 43,99% da variância total.

Feita a análise e extraídos os componentes, pretendeu-se saber que itens constituiriam cada um dos fatores. Seguindo os critérios previamente estabelecidos e as recomendações (Loewenthal, 2001) e sem esquecer o sentido e coerência racional, eliminámos os itens 1, 6, 13, 21, 23, 40 e 42 por saturarem com valores inferiores a 0,5. Eliminámos também os itens 3, 14, 19, 22, 27, 30, 31, 44 e 46, na medida em que a diferença dos valores de saturação entre dois fatores é menor que 0,3.

Apesar dos itens 29, 35 e 38 violarem também o princípio da diferença mínima de 0,3 entre dois fatores, foram mantidos pela sua importância para o constructo teórico.

No final, ficámos com os fatores conforme descrevemos a seguir: 1) O fator 1 explica 16,802% da variância e nele saturam os itens 25, 26, 29, 33, 34, 35, 37, 38, 39, 41, 45, 48 e 49. Estes itens estão todos relacionados com o que concerne aos aspetos psicológicos e sociais inerentes à simulação, pelo que designámos este fator de dimensão valor psicossocial; 2) O fator 2 explica 14,46% da variância e nele saturam os itens 2, 5, 7, 9, 10, 11, 15, 17 e 18. Estes itens estão sobretudo relacionados com a consolidação de conhecimentos através da discussão, pelo que designámos este fator de dimensão valor cognitivo; 3) O fator 3 explica 12,73% da variância e nele saturam os itens 4, 8, 12, 16, 20, 24, 28, 32, 36, 43, 47 e 50. São itens que dizem respeito aos sentimentos ou às afeições. Esta dimensão acolhe os itens formulados em sentido inverso.

Designámos este fator de dimensão valor afetivo.

Conforme podemos verificar, esta divisão obtida pela análise fatorial propõe um constructo com significado racional (Tabela_1). Todos os fatores apresentam cargas fatoriais (factorial loadings) elevadas. Repetiu-se a análise fatorial, agora apenas com os 34 itens, que renovou esta divisão, confirmando a sua validade de constructo.

Fidelidade Voltámos a realizar novo cálculo dos valores de Alpha de Cronbach, tendo obtido valores muito bons para o global (0,899) e para cada uma das suas dimensões, nomeadamente: 0,884 para a dimensão psicossocial (13 itens); 0,859 para a dimensão cognitiva (nove itens); e 0,889 para a dimensão afetiva (12 itens).

Todos os itens se correlacionam com o global em valores superiores a 0,45.

Resultados Para cada dimensão e global da escala foram somadas as pontuações dos respetivos itens calculando-se o score médio.

Conforme podemos observar nas Tabelas 2, 3 e 4, que resumem a estatística descritiva relativa a cada uma das dimensões da EADaS, verificaram-se diferenças relevantes nos valores de tendência central e dispersão dos vários itens.

Na dimensão valor psicossocial (Tabela_2), os itens 29, 37 e 38 são os que apresentam valores médios mais elevados e o desvio padrão mais baixos, enquanto os itens 26, 33 e 41 são os que apresentam os valores médios mais baixos com desvio padrão mais elevado.

Em apenas três itens obteve-se avaliação mínima 1 (discordo completamente) e nos restantes existiram respostas com avaliação mínima superior a 1 e máxima 5 (concordo completamente) em todos os itens.

Na dimensão valor afetivo (Tabela_3), todos os itens apresentam valores médios superiores a 4 pontos. Os itens 24, 32 e 36 são os que registam valores médios mais elevados e desvio padrão mais baixo, acontecendo o contrário com os itens 8, 16 e 43.

Nesta dimensão obteve-se avaliação mínima 1 (discordo completamente) em quatro itens e nos restantes existiram respostas com avaliação mínima superior a 1 e máxima de 5 (concordo completamente) em todos os itens.

Na dimensão valor cognitivo (Tabela_4), todos os itens apresentam valores médios superiores a 4 pontos e mais de metade das respostas com a pontuação máxima (concordo completamente). O item 9 é o que apresenta menor valor médio e desvio padrão mais elevado, sendo os itens 2, 10 e 17 os que apresentam valores médios mais elevados, com desvio padrão mais baixo. Em apenas um item se obteve avaliação mínima 1 (discordo completamente) e nos restantes existiram respostas com avaliação mínima superior a 1 e máxima 5 (concordo completamente) em todos os itens.

Na Tabela_5, podemos observar alguns valores estatísticos descritivos relativos à globalidade da EADaS e a cada uma das suas dimensões. A média dos itens para a dimensão valor psicossocial é de 4,27 pontos, com um desvio padrão de 0,41 pontos, enquanto a dimensão valor afetivo apresenta uma média de itens ligeiramente superior (4,62 pontos) e um desvio padrão de 0,46 pontos. Já a dimensão valor cognitivo apresenta uma média dos itens de 4,56 pontos, com um desvio padrão de 0,34 pontos. Globalmente, a média é de 4,48 pontos e o desvio padrão de 0,30 pontos.

Analisámos a distribuição dos valores da EADaS no seu global e para cada uma das dimensões, tendo para isso realizado o teste de Kolmogorov-Smirnov com correção de Lilliefors. Os valores obtidos revelam que a distribuição não é normal tanto para a dimensão cognitiva como para a dimensão afetiva (p < ,05), pelo que nos testes seguintes foram utilizadas medidas não paramétricas.

Realizámos o teste U de Mann-Whitney, no sentido de avaliar se a EADaS estava a distinguir o valor atribuído ao debriefing entre homens e mulheres, verificando que as pequenas diferenças que existem não são estatisticamente significativas.

De seguida, realizámos um conjunto de testes de significância de correlação de Spearman (Tabela_6), procurando relações entre as diferentes dimensões e o global da EADaS. Encontrámos cada uma das dimensões fortemente correlacionadas com o global, sendo essas correlações estatisticamente significativas. Existe uma correlação forte entre a dimensão valor psicossocial e a dimensão valor cognitivo e uma correlação fraca entre a dimensão valor afetivo e a dimensão valor cognitivo, sendo ambas estatisticamente significativas. Entre a dimensão valor afetivo e a de valor psicossocial a correlação é fraca e não significativa.

Discussão A avaliação dos resultados não pode deixar de ter em conta algumas limitações do estudo, impondo-se prudência na sua interpretação e generalização. A especificidade da amostra é uma das limitações. A inexistência de instrumentos de avaliação de debriefing, se por um lado contribui para justificar a pertinência da construção e validação da escala, vem por outro lado impossibilitar o estudo da validade concorrente.

Já o percurso de desenvolvimento e validação da EADaS, parece-nos ser um ponto forte que vem contribuir para a validação científica dos resultados que aqui apresentamos, que são indicadores do potencial de utilização da escala em investigações futuras.

O valor de Alpha de Cronbach da escala final, com 34 itens, foi de 0,899, o que revela boa consistência interna. A análise fatorial, seguida de rotação varimax extraiu três dimensões. A composição das dimensões sugere os significados: valor psicossocial, valor cognitivo e valor afetivo.

A simulação tem sido utilizada para melhorar o desempenho dos estudantes nas competências, alterar atitudes e aumentar o conhecimento (Jeffries & Rizzolo, 2006; Lasater, 2007). O debriefing é um elemento essencial na aprendizagem por simulação, proporcionando aprendizagens ativas, que permitem aos estudantes vivenciar situações clínicas e fazer uso das habilidades cognitivas, afetivas e psicomotoras (Childs & Sepples, 2006), o que vai ao encontro dos nossos resultados.

Podendo variar as respostas com avaliação mínima (1) e avaliação máxima (5), os estudantes consideram em percentagens elevadas que o debriefing contribuiu para estruturar o pensamento (99,5%); identificar prioridades na atuação (99,1%); identificar aspetos que devem melhorar em atuações futuras (99,1%); identificar dificuldades na atuação (97,6%); aumentar o potencial de trabalho em equipa (98,1%); reforçar a autonomia para atuar como futuros enfermeiros (96,6%), corroborando com o que Hodges (2006) e Dieckmann, Manser, Wehner, e Marcus (2007) referem. Estes autores defendem que o debriefing é importante para maximizar a aprendizagem e facilitar a mudança tanto a nível individual como sistemático. Em contrapartida, no nosso estudo, os estudantes referem que o debriefing não foi uma perda de tempo e foi um momento em que se sentiram respeitados, indo ao encontro do que Lasater (2007) refere, assim como Jeffries e Rizzolo (2006), em que a participação ativa e a oportunidade de aplicar a avaliação, observação e habilidades para resolver problemas, seguido por uma experiência de reflexão, leva ao aumento da autoconfiança dos alunos.

Segundo Rodrigues e Baía (2012), A função do educador moderno implica cada vez mais o desenvolvimento de competências para agir em mediação pedagógica, orientando a ação em compromissos recíprocos e justos para ambas as partes (p.

201). Ao educador é solicitada a força e ética para ajudar os seus orientandos a tornarem-se autores dos próprios percursos, a tomar decisões, resolver problemas, enfrentar a dúvida e o risco, e sobretudo a serem proactivos na busca das melhores experiências de desenvolvimento e aprendizagem.

O debriefing proporciona aos estudantes a oportunidade de refletirem sobre as suas aprendizagens durante a prática simulada e de definirem como podem ter um desempenho diferente numa situação similar. Por outro lado, o debriefing também oferece aos estudantes uma realidade, uma forma de se verem através dos olhos do docente e dos seus pares, em consonância com o descrito por Overstreet (2009). Os nossos estudantes partilham destas mesmas ideias, visto que 98,1% refere ter desenvolvido competências para a tomada de decisão acertada; 76,6% refere que aumentou a autoconfiança; e 84,2% sentiu que o professor tem interesse genuíno no seu desenvolvimento profissional.

Em termos gerais, têm sido vários os autores a afirmar os efeitos benéficos do debriefing, tais como: Jeffries, 2007; Kardong-Edgren et al., 2008; Campbell e Daley, 2009; Overstreet, 2009; Dreifuerst, 2009; entre outros. O presente estudo vem confirmar estas conclusões e concretizar algumas áreas específicas em que se comprova o impacto positivo do debriefing no estudante, conjugado com a prática simulada.

Tal como analisado, o debriefing foi bem valorizado pelos estudantes, verificando-se que a dimensão valor afetivo tem a média mais alta em relação às outras, embora com a correlação mais baixa no seu geral, ainda que estatisticamente significativa. Arriscamos assim dizer que o debriefing traduz uma estratégia que proporciona aos estudantes uma relação afetiva entendida pelos mesmos como forma de proteção.

Conclusão O debriefing é uma parte fundamental do ensino por simulação. Utiliza a reflexão estruturada como forma de consolidar os conhecimentos de forma significativa para os estudantes, olhando o que se fez e procurando as justificações e os mecanismos mentais associados à decisão. Este é um processo central na formação de enfermeiros, pois não se pretendem profissionais que apenas saibam fazer coisas, mas que saibam como, quando e porquê as fazer, assim como opções para fazer de forma diferente, sempre que tal se mostre necessário.

Não tendo encontrado na literatura nenhum instrumento que permitisse avaliar o impacto do debriefing estruturado no estudante, associado à prática simulada, entendendo que esse seria um aspeto central, propusemo-nos à concretização desse objetivo: criar e validar um instrumento destinado a avaliar o impacto do debriefing estruturado nos estudantes, associado à prática simulada.

Apesar das limitações, foi possível construir uma escala que permite avaliar o impacto do debriefing estruturado nos estudantes associado a práticas simuladas, apresentando esta escala boas propriedades psicométricas, perspetivando assim o seu potencial de utilização em investigação científica.

O resultado final foi uma escala com 34 itens divididos por três dimensões: a dimensão valor psicossocial, a dimensão valor cognitivo e a dimensão valor afetivo. Estas três dimensões foram obtidas por análise fatorial. No seu conjunto, a escala apresenta muito boas propriedades psicométricas com valores de Alpha superiores a 0,80 no seu global e em cada uma das dimensões.

O nosso estudo vem demonstrar que a escala poderá afigurar-se como uma ferramenta útil para avaliar o valor atribuído ao debriefing associado à simulação em estudantes de Enfermagem, acreditando os autores que o seu valor sairá reforçado em investigações futuras e contribuirá para a melhoria das práticas dos enfermeiros e prestação de cuidados de Enfermagem de maior qualidade.

Assim, sugerimos que sejam realizados mais estudos em Portugal sobre o debriefing, que possam aplicar esta escala, e que sejam divulgados os resultados aos docentes e outros profissionais de forma a poder ser uma mais- valia na definição conjunta de estratégias pedagógicas a utilizar nas unidades curriculares.