Quality Guidelines for Online Courses
Transcrição
Quality Guidelines for Online Courses
ORIENTAÇÕES PARA A QUALIDADE DE CURSOS ONLINE: O DESENVOLVIMENTO DE UM INSTRUMENTO DE AUDITORIA DE UNIDADES CURRICULARES ONLINE Herrington, A., Herrington, J., Oliver, R., Stoney, S. & Willis, J. (2001). Orientações para a qualidade de cursos em online: O desenvolvimento de um instrumento de auditoria de unidades curriculares online. In (G. Kennedy, M. Keppell, C. McNaught & T. Petrovic (Eds.) Meeting at the crossroads: Proceedings of ASCILITE 2001, (pp 263-270). Melbourne: The University of Melbourne. Anthony Herrington School of Education Edith Cowan University, Australia [email protected] Jan Herrington School of Communications and Multimedia Edith Cowan University, Australia [email protected] Ron Oliver School of Communications and Multimedia Edith Cowan University, Australia [email protected] Sue Stoney School of Management Information Systems Edith Cowan University, Australia [email protected] & Jackie Willis Resource Development Centre Edith Cowan University, Australia [email protected] Resumo Pressões institucionais, nacionais e globais exigem que as universidades abordem questões de qualidade inerentes ao ensino e à aprendizagem. A manutenção de cursos existentes e o imperativo de oferecer novos cursos online precisa do desenvolvimento de medidas e diretrizes que possam informar os designers instrucionais e académicos. Uma série de diretrizes sobre a qualidade têm sido produzidas refletindo diferentes contextos e propósitos. Alguns centram-se na aprendizagem escolar, outros apenas na pedagogia e outros refletem o design específico de um determinado sistema de gestão de cursos. Este artigo propõe-se a descrever um conjunto de diretrizes praticáveis para o docente e pessoal de apoio no desenvolvimento e aferição da qualidade do curso online através da instituição que enfatizava abordagens atuais para o ensino e a aprendizagem no ensino superior, apoiados pelo conteúdo adequado e estratégias de entrega. Palavras – chave Qualidade, online, orientações, ensinar e aprender Introdução A evolução da tecnologia da informação e da comunicação também muda fundamentalmente a maneira como pensamos sobre o input e e a qualidade. Um foco sobre o rácios pessoal / alunos e o número de volumes na biblioteca está a ser substituída por um enfoque sobre a qualidade das oportunidades educacionais e os resultados, mais do que sobre a magnitude das entradas – de informação -. (Kemp, 1999). Chegámos a um ponto na adopção das tecnologias no ensino superior, onde a noção de qualidade está-se a tornar uma questão importante e prioritária. Muitas universidades estão agora a oferecer cursos e programas baseados nos sistemas de entrega online e estão a começar a questionar aspectos relativos a essas formas de ensino e de aprendizagem. As perguntas que estão a ser feitas incluem: ● A aprendizagem online é tão eficaz quanto a presencial? ● Os cursos online são tão bons como poderiam ser? ● Qual é a melhor maneira de oferecer cursos online? ● Por que meios é que podemos medir a qualidade da aprendizagem online? Todas estas questões são levantadas frequentemente na literatura e na maioria das vezes as respostas tendem a sugerir que a qualidade é muitas vezes comprometida em contextos de aprendizagem online (por exemplo, Noble, 1997, Stoll, 1995; Nieuwenhuizen, 1997). Tal como as preocupações institucionais existem pressões nacionais e globais que exigem um foco na qualidade. Comparações entre a extensão e a natureza dos cursos universitários online estão a ganhar ritmo. Em Maio de 2001, o Departamento de Educação, Formação e Juventude (Departement of Education, Training and Youth Affairs, DETYA) inquiriu todas as universidades com o objetivo de ganhar informações sobre a forma em que se ministraram cursos ou unidades baseados na web, a administração online e serviços de suporte online. Iniciativas não-governamentais também veem benefícios em fazer essas comparações, como o Guia de Boas Universidades (por exemplo, Ashenden & Milligan, 2000) através da publicação das respostas dos estudantes ao Questionário sobre a sua Experiência no Curso. A criação da Agência de Qualidade das Universidades da Austrália, a partir de 2002, audita todos os aspectos de garantia de qualidade das universidades uma vez a cada cinco anos. O processo vai incluir o ―acompanhamento, revisão e elaboração de relatórios sobre o regime de garantia de qualidade no auto-credenciamento das instituições e sobre os processos e procedimentos do Estado / Território das entidades de acreditação, e sobre o impacto desses processos na qualidade dos programas" (Kemp, 1999 ). Globalmente, a recente parceria estratégica formada entre ECU e o intermediário da educação a distância Scottish Knowledge significou uma rápida entrada num mercado, globalmente e competitivo, de matérias online de qualidade. Concorrência agressiva dos fornecedores no exterior oferece uma gama de cursos que vai desde 'all star' (Reeves, 2001; Radford, 1997) até à recente decisão do MIT no sentido de oferecer os seus cursos online gratuitamente (Krazit, 2001). Dentro deste contexto os autores deste artigo trabalharam sobre a construção de um conjunto de orientações que devem medir a qualidade dos recursos existentes online e orientem o desenvolvimento de novos. Orientações sobre a qualidade Existe uma extensa bibliografia que descreve os atributos de cenários efetivos de aprendizagem e, em especial, a eficácia do contexto online. Foram escritos muitos artigos que descrevem os atributos da aprendizagem eficaz no ensino superior (por exemplo, Ramsden, 1992; Chickering & Ehrmann, 1994) e da aprendizagem eficaz em contexto online (por exemplo, Burbules, 2000. CarrChellman & Duschatel, 2000. Reeves & Reeves, 1997). Ao mesmo tempo, encontramos frequentemente artigos que descrevem instrumentos e mecanismos de avaliação que permitem aos profissionais determinar a eficácia provável dos cursos online específicos (por exemplo, Beck, 1997; Reeves & Laffey, 1999). Os conteúdos destes artigos são muitas vezes semelhantes, mas os artigos diferem na forma em que contextualizam as suas informações e as procuram utilizar. Instrumentos de avaliação da aprendizagem online foram desenvolvidos para atender a uma variedade de funções. Por exemplo: Para explorar a potencial eficácia dos cursos online; Para comparar os cursos online; Como uma ferramenta estruturante para orientar e informar o desenvolvimento de materiais de aprendizagem online; Para fins sumativos associados à implementação da qualidade dos materiais existentes. Enquanto a determinação da qualidade dos materiais online usará ostensivamente os mesmos princípios como a maioria dos instrumentos de avaliação, a finalidade na Universidade Edith Cowan foi proporcionar uma medida da qualidade do material existente e fornecer um guia para o desenvolvimento de novas unidades. Para alcançar este objectivo, precisámos de descobrir ou construir um instrumento que identificasse os pontos fortes e fracos dos materiais de aprendizagem online e que descrevesse estes elementos de forma eficiente e sucinta. Diferentes autores argumentam que materiais de aprendizagem online eficazes devem apresentar um número de elementos fundamentais. Por exemplo, Vaile (1999) argumenta que há 6 categorias que devem constituir a base de uma avaliação da eficácia da aprendizagem online no contexto de todo o ensino pré-universitário [nota dos tradutores: 1.º, 2.º e 3.º ciclos, K-12 no sistema americano]: Concepção da Aprendizagem: a pedagogia (incluindo o pensamento criativo, modalidades e estilos de aprendizagem, e as abordagens de aprendizagem específicas). Alinhamento de normas e currículo: na medida em que normas e currículo coincidem com objetivos de aprendizagem. Conteúdos educativos: a qualidade do conteúdo ou assunto, organização de conteúdo, tendência, conteúdo sensível e abrangência Recursos de apoio ao aluno: a prevalência de políticas com aplicação aceitável, documentação de procedimentos e outros apoios para os alunos Recursos de apoio ao professor: a extensão dos materiais instrucionais e de apoio para uso do professor. Design do site: a qualidade da interface, gráficos e design de multimédia. Da mesma forma, Alley (2000) defende a existência de 10 elementos fundamentais para a eficiência da aprendizagem online, os quais focam totalmente no design pedagógico: Conhecimento é construído. Aprendizagem é mais eficaz se um estudante pode assumir a responsabilidade pela sua própria aprendizagem. Motivação do aluno é um forte determinante dos resultados e do sucesso da aprendizagem. Aprendizagem de ordem superior exige reflexão. A aprendizagem é individual A aprendizagem é vivencial. A aprendizagem é social e privada. Pressupostos inexoráveis e epistemológicas podem desorientar a aprendizagem de ordem superior. A aprendizagem é espiral. A aprendizagem é "confusa". Igualmente, Barker (2001) descreve um conjunto de 15 páginas de orientações sobre a qualidade da educação e formação online, elaborado para a Associação Comunitária para a Educação Comunitária no Canadá. As orientações incluem vários critério em diferentes níveis como conteúdo, utilização de tecnologia e pedagogia. A extensão destas orientações para avaliar e analisar a eficácia dos materiais de aprendizagem online, de certa forma, prejudica mais do que ajuda a todos aqueles que procuram realizar processos de revisão. Em parceria com muitas outras universidades, Edith Cowan adotou o software de gestão de cursos Blackboard para a disponibilização de software que permitirá que todos os académicos consigam colocar online os seus cursos. Este passo tornou imperativas orientações que assegurem que materiais utilizados nesta modalidade não perpetuem um modelo didático do ensino. As orientações produzidas por Blackboard em conjunto com a Associação de Educação Nacional dos EUA (NEA & Blackboard, 2000) identificaram 24 pontos de referência para o ensino a distância disponíveis na Internet, dos quais apenas três estão relacionados com o ensino e aprendizagem, embora com um ponto central tradicional — uma abordagem ao curso incentivada, se não explicitamente mandatada, pelo software do Blackboard. Assim, era importante fornecer um conjunto de orientações ao corpo de docentes e pessoal de apoio, enquanto designers instrucionais, para o desenvolvimento e avaliação da qualidade do curso online na instituição que aplicou ao ensino superior as atuais abordagens de ensino e aprendizagem, sustentadas por conteúdos e estratégias de implementação/disponibilização adequados. Um quadro de referências para avaliar cenários de aprendizagem online Em pesquisas anteriores sobre o ensino e aprendizagem online na nossa universidade, temos tomado consciência da necessidade de re-engenharia pedagógica, um processo de design, onde o ambiente de aprendizagem é completamente redesenhado para tirar intencionalmente vantagem de oportunidades de aprendizagem que são fornecidos pelas novas tecnologias (Collis, 1997). Tal desenvolvimento constituiria um de enriquecimento do curso, onde as oportunidades online são concebidas como recursos para enriquecer o que é aparentemente o mesmo programa de aprendizagem transferido para um modo electrónico de disponibilização. Na investigação sobre a concepção de ambientes de aprendizagem baseados na tecnologia eficazes, desenvolvemos um quadro de referências que identificou e distinguiu entre três elementos fundamentais que emergem dos três papéis distintos para os principais elementos: o professor, o aluno e os materiais de informática (por exemplo, Oliver, Omari & Herrington, 1998). Esta pesquisa foi fortemente influenciada pela nossa firme convicção nas noções do construtivismo e do construtivismo social como as teorias que melhor descrevem como a aprendizagem ocorre. Nossa pesquisa e desenvolvimento atuais lida com a utilidade de usar os princípios da aprendizagem situada para projetar tarefas e recursos com o objetivo de apoiar a aprendizagem construtivista em ambientes online. A aprendizagem situada é um conceito que reconhece o valor a ser obtido através da contextualização da aprendizagem em cenários que que refletem os objetivos da aprendizagem e como os alunos poderão aplicar essa aprendizagem além da sala de aula finalmente (por exemplo, Brown, Collins & Duguid, 1989). A aprendizagem situada incentiva os alunos a construir sua própria interpretação/significado a partir do conhecimento e da informação no processo de aprendizagem e coloca uma ênfase na interação e socialização entre os alunos. A aplicação desta abordagem à aprendizagem sugere a necessidade de um quadro revisto de modo a refletir os processos envolvidos na aprendizagem flexíveis e baseada na tecnologia. Neste cenário, os elementos fundamentais agora parecem ser o conteúdo, as atividades de aprendizagem e os suportes de aprendizagem.Enquanto estes três elementos ainda refletem aspectos dos elementos (stakeholder) em separado, eles enfatizam mais as atividades de cada um no processo de aprendizagem. Estes elementos fornecem uma sólida base para o design instrucional e destacam a importância do planeamento dos papéis específicos a assumir pelos alunos, pelo professor e pela tecnologia no ambiente de aprendizagem. O quadro de referências a seguir foi desenvolvido na ECU para fornecer um meio coerente de avaliação e apreciação de materiais de aprendizagem online. O quadro foi projetado na forma de uma listagem dos que são considerados elementos fundamentais de ambientes de aprendizagem eficazes. A estrutura destina-se a fornecer aos utilizadores a capacidade de investigar a potencial eficácia de unidades online através de uma determinação do âmbito e extensão desses elementos fundamentais. A lista completa fornecerá uma descrição detalhada dos pontos fortes e fracos de uma unidade online. A lista é baseada em torno da determinação de elementos críticos dentro de três áreas principais que descrevem o completo cenário/configuração online: ● pedagogias, as atividades de aprendizagem que estão na base da unidade; ● recursos, o conteúdo e informações que são fornecidas para os alunos e ● estratégias de disponibilização, questões relacionadas com as formas em que o curso é disponibilizado para os alunos. Pedagogias Uma unidade curricular de qualidade operacionaliza teoria e pesquisa recentes sobre como as pessoas aprendem. As caraterísticas identificadas por esta pesquisa são evidentes no ecrã no ambiente de aprendizagem online ou na sua sugerida implementação. Ela não confia na tradição ou na intuição do professor para guiar o seu design e implementação. Ela melhora a aprendizagem, sustentando as caraterísticas de ambientes de aprendizagem identificadas como eficazes e garantindo que estas estejam presentes e acessíveis. Uma unidade curricular de qualidade apresenta um ou mais contextos de aprendizagem que refletem o uso da unidade curricular definitivo. A interface reflete contextos da vida real, e cenários autênticos são usados sempre que possível, em vez de cenários mais académicos, com abordagens baseadas em texto descontextualizados. Unidades curriculares de qualidade são baseadas em atividades, em vez de serem baseadas em conteúdo, e as atividades são complexas, sustentadas e refletem tarefas da vida real. Os alunos têm a oportunidade de trabalhar colaborativamente em produtos e não de forma exclusivamente individual. Numa unidade curricular de qualidade, o papel do professor é o de um Coach, em vez de instrutor. O professor facilita ao nível meta-cognitivo, ao invés de oferecer soluções para os problemas dos alunos. Atividades e avaliação encontram-se integradas, ou seja, os alunos são avaliados em atividades da unidade curricular em vez de serem avaliados através de trabalhos e exames em separado, e têm a oportunidade de apresentar produtos refinados produzidos de forma colaborativa. A tabela 1 apresenta uma lista de itens que pode ser usada para avaliar a qualidade da pedagogia numa unidade curricular online. Tabela 1 - As pedagogias usada em materiais de aprendizagem de qualidade Descrição Tarefas autênticas Oportunidades de colaboração As atividades de aprendizagem envolvem tarefas que refletem a maneira pela qual o conhecimento será usado em contextos da vida real Estudantes colaboram para criar produtos que não poderiam ser produzidos individualmente Exemplos ● ● ● ● ● ● Ambientes centrados no aluno Há um foco na aprendizagem dos alunos em vez de no ensino ● ● ● Motivante Ambientes e tarefas de aprendizagem desafiam e motivam ● ● ● Avaliações significativas Avaliação autêntica e integrada é usada para avaliar o desempenho dos alunos ● ● ● Atividades de aprendizagem baseadas em problemas em contextos da vida real; Tarefas de aprendizagem em contexto de trabalho; Tarefas são complexas e sustentadas Definição de tarefas exigindo que os alunos colaborem significativamente Definição de tarefas que exigem que os alunos colaboram significativamente ―Sistemas de Camaradagem‖ utilizados para conectar os alunos o papel do professor assume o papel de coach e facilitador Inquirição e Tarefas de aprendizagem baseadas em problemas Apoio do aluno nas atividades de apoio e desenvolvimento de habilidades cognitiva Problemas interessantes e complexos e atividades ao invés de teoria descontextualizada Atividades despertam a curiosidade e o interesse dos alunos Atividades e avaliações relacionadas com próprias experiências dos alunos A avaliação é integrada com atividades ao invés de separar-se deles Oportunidade de apresentar produtos refinados, em vez de projetos simples Existem oportunidades para estudantes e seus professores para dar apoio na pesquisa académica Recursos Os recursos numa unidade curricular de qualidade devem ser acessíveis aos alunos num formato não-linear. Devem refletir a precisão do objecto de estudo e ser atualizadas regularmente, se apropriado, se bem que trabalhos antigos e germinadores, não devam ser desconsiderados. Direitos de autores devem ser sempre observados. Numa unidade curricular de qualidade, os recursos refletem uma variedade rica em perspectivas que dão aos alunos a oportunidade de julgarem o mérito de diferentes posições, em vez de ser dado apenas um único ponto de vista (a do professor). Esses recursos permitem aos alunos acederem a uma série de opiniões de especialistas a partir da fonte de origem, se possível, em vez de fontes secundárias. Os materiais refletem os interesses de grupos, às vezes, marginalizados e demonstram inclusão social, cultural e de género. A tecnologia e os mídia são usados devidamente pelas suas vantagens, em vez do propósito de usar tecnologia por si só. Tabela 2 - Os recursos em materiais de aprendizagem de qualidade Descrição Acessibilidade Recursos são organizados de forma a serem facilmente acedidos e localizáveis. Exemplos ● ● ● Precisão A idade dos recursos é apropriada ao objecto em estudo. ● ● ● Riqueza Os recursos refletem uma variedade rica em perspectivas. ● ● ● Uso intencional dos mídia. Mídia são adequados ao propósito pretendido. Inclusão Materiais demonstram inclusão social, cultural e de género. Recursos são separados das tarefas de aprendizagem. Estratégias de organização intuitivas e claras. Recursos disponíveis em formato não linear. Recursos devem estar atualizados e baseados em revisão de literatura regular pelo autor. Trabalhos de seminários não devem ser removidos com base na idade. Uso de recursos originais efectuado sempre que possível. Recursos devem representar uma variedade de pontos de vista (inclusive contrastantes) que permitam aos alunos a oportunidade de analisarem o mérito dos argumentos. Recursos oferecem um leque de perspectivas. Os media são utilizados para enriquecer as fontes de informação. ● ● ● Variedade de mídia é usada quando apropriada. Leitura de livros no ecrã deve ser evitada. Multimédia elaborada deve ser evitada quando um simples diagrama é adequado. ● Recursos incluem variedade de perspectivas culturais, quando possível. Recursos evitam termos culturais e de género exclusivos. Separação do conteúdo local e genérico para facilitar a personalização e adaptação ● ● Estratégias de disponibilização Unidades curriculares de qualidade são acessíveis a pessoas com necessidades especiais, deficiências físicas ou alunos isolados geograficamente. Numa unidade curricular de qualidade a tecnologia é idealmente transparente aos alunos. Os alunos são capazes de confiar na confiabilidade da tecnologia com sistemas robustos. Os alunos têm acesso rápido ao site e são capazes de navegar e descarregarem os materiais dentro de um período de tempo razoável. O site não é confuso ou desordenado e existem direções claras sempre que apropriado. Os materiais da Unidade são contextualizados, bem apresentados, apelativos e facilmente navegáveis. A unidade de qualidade assegura que canais de comunicação apropriados estão disponíveis aos alunos e estes deverão ser capazes de utilizarem uma variedade de tecnologias para comunicarem e colaborarem entre si e com os professores. A Tabela 3 apresenta uma lista de itens que podem ser usados para avaliar a qualidade da entrega de unidades curriculares online. Tabela 3 - As estratégias de Entrega em materiais de aprendizagem de Qualidade Descrição Exemplos Interface confiável e robusta Os materiais são precisos e livres de erros na sua utilização. ● ● ● Site é acessível com confiança. Navegação e orientação sem defeitos. Várias formas de apoio aos alunos. Objectivo, direções e planos de aprendizagem claros Informação da unidade e expectativas dos alunos são claras. ● Alunos conseguem encontrar informação no website acerca da unidade e os seus requisitos. Estrutura da unidade faz relações explícitas entre resultados da aprendizagem, recursos, atividades e avaliações. Instruções localizadas claramente e sempre disponíveis. ● ● Comunicação Unidade fornece oportunidades e encoraja o diálogo entre alunos e com os professores. Largura de banda apropriada Materiais da Unidade são acessíveis sem atrasos demorados. Acessibilidade Materiais e atividade da Unidade são acessíveis e disponíveis para todos os alunos. Estilo corporativo adequado Unidades adoptam um estilo corporativo para websites de forma a assegurar uma marca de referência de apresentação. ● ● ● ● ● ● ● ● ● Canais de comunicação e Informação são abertos e convidativos para os alunos. Alunos são encorajados a comunicar com o professor e outros membros da turma. Gráficos e outros elementos são analisados por tempos de descarga. Formatos de entrega exigem estratégias para optimizar tempos de descarga. Websites são acessíveis a alunos deficientes. Requisitos do curso e recursos são explícitos aos alunos antecipadamente. Alunos não são bloqueados por firewalls ou restrições geográficas. Layout e apresentação devem incorporar elementos comuns à homepage da Unidade, refletindo um estilo corporativo. (O estilo deve realçar, em vez de ditar, uma abordagem pedagógica) Fontes, resolução, etc devem estar conforme o estilo corporativo onde possível, mas alternativas devem ser possíveis quando necessárias. Conclusão A necessidade de determinar e manter a qualidade no processo de produção, desenvolvimento e disponibilização de materiais de aprendizagem online está a tornar-se uma questão importante junto das universidades e instituições do mundo inteiro. É um processo que nós, na Universidade Edith Cowan, temos levado a sério desde há algum tempo e agora estão na fase da formalização. Este artigo descreve o desenvolvimento de uma lista de verificação de qualidade que esperamos venha proporcionar uma orientação para os criadores e designers e apoiar as avaliações formativa e sumativa das nossas ofertas flexíveis de disponibilização. A próxima etapa do processo será aplicar o instrumento às unidades curriculares online existentes para determinar a sua eficácia. A universidade emprega um número de designers instrucionais que trabalham com académicos de várias faculdades e será com esses profissionais que começaremos a nossa verificação. Como em todas as avaliações de qualidade, este processo será iterativo e resultará da necessidade de modificar e aperfeiçoar o instrumento. A universidade irá depois disponibilizar um conjunto final das orientações para que os docentes e pessoal de apoio as utilizem. É provável que outras instituições em situações semelhantes considerem interessante este trabalho e reconheçam o seu valor, pelo que ficaríamos satisfeitos em partilhar as nossas experiências com eles. Referencias Alley, L. (2000). Ten keys to quality assurance and assessment in online learning [Online] Available : http://www.worldclassstrategies.com/papers/keys.htm [ 11th September 2001]. Ashenden, D. & Milligan, S. (2000). The good universities guide to universities, TAFEs and private providers. Subiaco, WA: Hobsons. Barker. K. (2001). Quality guidelines for online education and training. [Online] Available : http://futured.com/form/pdf/english.pdf [11th September 2001]. Beck, S. (1997). Evaluation criteria: The good, The bad & the ugly: or, why it’s a good idea to evaluate web sources. Institute for Technology-Assisted Learning, New Mexico State University. [Online] Available : http://lib.nmsu.edu/instruction/eval.html [11th September 2001]. Brown, J., Collins, A. & Duguid, P. (1989). Situated cognition and the culture of learning. Educational Researcher, 18, 32-42. Burbules, N. & Callister, T. (2000). Universities in transition: The promise and challenge of new technologies. Teachers College Record, 102(2), 271-293. Carr-Chellman, A. & Duschatel, P. (2000). The ideal on-line course. British Journal of Educational Technology, 31(3), 229-241. Chickering, A.W., & Ehrmann, S.C. (1994?). Implementing the seven principles: Technology as lever. American Association for Higher Education. [Online]Available: http://www.aahe.org/technology/ehrmann.htm [11th September 2001]. Collis, B. (1997). Pedagogical reengineering: A pedagogical approach to course enrichment and redesign with the WWW. Educational Technology Review, 8, 11-15. Kemp, D.A. (1999). Quality assured: A new Australian quality assurance framework for university education. [Online] Available: http://www.detya.gov.au/archive/ministers/kemp/dec99/ks101299.htm [11th September 2001] Krazit, T. (2001). MIT to put course materials online for free. [Online ]. Available: http://www.itworld.com/Career/3710/IDG010404/ [11th September 2001] National Education Association & Blackboard. (2000) Quality on the line. [Online]. Available: http:www.ihep.com/PR17.html [11th September 2001] Nieuwenhuizen, J. (1997). Asleep at the wheel: Australia on the superhighway. Sydney: Australian Braodcasting Corporation. Noble, D. (1998). Digital diploma mills: The automation of higher education, [Online]. Available: http://www.firstmonday.dk/issues/issue3_1/noble/index.html. [11th September 2001] Oliver, R., Omari, A., & Herrington, J. (1998). Exploring student interactions in collaborative World Wide Web computer-based learning environments. Journal of Educational Multimedia and Hypermedia, 7(2/3), 263-287. Radford, A. (1997). The future of multimedia in education. [Online]. Available: http://www.firstmonday.dk/issues/issue2_11/radford/index.html. [11th September 2001] Ramsden, P. (1992). Learning and teaching in higher education. London, Routledge. Reeves, T.C. (2001) Teaching and learning online: Opportunities and responsibilities. Presentation at Edith Cowan University, 25 May, 2001. Reeves, T. C., & Laffey, J. M. (1999). Design, assessment, and evaluation of a problembased learning environment in undergraduate engineering. Higher Education Research and Development Journal, 18(2), 219-232. Reeves, T. C., & Reeves, P. M. (1997). The effective dimensions of interactive learning on the WWW. In B. H. Khan, (Ed.), Web-based instruction (pp. 59-66). Englewood Cliffs, NJ: Educational Technology. Stoll, C. (1995). Silicon snake oil: Second thoughts on the information highway. New York: Anchor. Vaile, A. (1999). Nine keys to quality K-12 online learning experiences. [Online]. Available: http://www.classroom.com/edsoasis/TGuild/FETC99/Vaille1.html [11th September 2001].