área científica
Informática / Ciência e Tecnologia da Programação
escolaridade
ensino teórico-prático (TP) - 3 horas/semana
idioma(s) de lecionação
Português, Inglês
objectivos
As formas de interação entre programas e os seus utilizadores têm evoluído significativamente ao longo dos tempos. Se até aos tempos presentes tem predominado a interação por teclado e rato, começam a aparecer novas formas de interação assentes na fala, nos ecrãs sensíveis ao toque, nos gestos, entre outras.
Estas novas formas de interação lançam novos desafios quer na concepção dessas interfaces quer na facilitação na sua programação (multi-plataforma).
Nesta unidade curricular pretende-se abordar esta temática numa perspetiva aplicada e fazendo uso do estado atual da arte.
No final desta disciplina os alunos deverão estar habilitados a:
• Serem capazes de usar e conjugar várias modalidades, em especial fala, toque (touch) e gestos;
• Compreensão dos desafios e atuais soluções na sua concepção;
• Conceber e implementar interfaces multimodais para aplicações.
competências
As formas de interação entre programas e os seus utilizadores têm evoluído significativamente ao longo dos tempos. Se até aos tempos presentes tem predominado a interação por teclado e rato, começam a aparecer novas formas de interação assentes na fala, nos ecrãs sensíveis ao toque, nos gestos, entre outras.
Estas novas formas de interação lançam novos desafios quer na concepção dessas interfaces quer na facilitação na sua programação (multi-plataforma).
Nesta unidade curricular pretende-se abordar esta temática numa perspetiva aplicada e fazendo uso do estado atual da arte.
No final desta disciplina os alunos deverão estar habilitados a:
• Serem capazes de usar e conjugar várias modalidades, em especial fala, toque (touch) e gestos;
• Compreensão dos desafios e atuais soluções na sua concepção;
• Conceber e implementar interfaces multimodais para aplicações.
conteúdos
- Fundamentos sobre interfaces multimodais, incluindo:
Modalidades, Terminologia
Arquitecturas
Breve apanhado do Estado da Arte
Usabilidade, AMITUDE
2. Modalidades:
Fala (Reconhecimento e síntese de fala, compreensão de linguagem, geração)
Toque (touch)
Gestos
Outros
3. Fusão e fissão
Fusão
Fissão
4. Gestão de diálogo (bases)
5. Ferramentas de projecto e implementação:
6. Casos de Estudo
- Mini Projectos
avaliação
Avaliação contínua:
- 30.00% TP Trabalho prático 3
- 25.00% TP Trabalho prático 1
- 25.00% TP Trabalho prático 2
- 10.00% TP assiduidade e participação nas aulas
- 10.00% TP Breve artigo
Avaliação Final:
- 100.00% TP Apresentação dos trabalhos práticos
metodologia
As aulas são geralmente divididas em 2 partes:
A parte teórica é essencialmente expositiva e feita com o apoio de apresentações em PowerPoint, opção motivada pela necessidade de utilização de diagramas e figuras complexas e pelo suporte que este tipo de apresentação dá à utilização de meios audiovisuais, essenciais para a demonstração de resultados concretos nesta área. Em vários dos tópicos, é feito um esforço por incluir demonstrações através da utilização de sons, filmes e mesmo pela utilização “ao vivo” de aplicações da área.
A parte prática integra sessões práticas de iniciação aos vários SDKs e ferramentas e os trabalhos práticos para avaliação.
bibliografia recomendada
Almeida, N.. Multimodal Interaction - Contributions to Simplify Application Development. PhD Thesis, Universidade de Aveiro, March 2017
Pearl, C. (2016). Designing Voice User Interfaces: Principles of Conversational Experiences. O'Reilly Media, Inc.
Jurafsky, D. and J. H. Martin (2019). Speech and Language Processing. (3rd ed. draft)
Almeida, N., Teixeira, A., Silva, S., Ketsmur, M. The AM4I Architecture and Framework for Multimodal Interaction and Its Application to Smart Environments. Sensors, vol. 19, no. 11, June 2019
Saffer D. (2009). Designing Gestural Interfaces. O’Reilly.
Bernsen, N. e Dybkjær, L. (2010). Multimodal Usability. Springer.
Lalanne, D., L. Nigay, et al. (2009). Fusion engines for multimodal input: a survey. Proc Int Conf Multimodal interfaces. pp. 153-160.