There are two major problems when deploying a practical intent detection system for a new customer. First, domain-specific data from the customer could be limited and imbalanced. Additionally, despite different customers might share the same domain, their intent categories might be different from each other. Thus, it might be difficult to combine the datasets collected for different customers into a single and larger one. In this paper, we use class weights in the loss computation to alleviate the data imbalance problem. The class weights are defined inversely proportional to the frequency of the class in the training set in order to give more influence to less observed classes. We also employ a two-pass fine-tuning procedure to utilize the information in different in-domain datasets. Experimental results show that intent detection performance is improved significantly when the weighted loss function is used together with the two-pass transfer learning procedure. The absolute performance improvement in percent detection accuracy is approximately 2% over a transformer-based baseline.
TÜRKİYE BİLİMSEL VE TEKNOLOJİK ARAŞTIRMA KURUMU (TÜBİTAK)
3189149
This work was supported by The Scientific and Technological Research Council of Turkey (TUBITAK) under the project number 3189149.
Bir niyet tespiti uygulamasını yeni bir müşteri için gerçekleştirirken iki temel problem ile karşılaşılmaktadır. İlki müşteriden gelen alana özgü veri miktarının genellikle az ve her sınıftan dengesiz sayıda örnek içermesidir. Ayrıca, müşteriler benzer alanlarda bir uygulama gerçekleştirmek isteseler de, belirledikleri niyet kategorileri genellikle farklı olmaktadır. Bu durum, farklı müşteriler için toplanan verilerin tek ve daha büyük bir veri seti haline getirilmesini zorlaştırmaktadır. Bu çalışmada veri dengesizliği problemini azaltmak için kayıp fonksiyonunda sınıf ağırlıkları kullanılmıştır. Sınıf ağırlıkları, eğitim verisinde az örneği olan sınıflara daha fazla ağırlık vermek için, sınıftaki örnek sayısı ile ters orantılı olarak belirlenmiştir. Ayrıca, benzer alanlarda toplanmış veri setlerindeki bilgiden faydalanmak için iki uyarlama aşaması olan bir transfer öğrenme yöntemi denenmiştir. Deneylerde, ağırlıklı kayıp fonksiyonu ile iki aşamalı transfer öğrenme yönteminin birlikte kullanılmasının niyet tespiti sınıflandırma başarımını önemli oranda arttırdığı gözlenmiştir. Yüzde tanıma oranındaki net artış dönüştürücü tabanlı referans sisteme göre %2 olarak gerçekleşmiştir.
3189149
Primary Language | English |
---|---|
Subjects | Engineering |
Journal Section | Articles |
Authors | |
Project Number | 3189149 |
Publication Date | December 31, 2021 |
Published in Issue | Year 2021 Issue: 32 |