問答式林業(yè)預(yù)訓(xùn)練語言模型ForestBERT

摘要： 【目的】針對林業(yè)文本利用率低、通用領(lǐng)域預(yù)訓(xùn)練語言模型對林業(yè)知識理解不足以及手動標注數(shù)據(jù)耗時費力等問題，基于大量林業(yè)文本，提出一種融合林業(yè)領(lǐng)域知識的預(yù)訓(xùn)練語言模型，并通過自動標注訓(xùn)練數(shù)據(jù)，高效實現(xiàn)林業(yè)抽取式問答，為林業(yè)決策管理提供智能化信息服務(wù)。【方法】首先，基于網(wǎng)絡(luò)爬蟲技術(shù)構(gòu)建包含術(shù)語、法律法規(guī)和文獻3個主題的林業(yè)語料庫，使用該語料庫對通用領(lǐng)域預(yù)訓(xùn)練語言模型BERT進行繼續(xù)預(yù)訓(xùn)... （共12頁）