数据集询问

[0112HY]

你好，感谢您开源该数据集。现在有个问题麻烦请教一下，对于数据集中的 text是整个新闻报道，没有新闻标题吗，text过于长，无法训练。
期待您的回复。

[Accuser907]

由于社交媒体的新闻没有标题，所以我们没有单列一个标题作为一栏。Official News中的标题即为整个text字段的第一句。对于text过于长的问题，你可以在使用BERT等模型时用tokezier将长文本进行截断，例如下面这样：inputs = tokenizer(
long_text,
truncation=True,
max_length=512,
return_tensors="pt"
)