Bloomberg & Reuters 新闻抓取方案汇总
个人使用免费方案整理,更新日期:2026-01-25
一、RSS 方案 (推荐)
1. Bloomberg 官方 RSS
Bloomberg 提供官方 RSS 订阅,数据质量最高,包含完整摘要。
分类
RSS 地址
状态
Markets
https://feeds.bloomberg.com/markets/news.rss
✅
Technology
https://feeds.bloomberg.com/technology/news.rss
✅
Politics
https://feeds.bloomberg.com/politics/news.rss
✅
Wealth
https://feeds.bloomberg.com/wealth/news.rss
✅
Business
https://feeds.bloomberg.com/bview/news.rss
✅
Economics
https://feeds.bloomberg.com/economics/news.rss
✅
2. Google News RSS 代理
Reuters 已停用官方 RSS,可通过 Google News RSS 代理获取。
格式:
https://news.google.com/rss/search?q=when:{hours}h+allinurl:{domain}&ceid=US:en&hl=en-US&gl=US
可用源:
来源
RSS 地址
状态
Reuters
https://news.google.com/rss/search?q=when:24h+allinurl:reuters.com&ceid=US:en&hl=en-US&gl=US
✅
Bloomberg
https://news.google.com/rss/search?q=when:24h+allinurl:bloomberg.com&ceid=US:en&hl=en-US&gl=US
✅
WSJ
https://news.google.com/rss/search?q=when:24h+allinurl:wsj.com&ceid=US:en&hl=en-US&gl=US
✅
Financial Times
https://news.google.com/rss/search?q=when:24h+allinurl:ft.com&ceid=US:en&hl=en-US&gl=US
✅
参数说明:
when:24h - 获取最近24小时的新闻,可改为 7d(7天)
allinurl: - 限定来源域名
ceid=US:en - 地区和语言
方案
稳定性
数据质量
实现难度
推荐度
Bloomberg 官方 RSS
⭐⭐⭐⭐⭐
⭐⭐⭐⭐⭐
⭐⭐⭐⭐⭐
强烈推荐
Google News RSS 代理
⭐⭐⭐⭐
⭐⭐⭐
⭐⭐⭐⭐⭐
推荐
第三方 API (免费)
⭐⭐⭐
⭐⭐⭐⭐
⭐⭐⭐⭐
推荐
开源爬虫项目
⭐⭐
⭐⭐⭐
⭐⭐⭐
可选
Bloomberg (官方 RSS): 135 条 ✅ 效果最佳
Reuters (Google News): 23 条 ✅ 可用
WSJ (Google News): 21 条 ✅ 可用
Financial Times: 12 条 ✅ 可用
cd ~ /news-scraper
source venv/bin/activate
# 基本抓取
python scraper.py
# 查看帮助
python scraper.py --help
# 过滤包含 trump 或 china 或 tariff 的新闻 (任一匹配)
python scraper.py -k trump china tariff
# 过滤同时包含 trump 和 tariff 的新闻 (全部匹配)
python scraper.py -k trump tariff -m all
# 翻译前10条新闻的标题和摘要
python scraper.py -t
# 翻译前20条
python scraper.py -t --translate-limit 20
# 关键词过滤 + 翻译
python scraper.py -k china -t
# 抓取前5篇文章正文
python scraper.py -c
# 抓取前10篇
python scraper.py -c --content-limit 10
# 交互式设置 cron 定时任务
./setup_cron.sh
# 或手动运行定时脚本
./cron_job.sh
# 过滤 + 翻译 + 正文 + 指定输出
python scraper.py -k ai tech -t -c --content-limit 3 --translate-limit 5 -o ai_news.json
# 显示更多结果
python scraper.py -k market -n 10
参数
说明
默认值
-k, --keywords
过滤关键词(空格分隔)
无
-m, --match-mode
匹配模式:any/all
any
-c, --content
抓取文章正文
否
-t, --translate
翻译为中文
否
-n, --limit
显示条数
5
-o, --output
输出文件名
news_data.json
--content-limit
正文抓取条数
5
--translate-limit
翻译条数
10
~/news-scraper/
├── scraper.py # 主抓取脚本
├── cron_job.sh # 定时任务脚本
├── setup_cron.sh # cron 设置工具
├── README.md # 文档
├── venv/ # Python 虚拟环境
├── cache/ # 正文缓存目录
├── data/ # 定时抓取数据目录
├── logs/ # 定时抓取日志目录
└── news_data.json # 最新抓取结果
Bloomberg 正文 : 大部分文章需要订阅才能获取完整正文
Reuters 链接 : Google News 返回跳转链接,无法直接抓取正文
翻译速率 : Google Translate 免费接口有频率限制