Skip to content

Ricaardo/news-scraper

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

2 Commits
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Bloomberg & Reuters 新闻抓取方案汇总

个人使用免费方案整理,更新日期:2026-01-25

一、RSS 方案 (推荐)

1. Bloomberg 官方 RSS

Bloomberg 提供官方 RSS 订阅,数据质量最高,包含完整摘要。

分类 RSS 地址 状态
Markets https://feeds.bloomberg.com/markets/news.rss
Technology https://feeds.bloomberg.com/technology/news.rss
Politics https://feeds.bloomberg.com/politics/news.rss
Wealth https://feeds.bloomberg.com/wealth/news.rss
Business https://feeds.bloomberg.com/bview/news.rss
Economics https://feeds.bloomberg.com/economics/news.rss

2. Google News RSS 代理

Reuters 已停用官方 RSS,可通过 Google News RSS 代理获取。

格式:

https://news.google.com/rss/search?q=when:{hours}h+allinurl:{domain}&ceid=US:en&hl=en-US&gl=US

可用源:

来源 RSS 地址 状态
Reuters https://news.google.com/rss/search?q=when:24h+allinurl:reuters.com&ceid=US:en&hl=en-US&gl=US
Bloomberg https://news.google.com/rss/search?q=when:24h+allinurl:bloomberg.com&ceid=US:en&hl=en-US&gl=US
WSJ https://news.google.com/rss/search?q=when:24h+allinurl:wsj.com&ceid=US:en&hl=en-US&gl=US
Financial Times https://news.google.com/rss/search?q=when:24h+allinurl:ft.com&ceid=US:en&hl=en-US&gl=US

参数说明:

  • when:24h - 获取最近24小时的新闻,可改为 7d(7天)
  • allinurl: - 限定来源域名
  • ceid=US:en - 地区和语言

二、开源项目 (GitHub)

推荐项目

项目 Stars 说明 链接
web-scraping 852⭐ 多源爬虫教程 (Bloomberg, Reuters, WSJ, FT 等) https://github.com/je-suis-tm/web-scraping
realtime-newsapi 315⭐ 金融新闻聚合,10000+ 来源,WebSocket 实时推送 https://github.com/janlukasschroeder/realtime-newsapi
news-crawler 129⭐ 支持 BBC、Reuters、NYT https://github.com/LuChang-CS/news-crawler

其他项目

项目 说明 链接
Bloomberg-scraper Playwright 框架,按版块抓取 https://github.com/rrrrrrzy/Bloomberg-scraper
bbg_scraper 按主题抓取 Bloomberg 标题 https://github.com/weiwangchun/bbg_scraper
Reuters-News-Scraper 按股票代码抓取 Reuters https://github.com/maximenc/Reuters-News-Scraper

三、第三方新闻 API (免费额度)

服务 免费额度 特点 链接
NewsAPI.org 100次/天 8万+ 来源,含 Bloomberg/Reuters https://newsapi.org/
Newsdata.io 200次/天 支持多语言、历史数据 https://newsdata.io/
GNews.io 100次/天 Google News 数据 https://gnews.io/

四、方案对比

方案 稳定性 数据质量 实现难度 推荐度
Bloomberg 官方 RSS ⭐⭐⭐⭐⭐ ⭐⭐⭐⭐⭐ ⭐⭐⭐⭐⭐ 强烈推荐
Google News RSS 代理 ⭐⭐⭐⭐ ⭐⭐⭐ ⭐⭐⭐⭐⭐ 推荐
第三方 API (免费) ⭐⭐⭐ ⭐⭐⭐⭐ ⭐⭐⭐⭐ 推荐
开源爬虫项目 ⭐⭐ ⭐⭐⭐ ⭐⭐⭐ 可选

五、实测结果 (2026-01-25)

Bloomberg (官方 RSS):    135 条  ✅ 效果最佳
Reuters (Google News):   23 条   ✅ 可用
WSJ (Google News):       21 条   ✅ 可用
Financial Times:         12 条   ✅ 可用

六、脚本使用说明

基本使用

cd ~/news-scraper
source venv/bin/activate

# 基本抓取
python scraper.py

# 查看帮助
python scraper.py --help

功能1: 关键词过滤

# 过滤包含 trump 或 china 或 tariff 的新闻 (任一匹配)
python scraper.py -k trump china tariff

# 过滤同时包含 trump 和 tariff 的新闻 (全部匹配)
python scraper.py -k trump tariff -m all

功能2: 中文翻译

# 翻译前10条新闻的标题和摘要
python scraper.py -t

# 翻译前20条
python scraper.py -t --translate-limit 20

# 关键词过滤 + 翻译
python scraper.py -k china -t

功能3: 抓取文章正文

# 抓取前5篇文章正文
python scraper.py -c

# 抓取前10篇
python scraper.py -c --content-limit 10

功能4: 定时抓取

# 交互式设置 cron 定时任务
./setup_cron.sh

# 或手动运行定时脚本
./cron_job.sh

组合使用

# 过滤 + 翻译 + 正文 + 指定输出
python scraper.py -k ai tech -t -c --content-limit 3 --translate-limit 5 -o ai_news.json

# 显示更多结果
python scraper.py -k market -n 10

命令参数说明

参数 说明 默认值
-k, --keywords 过滤关键词(空格分隔)
-m, --match-mode 匹配模式:any/all any
-c, --content 抓取文章正文
-t, --translate 翻译为中文
-n, --limit 显示条数 5
-o, --output 输出文件名 news_data.json
--content-limit 正文抓取条数 5
--translate-limit 翻译条数 10

七、项目结构

~/news-scraper/
├── scraper.py        # 主抓取脚本
├── cron_job.sh       # 定时任务脚本
├── setup_cron.sh     # cron 设置工具
├── README.md         # 文档
├── venv/             # Python 虚拟环境
├── cache/            # 正文缓存目录
├── data/             # 定时抓取数据目录
├── logs/             # 定时抓取日志目录
└── news_data.json    # 最新抓取结果

八、已知限制

  1. Bloomberg 正文: 大部分文章需要订阅才能获取完整正文
  2. Reuters 链接: Google News 返回跳转链接,无法直接抓取正文
  3. 翻译速率: Google Translate 免费接口有频率限制

About

Bloomberg & Reuters news scraper with keyword filtering, translation, and cron support

Resources

Stars

14 stars

Watchers

1 watching

Forks

Releases

No releases published

Packages

 
 
 

Contributors