如何利用 Python 爬蟲實現給微信群發新聞早報?(詳細)_台中搬家

台中搬家公司費用怎麼算?

擁有20年純熟搬遷經驗,提供免費估價且流程透明更是5星評價的搬家公司

1. 場景

經常有小夥伴在交流群問我,每天的早報新聞是怎麼獲取的?

其實,早期使用的方案,是利用爬蟲獲取到一些新聞網站的標題,然後做了一些簡單的數據清洗,最後利用 itchat 發送到指定的社群中。

由於爬蟲面對 網站改版的不穩定性及 itchat 不安全性,所以放棄了這種方案

後期更改了一種方案,通過修改爬蟲方案,創建 API 服務,編寫 App 去獲取數據,然後手動發送到微信群

本篇文章將和大家詳細聊聊具體的實現過程

2. 數據爬取

第 1 步,通過 Python 爬蟲獲取數據

獲取方式有 2 種,分別是:已有的新聞早報網站、新聞網站的頭條新聞

選擇一種爬蟲方式,就能很快地爬取到目標網站的數據

第 2 步,數據清洗,排序

將爬取到的數據先進行一次關鍵字篩選,然後按照點贊或者閱讀數按照熱點進行排序

第 3 步,參數化,去重

去掉數據中重複的新聞,然後將最後展示的數目參數化

# 按照點贊數目,降序排列
news_sorted_pro = sorted(news, key=itemgetter('news_approve_num'), reverse=True)
 
result = []
 
for news_sorted_item in news_sorted_pro:
      result.append(news_sorted_item.get('title'))
 
# 去重
result = sorted(set(result), key=result.index)
 
# 只取前12條數據
result = result[:self.news_num] if len(result) >= self.news_num else result

需要注意的是,由於新聞網站會經常改版,建議爬取多個新聞網站,做好異常處理,做一個優先級,如果一個網站爬取數據失敗,切換到下一個級別的網站爬取數據

3. 服務化

將數據服務化,即編寫 API,目的是為了方便終端調用

如果使用 Python 編寫 API,建議使用 FastAPI 或 Flask 框架,因為這兩個框架開發 API 方便快捷,以 FastAPI 為例:

第 1 步,安裝依賴

包含 FastAPI 框架及 hypercorn 依賴,hypercorn 是獨立的 ASGI 服務器,方便 FastAPI 項目的部署

# FastAPI框架
pip3 install fastapi
 
pip3 install hypercorn

第 2 步,編寫 API

使用 FastAPI 很方便,不到 10 行代碼就能編寫一個接口服務

只需要實例化 FastAPI 對象,利用裝飾器指定請求方法和路徑即可,調用上面的爬蟲方法即可。

from fastapi import FastAPI
 
# 實例化
app = FastAPI()
 
# API,Get方式
@app.get("/last_news")
def get_last_news():
    """
    最新的新聞
    :return:
    """
    news = get_news()
 
    data = {
        'code': 0,
        'news': news
    }
 
    # 封裝
    return data

如要想本地調試 API,可以通過 uvicorn 命令運行項目

# 運行項目
uvicorn news:app --reload

然後訪問下面的地址,查看返回的新聞數據

http://127.0.0.1:8000/last_news

台中搬家遵守搬運三大原則,讓您的家具不再被破壞!

台中搬家公司推薦超過30年經驗,首選台中大展搬家

第 3 步,生成依賴遷移文件

使用 pip freeze 命令將在本地生成依賴遷移文件

# 生成遷移文件
pip freeze > requirements.txt

第 4 步,上傳代碼

將代碼上傳到代碼託管平台,比如:碼雲、GitLab 等

第 5 步,服務器拉取代碼

服務器中通過 git 拉取代碼,並通過依賴文件一鍵安裝所有依賴

# 安裝依賴
pip3 install -r requirements.txt

第 6 步,運行服務

使用 hypercorn 運行 FastAPI 項目,使進程一直在後台運行,並保存運行日誌信息

# 後台運行
# 保存日誌,綁定端口號為:8000
# nohup hypercorn news:app --bind 0.0.0.0:8000 > /news.log 2>&1 &

需要注意的是,項目綁定的端口號需要在防火牆和雲服務器安全組開啟

當然,如果使用 Java 編寫 API,推薦使用 Spring Boot,可以快速開發一個 Restful API 服務

4. 編寫 App

完成 API 服務之後,接下來就是在終端編寫一款 App 去訪問 API,拿到數據並展示出來

以編寫一款 Android 應用為例

首先,我們在界面上放置一個文本显示框和一個按鈕控件

然後,對按鈕控件設置點擊事件的監聽

get_news_btn = findViewById(R.id.get_news_btn);
 
//監聽事件
get_news_btn.setOnClickListener(this);
 
@Override
public void onClick(View v)
{
    switch (v.getId())
    {
        case R.id.get_news_btn:
            news_et.setText("獲取中。。。");
            getNewsMet();
            break;
        }
    }

接着,使用 Android 的網絡請求框架 OkHttp 框架調用 API 獲取數據

/***
* 獲取新聞
*/
private void getNewsMet()
{
     OkHttpClient okHttpClient = new OkHttpClient();
     //構建請求信息:連接請求url 請求方法method 請求頭部headers 請求體body 標籤tag
     Request request = new Request.Builder().url(url).get().build();
//        Call call = okHttpClient.newCall(request);
 
     okHttpClient.newCall(request).enqueue(new Callback()
     {
          @Override
          public void onFailure(Call call, IOException e)
          {
              Log.d("xag", "獲取失敗");
              showResult(false, "");
          }
 
          @Override
          public void onResponse(Call call, final Response response) throws IOException
          {
              Log.d("xag", "獲取成功")
              parseJsonWithJsonObject(response);
          }
      });
}

最後,將新聞數據显示在文本控件中,並複製到系統剪切板

private void copyToClip(String content)
{
     //獲取剪貼板管理器:
     ClipboardManager cm = (ClipboardManager) getSystemService(CLIPBOARD_SERVICE);
     // 創建普通字符型ClipData
     ClipData mClipData = ClipData.newPlainText("Label", content);
     // 將ClipData內容放到系統剪貼板里。
     if (null != cm)
     {
         cm.setPrimaryClip(mClipData);
     }
}

如果只有 iOS 設備,使用 Xcode 編寫 iOS 應用,建議將 Xcode 升級到 11.0 以上

創建項目的時候,推薦使用 SwiftUI 構建 UI 界面,然後利用 CocoaPods 添加 Alamofire 網絡請求依賴庫,其他操作步驟和 Android 端類似,這裏不展開說明

# Uncomment the next line to define a global platform for your project
source 'https://github.com/CocoaPods/Specs.git'
 
platform :ios, '9.0'
 
use_frameworks!
 
target 'news_eve' do
  # Comment the next line if you don't want to use dynamic frameworks
  pod 'Alamofire'
  pod 'SwiftyJSON'
  pod 'HandyJSON'
  # Pods for news_eve
end

最後

上面步驟只需要點擊 App 中的按鈕,早報新聞就複製到系統剪切板了,接着可以轉發到多個微信群了

當然,最後一步也可以利用 SoloPi 或者無障礙,將內容利用自動化操作,一鍵轉發出去

我已經將文中部分源碼上傳到 公眾號 後台,關注公眾號 AirPython 后回復「 早報 」即可獲得全部源碼

如果你覺得文章還不錯,請大家點贊分享下。你的肯定是我最大的鼓勵和支持。

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

台中搬家公司費用怎麼算?

擁有20年純熟搬遷經驗,提供免費估價且流程透明更是5星評價的搬家公司

您可能也會喜歡…