Change the way of reusing Chrome between cronjobs

[pm5]

https://g0v-tw.slack.com/archives/CNYM62P6X/p1579689426013300

bruce: 目前是跑完，還是讓chrome留著，讓下一個cron可以接續用，所以沒有關掉
ronnywang: 以 middle2 的架構 每次 cron 都是獨立的 docker ,所以把 chrome 留下來不會有節省時間的效果 反而會讓 middle2 認為這隻 cron 還沒跑完不會釋放資源
ronnywang: 如果要重覆用資源的話，要用 worker 來做，worker 就是永遠都跑不完的 process

[pm5]

如果改成每個 cronjob 重跑一個自己的 chrome，結束時就把 chrome 關掉，會跑起來花多少時間？

[dieface]

目前打算每隔 n 分鐘 (ex. n = 10) 用 cron 跑以下 shell script 的流程（正在本機實作和測試）：

• every time interval (ex. every 10 minute) monitor if discover is working
  if is_working(discover) return
  else
  • kill all processes of python3 discover.py --all
    • running_pid=$(ps aux | grep 'python discover.py --all' | awk '{print $2}' ORS=' ') && kill -9 $running_pid
  • kill all chrome window session
    • running_sid=$(ps aux | grep 'Chrome' | awk '{print $2}' ORS=' ') && kill -9 $running_sid
  • kill all webdriver
    • running_wid=$(ps aux | grep 'chromedriver' | awk '{print $2}' ORS=' ') && kill -9 $running_wid
  • start new discover.py process
    • pipenv run python discover.py --all
• is_working(pid, timeout = 60 * 10):
  • f = load file discover_all_{pid}.log
  • max = len(f.lines)
  • latest_timestamp = f.lines[max - 1]
  • if latest_timestamp is not None and (now() - latest_timestamp) > timeout:
    • return False
  • else:
    • f.append_string('timestamp_{}'.format(now())
    • return True

[pm5]

這樣看起來有點怪怪的。你打算做的是讓每個 cronjob 只會跑一個小時就結束，給下一輪 cronjob 繼續跑，還是讓 cronjob 一次跑完，在這段期間不會有其它 cronjob 發生？

[dieface]

我想讓 discover 和 update 都一直跑著，以 discover 為例，他的 cronjob 每隔固定時間就去看 discover 的 process 是不是掛掉或跑完了，如果是就會啟動新的 discover 的 process

[dieface]

所以 kill all chrome window session 和 kill all webdriver ，這兩段應該會改成 kill discover related chrome window session 和 kill discover related webdriver，避免砍到 update 或其他程式有用到的

[pm5]

如果想讓 discover 與 update 一直跑，似乎不需要特別去 kill chrome process。應該可以讓 discover 與 update 結束的時候，自己把自己開的 chrome process 結束掉？把「清除舊資源」跟「跑一輪新的」兩件工作分開，你的 monitor cronjob 只最後面那件事情，邏輯會比較清楚。

另外只休息 10 分鐘就重跑是不是太快了一點？Chrome 蠻吃記憶體的。你想要抓的是什麼資料，會希望用這些資源去取得即時的結果？

[dieface]

關於「可以讓 discover 與 update 結束的時候，自己把自己開的 chrome process 結束掉？」的部分，後來有加設定讓他跑完會自己關掉 https://github.com/disinfoRG/FbScraping/blob/a338f48ef2b3b1aa6db745361447807001c3b6ba/discover.py#L36

但還是有可能他沒跑完就當在某個地方而不會自己關掉，所以不是每次 cron 都重跑 Chrome，而 cron 會去看 discover 有沒有掛掉或已經跑完一段時間，掛掉才會重開 Chrome
目前已經先對於 discover 實作在這個 commit: a338f48
這幾行就是每次我目前希望 cron 做的事情：

1. 如果 discover 掛掉，就重開 (L118-L126)
2. 如果 discover 沒事或重開好了，就顯示成功在執行的訊息 (L128-L131)
   https://github.com/disinfoRG/FbScraping/blob/a338f48ef2b3b1aa6db745361447807001c3b6ba/discover_scheduler.py#L118-L131

[pm5]

那先提醒兩件事：

• 「還是有可能他沒跑完就當在某個地方而不會自己關掉，所以不是每次 cron 都重跑 Chrome」這不像是正常的情況。有沒有先研究過為什麼不會自己關掉？
• https://github.com/disinfoRG/FbScraping/blob/a338f48ef2b3b1aa6db745361447807001c3b6ba/discover_scheduler.py#L77-L102 看起來是用 os 把沒跑完的 process 砍掉。如果這段是在新開啟的 cronjob 裡面執行，那跟舊的 cronjob 會是分開在兩個 docker container 跑，應該會找不到也砍不掉舊 cronjob 的 process，所以應該是無效的。這個作法有在 middle2 上面測試過可行嗎？

[pm5]

@dieface @chihaoyo 我看了一下 code 和昨天跑的結果（middle2 上應該還有昨天 FbScraping 跑的 chrome process 沒有關掉），覺得這個作法不太可行。有確實測試過可行嗎？

[dieface]

對，目前這個概念在我本機電腦有跑起來，但是 m2 不行。昨天問 ronny，m2 上的 cron 每次都是一個新的檔案系統，原本想在不同 cron 之間共用同樣的 log 檔案來做追蹤就不可行了， ronny 建議需要就寫到資料庫，然後原本想直接透過 command line 來刪除 hanging 的 chrome 一樣就不行，目前看來也是因為 cron 每次都是一個新的檔案系統而無法看到因此無法刪除其他 cron 跑的 chrome

[pm5]

@dieface 我建議還是仔細研究一下 chrome 為什麼會跑到「當掉」，最後關不掉。是不是因為 Python code 在 parse HTML 的時候會丟出 exception，例如因為去抓某些不一定存在的 HTML tag 來使用？那樣程式可能就跑不到 browser.quit() 就結束了。

如果真的需要用 kill process 的方式去 workaround，那可以參考一下 NewsScraping 之前的作法。但我希望 workaround 不要影響的主要程式的邏輯，並且 workaround 本身不要太多行程式。