ブログ

初めての外部ユーザーが来たのに、23チャンネルが空だった

Plainfeedは、選んだYouTubeチャンネルの新しい動画だけを、アルゴリズムのおすすめやショートなしで投稿された順に表示するウェブサイトです。新しい動画は無料のYouTube RSSで取得し、RSSが使えないときだけYouTube APIで代わりに取得します。

前回の記事では、RSSがまとめて404を返すとき、初めて見るチャンネルも代わりに取得するよう直しました。その記事の最後に、1回のリクエストで代わりに取得する数(当時は6チャンネル)と1時間の印はそのままにすると書きました。数は11月7日に15チャンネルへ増やしましたが、今回はその枠と1時間の印が一緒に、初めてログインした外部ユーザーを止めた記録です。

何があったのか

11月10日の午後、あるコミュニティにPlainfeedの紹介記事を投稿した日でした。16時29分(韓国時間)、初めてログインした外部ユーザーがGoogleアカウントで入り、YouTubeの68の登録チャンネルをまとめて取り込みました。

その時、YouTubeのRSSがまた404を返していました。68チャンネルのほとんどが初めて見るチャンネルだったので代わりに取得する必要がありましたが、1回のリクエストで取得できるのは15チャンネルまでです。枠を超えた23チャンネルに1時間の印が付きました。

印の付いたチャンネルは、1時間の間アプリがもう一度聞いてもサーバーが取得しません。その1時間の間にその方は戻ってこなかったので、画面には23チャンネルが空のまま残っていたはずです。18時にRSSを確認し直したときには、すべて200に戻っていました。

11月10日午後の流れ。16時29分に初めてログインした外部ユーザーが68の登録チャンネルを取り込み、同じ時にYouTubeのRSSが404。リクエストごとの枠15チャンネルを超えた23チャンネルに1時間の印が付き、その間に戻ってこない。18時にRSSを確認し直すとすべて200、18時11分に修正を反映。
11月10日の午後。枠を超えた23チャンネルが1時間止まりました。

なぜ止まったのか

結論:架空のチャンネルを止めるための1時間の印が、枠が足りずに取得できなかった本物のチャンネルにも付いていました。

1時間の印は、存在しないチャンネルIDを大量に送ってクォータを使わせるリクエストを止めるための仕組みです。存在しないチャンネルはRSSも常に404なので、印がなければリクエストのたびに聞き直すことになります。

ところがコードは、「存在は確かめたが枠が埋まって取得できなかったチャンネル」と「存在しないチャンネル」を同じ印で扱っていました。しかも、既知のチャンネルが先に枠を使い切ったリクエストでは、存在するかどうかさえ聞かずにすぐ印を付けていました。前回は、すでに知っているチャンネルしか守らないルールを直しましたが、今回は一度にたくさん取り込む人を取りこぼしていたわけです。

直したこと

結論:実在するチャンネルは印を付けずに次のリクエストで取得し直し、1時間の印は存在しないチャンネルと取得に失敗したチャンネルにだけ付けます。

枠がすでに埋まっていても、RSSが失敗した初めて見るチャンネルは、まず channels.list で存在を確かめます。一度に50チャンネルまでで1ユニットです。YouTubeが返したチャンネルなのに枠が埋まって取得できない場合は、何も印を付けません。アプリは画面を開いていれば10分ごとに新しい動画を確認するので、そのときにもう一度取得します。

// 短くしたコード (lib/youtube.js)
// RSSが失敗した初めて見るチャンネルごとに
for (const r of unchecked) {
  // 存在しない:1時間の印
  if (!found.has(r.id)) { r.dead = true; continue; }
  // 実在するが枠が埋まった:印なしで次のリクエストへ
  if (fallbacks >= maxFallback) continue;
  fallbacks++;
  // 代わりの取得 1ユニット
  try { r.feed = await fetchUploads(r.id); }
  // 代わりの取得に失敗:1時間の印
  catch { r.dead = true; }
}
RSSが失敗したとき、初めて見るチャンネル 前 今
実在する、枠の中 代わりに取得 代わりに取得
実在する、枠を超えた 1時間の印 印なしで次のリクエスト(10分後)にもう一度
存在しない 1時間の印 1時間の印(そのまま)
存在の確認に失敗 1時間の印 1時間の印(そのまま)
代わりの取得に失敗 1時間の印 1時間の印(そのまま)

ただし、代償もあります。枠が埋まったリクエストでも存在を確かめるので、RSSの障害中はリクエストごとに1ユニット多くかかることがあります。代わりの取得の1日の上限(全体で1,500チャンネル)はそのままなので、クォータを使いすぎることはありません。修正後の動作は、偽のYouTube応答を使ったテストに追加しました。

数字

項目 値
取り込んだ登録チャンネル 68チャンネル
1時間の印が付いたその方のチャンネル 23チャンネル(同じ時に印が付いた46チャンネルのうち)
取り込んだ時刻 16:29
RSSが戻ったのを確認した時刻 18:00
修正を反映した時刻 18:11

その方は翌日の午後にまた訪れて、チャンネルを1個追加した記録があります。11月15日時点で、すべてのアカウントの235チャンネルが取得済みで、新着動画の通知もすべて有効です。

おわりに

守りの仕組みを作ったときは「止めたいリクエスト」だけを思い浮かべていましたが、実際に引っかかったのは初めて来たユーザーでした。最初の画面で空のチャンネルを見た人がまた来てくれるかは分かりません。だからこれからは、怪しいリクエストを止めるルールを作るとき、同じルールに引っかかりうる普通の人が誰なのかも一緒に書いておこうと思います。

続けて読む

ブログの記事一覧