블로그

첫 외부 사용자가 왔는데 채널 23개가 비어 있었다

Plainfeed는 고른 유튜브 채널의 새 영상만 올라온 순서대로 보여주는 웹사이트예요. 알고리즘 추천 영상과 쇼츠는 섞이지 않아요. 새 영상은 무료인 유튜브 RSS로 받고, RSS가 안 될 때만 유튜브 API로 대신 받습니다.

지난 글에서 RSS가 통째로 404를 낼 때 처음 보는 채널도 대신 받게 고쳤어요. 그 글 끝에 요청당 대신 받는 수(그때 6개)와 1시간 표시는 그대로 둔다고 적었어요. 수는 11월 7일에 15개로 늘렸지만, 이번 글은 그 몫과 1시간 표시가 함께 처음 로그인한 외부 사용자를 막은 기록입니다.

무슨 일이 있었나

11월 10일 오후, 한 커뮤니티에 Plainfeed 소개 글을 올린 날이었습니다. 16:29에 처음으로 로그인한 외부 사용자가 구글 계정으로 들어와 유튜브 구독 채널 68개를 한꺼번에 가져왔어요.

그 시각 유튜브 RSS가 다시 404를 내고 있었습니다. 68개 대부분이 처음 보는 채널이라 대신 받아야 했는데, 요청마다 15개까지만 받을 수 있었어요. 그 몫을 넘은 23개에는 1시간 표시가 붙었습니다.

표시가 붙은 채널은 1시간 동안 앱이 다시 물어도 서버가 받지 않습니다. 그 1시간 동안 그분은 다시 오지 않았고, 화면에는 채널 23개가 빈 채로 남아 있었을 거예요. 18:00에 RSS를 다시 확인했을 때는 모두 200으로 돌아와 있었습니다.

11월 10일 오후의 흐름. 16:29 처음 로그인한 외부 사용자가 구독 68개를 가져옴, 같은 때 유튜브 RSS가 404, 요청당 몫 15개를 넘은 23개에 1시간 표시, 그 사이 다시 오지 않음, 18:00 RSS를 다시 확인하니 모두 200, 18:11 고침을 올림.
11월 10일 오후. 몫을 넘은 23개가 1시간 동안 묶였어요.

왜 막혔나

결론: 지어낸 채널을 막으려던 1시간 표시가, 몫이 모자라 못 받은 진짜 채널에도 붙었습니다.

1시간 표시는 원래, 존재하지 않는 채널 ID를 잔뜩 보내 할당량을 쓰게 만드는 요청을 막으려고 만든 장치예요. 없는 채널은 RSS도 늘 404라서, 표시가 없으면 요청마다 다시 묻게 되니까요.

그런데 코드는 "있는지 확인했지만 몫이 다 차서 못 받은 채널"과 "없는 채널"을 같은 표시로 처리하고 있었어요. 게다가 아는 채널이 몫을 먼저 다 쓴 요청에서는, 있는지조차 묻지 않고 바로 표시를 붙였습니다. 지난 글에서 아는 채널만 챙기던 규칙을 고쳤는데, 이번에는 구독을 한꺼번에 많이 가져온 사람을 놓치고 있었던 거예요.

고친 것

결론: 있는 채널은 표시 없이 다음 요청에 다시 받고, 1시간 표시는 없는 채널과 받기에 실패한 채널에만 붙입니다.

몫이 이미 찼어도, RSS가 실패한 처음 보는 채널은 channels.list로 있는지 먼저 묻습니다. 한 번에 50채널까지 1유닛이에요. 유튜브가 돌려준 채널인데 몫이 차서 못 받으면 아무 표시도 남기지 않아요. 앱은 화면을 열어 두면 10분마다 새 영상을 확인하니, 그때 다시 받습니다.

// 줄인 코드 (lib/youtube.js)
// RSS가 실패한 처음 보는 채널마다
for (const r of unchecked) {
  // 없는 채널: 1시간 표시
  if (!found.has(r.id)) { r.dead = true; continue; }
  // 있는 채널인데 몫이 참: 표시 없이 다음 요청에
  if (fallbacks >= maxFallback) continue;
  fallbacks++;
  // 대신 받기 1유닛
  try { r.feed = await fetchUploads(r.id); }
  // 대신 받기 실패: 1시간 표시
  catch { r.dead = true; }
}
RSS가 실패했을 때, 처음 보는 채널 전 지금
있는 채널, 몫 안 대신 받음 대신 받음
있는 채널, 몫을 넘음 1시간 표시 표시 없이 다음 요청(10분 뒤)에 다시
없는 채널 1시간 표시 1시간 표시 (그대로)
있는지 묻기 실패 1시간 표시 1시간 표시 (그대로)
대신 받기 실패 1시간 표시 1시간 표시 (그대로)

대가도 있어요. 몫이 찬 요청에서도 있는지를 묻기 때문에, RSS 장애 중에는 요청마다 1유닛이 더 들 수 있어요. 대신 받기 하루 상한(전체 1,500채널)은 그대로라 할당량이 새지는 않습니다. 고친 동작은 가짜 유튜브 응답으로 만든 시험에 더해 두었어요.

숫자

항목 값
가져온 구독 채널 68개
1시간 표시가 붙은 그분의 채널 23개 (같은 때 표시가 붙은 46개 중)
구독을 가져온 때 16:29
RSS가 돌아온 것을 확인한 때 18:00
고친 코드를 올린 때 18:11

그분은 다음 날 오후에 다시 들어와 채널을 하나 더 넣은 기록이 있어요. 11월 15일 기준으로 모든 계정의 채널 235개가 받아져 있고, 새 영상 알림도 모두 살아 있어요.

마치며

보호 장치를 만들 때는 "막고 싶은 요청"만 떠올렸는데, 실제로 걸린 건 처음 온 사용자였습니다. 첫 화면에서 빈 채널을 본 사람이 다시 와 줄지는 알 수 없어요. 그래서 이제는 의심스러운 요청을 막는 규칙을 만들 때, 같은 규칙에 걸릴 수 있는 정상적인 사람이 누구인지도 함께 적어 두려고 합니다.

이어서 읽기

블로그 글 목록