Как бэкенд Толоки выбирает задания для исполнителей

Толока — это краудсорсинговая платформа, на которой миллионы людей по всему миру размечают и обрабатывают данные различных клиентов сервиса. Результаты используются в машинном обучении, исследованиях, тестировании, технической поддержке, модерации контента и других задачах. С точки зрения бэкенда Толока представляет собой сложный сервис по управлению огромным «вычислительным кластером», где в качестве узлов выступают люди, выполняющие задания. Мы расскажем, как решаем задачу управления «кластером» при помощи механизма, отвечающего за формирование списка доступных заданий для каждого исполнителя. Вы услышите три истории развития различных частей системы, узнаете, с какими проблемами пришлось столкнуться при росте нагрузки и как получилось их решить