Please enable JavaScript to use this page!

AllTalks site logo
🍔

Как бэкенд Толоки выбирает задания для исполнителей

Толока — это краудсорсинговая платформа, на которой миллионы людей по всему миру размечают и обрабатывают данные различных клиентов сервиса. Результаты используются в машинном обучении, исследованиях, тестировании, технической поддержке, модерации контента и других задачах. С точки зрения бэкенда Толока представляет собой сложный сервис по управлению огромным «вычислительным кластером», где в качестве узлов выступают люди, выполняющие задания. Мы расскажем, как решаем задачу управления «кластером» при помощи механизма, отвечающего за формирование списка доступных заданий для каждого исполнителя. Вы услышите три истории развития различных частей системы, узнаете, с какими проблемами пришлось столкнуться при росте нагрузки и как получилось их решить


DotNext

71 min

Боремся с сетевым оверхедом в распределённых системах

Павел Тупицын

Современные приложения состоят из множества подсистем: базы данных, кеши, брокеры сообщений. Для обработки одного запроса от пользователя сервер может выполнять десятки внутренних подзапросов. Вы ска…

YaTalks

28 min

DDoS-атака Mēris и как Яндекс её пережил

Дмитрий Носов

Кажется, что уже все слышали о самой масштабной DDoS-атаке в истории интернета — Mēris. Очень многое в этой истории пока ещё проходит «под грифом секретно». Но сейчас мы готовы поделиться большой час…

YaTalks

38 min

Как наши кластеры оказались в топе суперкомпьютеров

Дмитрий Монахов

Из доклада вы узнаете краткую историю кластеров для обучения нейронных сетей в Яндексе: Зачем они нам понадобились? Что такое современный HPC и почему это не просто объединение нескольких сотен серв…

YaTalks

32 min

Большой таблеточный взрыв

Андрей Фомичев

Современная распределённая БД, как и сама Вселенная, состоит из мельчайших частиц. Из частиц, которые мы называем таблетками, строится петабайтная вселенная данных в Yandex Database. Таблетки решают …

YaTalks

29 min

Геномная паспортизация россиян в режиме экспоненты с точки зрения бэкенда

Владимир Гусев

Genotek был создан в 2010 году, чтобы предоставить человеку генетическую информацию о его здоровье, медицинских рисках, способностях и генеалогии, и сделать персонифицированную медицину доступной для…

YaTalks

62 min

99,99: что сделать, чтобы ваш сервис стал надёжным

Дмитрий Носов, Евгений Росинский, Александр Афенов, Нарек Татевосян

Поговорим о космической стабильности и отказоустойчивости. Сервисы со стабильностью 99.99. Возможно ли это? Если да, то как это реализовано в разных компаниях. Нас с вами ждёт дискуссия о том: Как …

HolyJS

72 min

Cовременный бэкенд для фронтенда на Node.js

Андрей Мелихов

Современный фронтенд — это богатое клиентское приложение, оперирующее развесистым набором данных. Однако, оставаясь в парадигме архитектуры «клиент-сервер», такие приложения всё ещё требуют серверног…

YaTalks

32 min

ClickHouse: настоящее и будущее

Алексей Миловидов

Доклад посвящён основным принципам и целям развития ClickHouse: отличительным чертам и преимуществам системы, которые мы планируем развивать. Также поговорим о недостатках и неудобствах, над которыми…

ITeaConf

55 min

Is it time to re-sync?

Андрей Печкуров

Современные компьютеры кроют в себе множество аппаратных оптимизаций и особенностей работы ЦП и памяти, понимание которых важно при написании многопоточного кода на любом языке, в том числе и Golang.…

C++ Russia

58 min

ABI compatibility is not a MAJOR problem

Javier García Sogo

Too often, C++ developers tend to ignore ABI compatibility problems and think that incompatibilities are limited to changes in the interface of the library motivated by new features or bugs. However,…

DotNext

73 min

A deep dive into a database engine internals

Oren Eini

In this talk, Oren Eini, founder of RavenDB, is going to take apart a database engine on stage. We are going to inspect all the different pieces that make for an industrial-grade database engine, fro…

YaTalks

41 min

Под капотом робота-доставщика

Дмитрий Добрынин

Многие компании занимаются робототехникой и роботизацией, однако в задаче автоматизации последней мили пока нет явного лидера, как нет и общепринятого стандарта, описывающего, как должен выглядеть и …

DotNext

71 min

gRPC в .NET — рецепты счастья

Михаил Кузнецов

Массовый переход от монолитов к микросервисам решает одни проблемы, но создаёт другие — взаимодействие сервисов существенно сложнее и дороже, чем взаимодействие объектов в памяти. Частично упростить …

C++ Siberia

51 min

Обзор C++ кода глазами параноика

Филипп Хандельянц

Код языка C++ подобен минному полю. Поэтому качественный внимательный code-review крайне полезен. Этот доклад улучшит ваши навыки в этом нелёгком деле. Мы поговорим о некоторых паттернах ошибок, о ко…

C++ Russia

51 min

Эволюция метапрограммирования: как правильно работать со списками типов

Олег Фатхиев

Глубокий рассказ о метапрограммировании в ретроспективе. Обсудим общие подходы в метапрограммировании, а затем перейдём к спискам типов. По шагам напишем небольшую библиотеку для работы со списками т…

HighLoad++

40 min

Postgres 14 и высокие нагрузки

Иван Панченко

К конференции уже будет окончательно определено, какие фичи попадут в состав 14-й версии PostgreSQL. Мы обсудим те из них, которые повышают производительность СУБД и помогают создавать устойчивые к в…

YaTalks

39 min

Сервис на userver: что снаружи и что под капотом

Антон Полухин

Рассказываем о фреймворке Яндекс Go и его внутреннем устройстве. Доклад будет интересен людям, которые хотят разобраться в устройстве корутиновых движков и работе асинхронных фреймворков. Вы узнаете:…

C++ Russia

60 min

Initialisation in modern C++

Timur Doumler

Initialisation semantics is widely regarded as one of the most difficult aspects of the C++ language. We have many different kinds of initialisation and many different syntaxes for it, and they inter…

Joker

59 min

Concurrent Garbage collectors: ZGC & Shenandoah

Simone Bordet

Java 11/12 introduced two new Garbage Collectors: ZGC and Shenandoah. The main objective of these two new GCs is to reduce GC pauses to only few milliseconds (and possibly under a millisecond), there…