<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Lara Simonova on Medium]]></title>
        <description><![CDATA[Stories by Lara Simonova on Medium]]></description>
        <link>https://medium.com/@CarexNigra?source=rss-fba2a9302565------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/0*caqtOwFom88ny-5m.jpeg</url>
            <title>Stories by Lara Simonova on Medium</title>
            <link>https://medium.com/@CarexNigra?source=rss-fba2a9302565------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Wed, 18 Nov 2026 06:37:16 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@CarexNigra/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Event Collector]]></title>
            <link>https://medium.com/@CarexNigra/event-collector-a1561b76d7ab?source=rss-fba2a9302565------2</link>
            <guid isPermaLink="false">https://medium.com/p/a1561b76d7ab</guid>
            <category><![CDATA[python]]></category>
            <category><![CDATA[kafka]]></category>
            <category><![CDATA[protobuf]]></category>
            <dc:creator><![CDATA[Lara Simonova]]></dc:creator>
            <pubDate>Mon, 18 Nov 2024 08:46:38 GMT</pubDate>
            <atom:updated>2024-11-18T09:37:03.433Z</atom:updated>
            <content:encoded><![CDATA[<blockquote>Disclaimer: I wanted to learn a bit more about Kafka and get some hands on experience, hence this project. It is my first coding pet project as well. Consider it to be a bit of “event collection for babies” style. I suppose there is a room for making it better, so I will be grateful for any feedback.</blockquote><blockquote>I also want to warmly thank my dearest friend, <a href="https://github.com/gasparian">Gas</a>, for patiently guiding me throughout this coding journey. I wouldn’t have made it to the end without his help and mentorship.</blockquote><h3>Context</h3><p>Nowadays one can scarcely find a digital business of any size which doesn’t tend to rely on data being produced during its functioning. As an aspect of this, collection of events induced by user’s interactions with a service or by internal service state changes becomes a crucial task for analytical purposes. Analytical event systems are designed to process and analyze streams of such events in real-time, enabling organizations to derive actionable insights promptly. There are different approaches to such systems’ architecture which can be more or less complex depending on business needs.</p><p>I developed <a href="https://github.com/CarexNigra/event-collector"><strong><em>event-collector</em></strong></a> as a simple yet scalable set of applications which handle event generation, serialization, dispatch to a message bus (<em>Kafka</em>) and consumption, as well as writing batches of consumed events to object storage. It can be cloned and easily deployed on Docker using your local machine. This Kafka-based approach allows for:</p><p><strong>1. Real-Time Data Processing:</strong> Directly storing events can introduce delays, as data must be retrieved and processed post-storage. In contrast, Kafka enables immediate consumption and processing of events as they are produced.</p><p><strong>2. Scalability and Fault Tolerance:</strong> Kafka’s distributed architecture allows it to handle high-throughput data streams efficiently. It ensures data replication across multiple brokers, providing fault tolerance and high availability.</p><p><strong>3. Decoupling of Producers and Consumers:</strong> By acting as an intermediary, Kafka decouples event producers from consumers. This design allows multiple consumers to process the same data independently enabling diverse applications such as monitoring, analytics, and alerting without impacting the data producers.</p><p><strong>4. Streamlined Data Ingestion:</strong> Kafka serves as a centralized platform for ingesting data from various sources, standardizing the data flow and simplifying the integration of new data producers and consumers.</p><p><strong>5. Efficient Data Management:</strong> Kafka’s partitioning and offset management capabilities allow consumers to process data at their own pace, ensuring efficient handling of large volumes of events without overwhelming storage systems.</p><h3>Solution</h3><h4>Architecture and Implementation</h4><p><strong><em>Event-collector</em></strong> consists of several modules:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*I35UGF9JB1cKZRewp30xzA.png" /><figcaption>Event-consumer architecture</figcaption></figure><p><strong>(1) Schema registry </strong>is a core component that handles serialization and deserialization of event data upon the dispatch of events to Kafka and their consumption from it, enabling flexibility for supporting various event types.</p><p>Event class creation and serialization are performed using <a href="https://protobuf.dev/overview/"><em>Protocol Buffers</em></a><em> </em>(protobuf 3). It is a Google’s data interchange format, designed to be smaller, faster, and simpler than XML; language and platform neutral; extensible for adding new data without breaking existing services. Data structures for events messages are defined in .proto files which are used to automatically generate python source code. This code is used to to create, read, and write serialized messages.</p><p><em>Schema registry </em>contains logic that performs mapping of event type to actual protobuf event class, and consists of two logical blocks:</p><p>First logical block, <em>event registry</em>, dynamically scans and imports Protocol Buffer .proto files located in the designated events folder, and gets Protocol Buffer event classes from them. It creates a mapping between event types and their corresponding imported classes (<em>events_mapping</em>). This allows the system to handle multiple event types without hardcoding them. The <em>events_mapping</em> is used by consumers to deserialize events received from Kafka. <em>Event_type</em> is encoded in Kafka message<em> key </em>according to the logic described in the next paragraph. When an event message is consumed, this key is extracted, the corresponding Protocol Buffer class is fetched from the mapping and used to reconstruct the event in its original structured format.</p><p>Second block is <em>ProducerKeyManager </em>class that has a method to generate <em>producer key </em>from <em>event_type</em> + UIID. Such unique key is assigned <em>key</em> attribute of each message before it is sent to Kafka and has two functions:</p><ul><li>it is used by Kafka for data partitioning (for details refer to the section 3)</li><li>it is needed on consumer side to parse out <em>event_type</em> from it using <em>get_event_type_from_key </em>method. <em>Event_type</em> on consumer side is needed to deserialize messages received from Kafka.</li></ul><p><strong>(2)</strong> <strong>API service</strong> is an application that is responsible for production of event messages and their dispatch to Kafka. There are following steps performed by the application:</p><ul><li>it receives <em>http POST requests</em> with event data (see the snippet below);</li></ul><pre> curl -v -X POST -H &quot;Content-Type: application/json&quot; &#39;http://localhost:5000/store&#39; -d &#39;{&quot;event_name&quot;: &quot;TestEvent&quot;, &quot;context&quot;: {&quot;sent_at&quot;: 1701530942, &quot;received_at&quot;: 1701530942, &quot;processed_at&quot;: 1701530942, &quot;message_id&quot;: &quot;36eca638-4c0f-4d11-bc9b-cc2290851032&quot;, &quot;user_agent&quot;: &quot;some_user_agent&quot;}, &quot;data&quot;: {&quot;user_id&quot;: &quot;example_user_id&quot;, &quot;account_id&quot;: &quot;example_account_id&quot;, &quot;user_role&quot;: &quot;OWNER&quot;}}&#39;</pre><ul><li>creates protobuf <em>event </em>class instance and performs its serialization to binary (see section 1 above);</li><li>generates a unique <em>key</em> for the event message (see section 1 above);</li><li>and sends such serialized event message to a defined <em>topic</em> of Kafka <em>message bus </em>(see section 3 for details) by <em>producer</em> module configured according the corresponding <em>producer.kafka</em> section of config .toml file. This configuration can be adjusted with regards to one’s needs based on the <a href="https://docs.confluent.io/platform/current/installation/configuration/producer-configs.html">documentation</a>. Message is assigned a unique <em>key</em> which is used by Kafka to partition events and by consumer to deserialize them (see section 1 above).</li></ul><pre>[producer]<br>[producer.kafka]<br>bootstrap_servers = &quot;kafka-broker-1:9092,kafka-broker-2:9094,kafka-broker-3:9095&quot;<br>retries = 2147483647<br>max_in_flight_requests_per_connection = 1<br>acks = &#39;all&#39;<br>batch_size = 16384<br>enable_idempotence = true <br>delivery_timeout_ms = 120000<br>linger_ms = 100<br>request_timeout_ms = 30000<br><br>[producer.app]<br>kafka_topic = &#39;event-messages&#39; </pre><p>API service is implemented using <a href="https://fastapi.tiangolo.com/tutorial/first-steps/"><em>FastAPI</em></a> — high-performance production ready web framework which is easy to use. It is leveraging asynchronous programming to efficiently handle many concurrent requests, and has a built-in support for request and input data validation.</p><p><em>FastAPI</em> is running on <a href="https://www.uvicorn.org/"><em>uvicorn </em></a><em>— </em>also a high-performance ASGI (Asynchronous Server Gateway Interface) server. Unlike some other frameworks, <em>FastAPI </em>doesn’t come with a built-in development server. <em>Uvicorn</em> fills this gap. It is chosen since <em>FastAPI</em> is built on ASGI standards, which <em>uvicorn</em> implements.</p><p><strong>(3) Message bus</strong> is a central service of the event-collector application. It is implemented using <a href="https://docs.confluent.io/kafka/introduction.html"><em>Apache Kafka</em></a> (by Confluent), main role of which is to collect events in real-time from different sources (in our case from one or several instances of the <em>API service</em>), store them in chronological order, and dispatch to one or several <em>event consumer</em> instances whenever they are ready to consume. Main advantages of this approach are described earlier in the intro section.</p><p>Within this project I set up a single <em>topic</em> with three <em>brokers</em>. Even though the description of these concepts is provided in the <a href="https://docs.confluent.io/kafka/introduction.html">documentation</a>, I will briefly illustrate them here as well, because it took me some time to understand the general logic. If you are already familiar with them, please skip this section.</p><ul><li><em>Topic</em> is a named channel where data is sent by producers and read by consumers. Each producer can send a message to one or several topics. A topic is divided into multiple <em>partitions</em> to allow parallel processing and scalability.</li><li><em>Partition</em> is a part of a topic, storing a subset of messages sent to this topic. Messages in each partition are ordered chronologically. Each partition is an append-only log, meaning new messages are added to the end. If message has a key (in our case we assign a new <em>producer_key </em>to each message) it is used to unambiguously define which partition a message ends up in (one-to-one relationship). If there is no key provided, Kafka’s default behavior is to distribute messages across partitions in a round-robin fashion.</li><li><em>Broker</em> is a server that stores data and serves clients. In a Kafka cluster, multiple brokers work together to manage <em>partitions</em> and ensure data availability. Each <em>partition</em> is assigned to a single <em>broker </em>as its leader, but for fault tolerance, partitions can be replicated across multiple brokers. Common practice is to use odd number of brokers to maximize fault tolerance and reduce the risk of quorum loss during controller election process or when deciding on leadership for partitions during failures. A broker can host multiple partitions from different topics. It’s common for a broker to serve as the leader for some partitions while acting as a follower for others. Brokers can be associated with specific regions, data centres, or availability zones to enhance data locality, fault tolerance, and disaster recovery.</li><li><em>Consumer</em> is an application that reads data from topics. Consumers process messages from partitions, and Kafka ensures that each message is delivered to a consumer. A consumer can read from multiple partitions, but each partition within a topic is consumed by only one consumer within a <em>consumer group</em> at any given time.</li><li><em>Consumer group</em> is a collection of consumers that work together to consume messages from a topic. Kafka distributes partitions among consumers in a group to balance the load.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*jbmn7BpWHcml3RCf8lgR4A.png" /><figcaption>Illustration of a “most complex” Kafka setup logic</figcaption></figure><p><strong>(4) Consumer application</strong> is responsible for consumption of event messages from Kafka topic, its deserialization using <em>schema registry</em>, batching and writing of the batch to a file in a defined object storage. It consists of two logical blocks:</p><p>First one is <em>EventConsumer</em> class having <em>run_consume_loop</em> method which subscribes to a Kafka topic, polls Kafka for messages and pulls a batch of messages if there are new ones (the number of messages pulled is defined by max.poll.records consumer configuration). This batch is cached on consumer side, and consumer processes them one by one in their original order. There are following processing steps:</p><ul><li>Generation of a <em>unique_consumer_id</em> which is needed further during the writing stage as an addition to a file name, forcing different consumers’ writing to different files. This id is generated based on the consumer <em>group_id</em> defined in the <em>consumer.kafka</em> section of .toml config and a unique <em>member_id</em> which is automatically assigned to each consumer in the group by Kafka. <em>Member_id </em>is parsed out of the first <em>event</em> message received from Kafka (it is the second overall message, since first Kafka message apparently doesn’t contain event, but certain technical details and no <em>member_id</em>)</li><li>Parsing of <em>event_type</em> from message key using a method of <em>ProducerKeyManager </em>class (see above)</li><li>Fetching of corresponding protobuf <em>event class</em> from <em>schema registry</em> by <em>event_type</em></li><li>Deserializiation of the event message into this event class with further transformation to a json string</li><li>Appending this json string to a queue (implemented as a simple list). The string is added to the list only if there is no such string there already, and the total size of all queue strings joined with new line symbols doesn’t exceed <em>max_output_file_size </em>value specified in the <em>consumer.app </em>section of .toml config. In my case it is 4Mb.</li><li>If this threshold is exceeded, first the queue is “flushed” using corresponding method of this same class. This method actually triggers a file writer logic which is described below. And secondly, the message is appended to a new empty queue. The queue of smaller size may be also flushed in case the time from previous flush exceeds <em>flush_interval</em> threshold specified in the same <em>consumer.app</em> section of .toml config.</li></ul><pre>[consumer]<br>[consumer.kafka]<br>bootstrap_servers = &quot;kafka-broker-1:9092,kafka-broker-2:9094,kafka-broker-3:9095&quot;<br>group_id = &#39;test_events_consumer_group&#39;<br>partition_assignment_strategy = &#39;range&#39;<br>auto_offset_reset = &#39;smallest&#39;<br><br>[consumer.app]<br>kafka_topic = &#39;event-messages&#39;<br>root_path = &#39;consumed-events&#39;<br>flush_interval = 8 # Seconds<br>max_output_file_size = 4194304 # 4Mb in bytes</pre><p>Note that consumer configuration may be adjusted to a specific usecase based on the <a href="https://docs.confluent.io/platform/current/installation/configuration/consumer-configs.html">documentation</a>.</p><p>Second logical block is a <em>FileWriter</em>. It is implemented as <em>FileWriterBase</em> class providing a flexible interface for storing data to different backends based on configuration. It has environment-agnostic methods to create file paths. The full path is generated based on (a) Root path name defined in the <em>consumer.app</em> section of .toml config; (b) first queue message <em>received_at </em>date (for yyyy/mm/dd/hh folders); (c) and unique_consumer_id (mentioned above) joined with message queue <em>hash</em>.</p><p>The <em>MinioFileWriter</em> class implements this base class, allowing data to be written to a file in <em>MinIO</em> object storage (see below). Events from queue in their json string form are joined using new line symbol and written to a file under a path constructed according to the logic described earlier. Offsets are committed after the write to inform Kafka it that this batch of messages is successfully processed. <em>Root_path</em> provided in <em>consumer.app</em> section of the config .toml for MinIO case defines a bucket where the data will be saved. MinIO has its own configuration in the <em>consumer.minio</em> section of .toml. Note that credentials for MinIO should be separately added to environment variables (see <a href="https://github.com/CarexNigra/event-collector?tab=readme-ov-file#configuration">readme</a>).</p><pre>[consumer.minio]<br>endpoint = &quot;minio:9000&quot; <br>secure = false</pre><p>The size of all files written to MinIO should’t exceed the threshold <em>max_output_file_size</em> threshold defined in <em>general</em> config. But this is controlled at the event consumption level (by limiting the queue), not at file writing level – file writer dumps whatever is given to it.</p><p>Such file writing logic ensures <em>exactly-once processing guarantee</em> on batch writing level (to better understand what does this actually mean see <em>Kafka and Message Processing Guarantees </em>section below).</p><p>At the end of this section it’s worth mentioning that there is a possibility to deploy several Consumer Services within the same <em>consumer group</em>. The more consumers there are in the group, the faster messages are processed. But according Kafka logic, since one partition will be assigned to only one consumer of the group, it doesn’t make any sense to have more consumers in that group than the number of topic partitions. Which partition(s) each particular consumer pulls messages from is automatically defined by Kafka.</p><p><strong>(5) Object storage</strong> is the place where files with deserialized messages json strings are saved. In this project I used <a href="https://min.io/"><em>MinIO</em></a> , because of its high-performance and scalability (which is good for analytical data), full compatibility with Amazon s3 API, and the appealing fact that it is open-source. But one can easily create a custom file writer implementing <em>FileWriterBase</em> base class. I actually did it for testing purposes: <em>LocalFileWriter</em> helps me to locally verify that events are properly consumed.</p><h4>Running Locally</h4><p>For simplicity I decided to serve all those modules in docker containers.</p><p>The logic for serving the <em>API service</em> using <em>uvcorn</em> is implemented in serve_api.py. The logic for serving <em>Consumer service </em>in<em> </em>serve_consumer.py. These files are called using hooks defined in Makefile which are exposed as entrypoints for each corresponding docker service in docker-compose.yml.</p><p>On docker <em>Kafka</em> is represented by 3 broker services sharing the same <em>cluster_id</em> which ensures that they belong to the same Kafka cluster. A separate <em>init-kafka</em> service is deployed to create to a kafka topic by running init-kafka.sh script. It is put down after the topic is created to optimize resources. Even though kafka topic is defined in configs, there is no easy way to automatically pass it to this service, so it needs to be separately added to environment variables (see <a href="https://github.com/CarexNigra/event-collector?tab=readme-ov-file#configuration">readme</a>) and provided in environment section of the service config.</p><pre>init-kafka:<br>  image: confluentinc/cp-kafka:latest<br>  depends_on:<br>    - kafka-broker-1<br>    - kafka-broker-2<br>    - kafka-broker-3<br>  networks:<br>    - kafka_network<br>  environment:<br>    KAFKA_TOPIC: &quot;${KAFKA_TOPIC}&quot;<br>  volumes:<br>    - ./init-kafka.sh:/usr/bin/init-kafka.sh<br>  entrypoint: /bin/sh -c &quot;/usr/bin/init-kafka.sh&quot;</pre><p>And minIO is served as yet another service, which also requires credentials to be read from environment variables, as mentioned above.</p><pre>minio:<br>  image: quay.io/minio/minio:latest<br>  container_name: minio<br>  networks:<br>    - kafka_network<br>  ports:<br>    - 9000:9000<br>    - 9001:9001<br>  environment:<br>    MINIO_ROOT_USER: &quot;${MINIO_ACCESS_KEY}&quot;<br>    MINIO_ROOT_PASSWORD: &quot;${MINIO_SECRET_KEY}&quot;<br>    MINIO_ADDRESS: &quot;:9000&quot;<br>    MINIO_CONSOLE_ADDRESS: &quot;:9001&quot;<br>  command: server /data --console-address &quot;:9001&quot;</pre><p>All docker services share the same <em>kafka_network</em>, which allows them to communicate seamlessly between each other.</p><p>To run application locally please follow the <a href="https://github.com/CarexNigra/event-collector/blob/main/README.md#usage">instructions</a> in readme. When you test the running application with example curls provided in readme, please keep in mind following:</p><ul><li>If you do the same curl several times, only one message will be added to the queue because of the deduplication logic at the queue level;</li><li>There will be only one final file in such case, and it would contain this same one message only. This is due to the fact that file name is generated based on queue hash (which doesn’t change) and unique_consumer_id (which doesn’t change either). For details see <em>Kafka and Message Processing Guarantees</em> section below;</li><li>Flushing most likely would be only “by time”, because it is impossible to manually create required load to saturate queue within flushing interval.</li></ul><h4>Testing</h4><p>Main functional modules of the application are covered by unit tests.</p><ul><li>For the <em>API service</em> it is verified that message format is correct, values of the message dict are meaningful, and that appropriate status for positive (204) and several negative (400) test cases is returned.</li><li>For <em>Consumer service</em> the consumption loop is tested using <em>LocalFileWriter</em>; batched messages writing to minIO is tested separately.</li></ul><p>These tests are using Producer, Consumer and minIO mocks. So they can be easily run without the deployment to docker using make tests hook.</p><h3>Challenges and Limitations</h3><p>During my work on this application there were several tradeoffs made (resulted in certain limitations), as well as several challenges encountered. I think they worth to be explicitly listed in order they appeared during the development.</p><p><strong>Event Types and Kafka Topics</strong></p><p>First of all, I decided that the <em>API service</em> will send all messages (whatever their <em>event_types</em> are) to only one Kafka topic. There are different approaches to several topic support implementation depending on the usecase. But since it is the first time I was touching Kafka, I just wanted to keep it simple.</p><p><strong>Kafka and Message Processing Guarantees</strong></p><p>In Kafka, after a <em>Consumer service</em> processes a batch of messages, it communicates this completion to Kafka through a procedure known as <em>offset commit</em>. This mechanism ensures that Kafka doesn’t resend these messages to the consumer. There are two primary strategies for committing offsets:</p><ul><li>Pre-Commit: Offsets are committed to Kafka before the consumer processes and writes the messages to a file. This strategy reduces the risk of processing the same messages multiple times, as Kafka considers them already processed. But if the consumer crashes after committing but before processing, the messages are lost, leading to potential data loss.</li><li>Post-Commit: Offsets are committed only after the consumer has successfully processed and written the messages to a file. It ensures that no messages are lost, as they are processed before committing. But if the consumer crashes before committing, Kafka will resend the same messages upon recovery, leading to potential duplicate processing.</li></ul><p>Choosing between these strategies depends on the desired processing guarantees:</p><ul><li>At-Most-Once Processing: Committing before processing ensures that messages are processed no more than once, tolerating potential data loss but avoiding duplicates.</li><li>At-Least-Once Processing: Committing after processing ensures that every message is processed at least once, tolerating potential duplicates but avoiding data loss.</li></ul><p>In this application I’ve chosen the second approach, but went further towards (somewhat) Exactly-Once Processing guarantee by making the file writing logic at a certain extent <em>idempotent</em>. In this case idempotence means that performing the same write operation multiple times results in the same outcome as doing it once. This ensures that if a process is repeated — intentionally or due to errors — it doesn’t produce unintended effects like duplicate entries or corrupted data.</p><p>So the design of the FileWriter ensures following aspects of idempotence:</p><ul><li>Message deduplication: The unqiue_msgs set in the run_consume_loop method helps prevent duplicate processing within a single run by skipping messages that have already been processed in the current batch.</li><li>Unique file paths / pt. 1: The unique_consumer_id is included in the file name, which ensures that files created by different consumers don’t overwrite each other. This prevents multiple consumers from writing to the same file, reducing potential duplicate writes to a file from different consumers.</li><li>Unique file paths / pt. 2: File name also includes a <em>hash</em> string of the message queue being written to this file. If a failure occurs during file saving—resulting in only partial or no data being written—the consumer does not commit the offsets to Kafka. Consequently, Kafka will resend the messages starting from the first uncommitted one. The queue formation logic will reconstruct the same queue of messages to be saved. The fact that the file path is constructed based on the first message’s received_at timestamp and file name based on unique_consumer_id (which doesn’t change) and message queue <em>hash</em> (which also should be the same as before), this approach ensures that upon successful retry, the complete content will overwrite any partial data from the previous attempt, maintaining data integrity.</li></ul><p>However, there is a limitation:</p><ul><li>No message-level deduplication on write: Writing a batch of messages to a minIO file, we do not check whether each individual message has been already written into any other file. This would be very resource consuming given that we use object storage. Deduplication at message level should be implemented downsteam, on ETL step.</li></ul><p>So we assume that in case of writing failure, Kafka would re-send exactly the same set of messages which would be deserialized and queued exactly the same way as in previous attempt. And file writer will generate exactly the same path and file name to store this content. Which implements idempotent file writing and thus <em>exactly-once processing</em> guarantee.</p><p>But thus assumption doesn’t hold in two cases:</p><ul><li>If for a reason Kafka sends the same first message and different following messages in the same batch, these will be written to the same folder as previous batch, but to a different file (based on queue hash). And first message will be present in two different files.</li><li>If Kafka repartition the data, brokers may receive different member_ids and thus unique_consumer_id for the same batch of messages may be different, which also leads to it being written into another file.</li></ul><p>If you want to learn more about guarantees, here is a nicely illustrated blog post by Andy Bryant: <a href="https://medium.com/@andy.bryant/processing-guarantees-in-kafka-12dd2e30be0e">Processing guarantees in Kafka</a>.</p><p><strong>Batch Size</strong></p><p>The size of the batch to be written to a file is defined by <em>max_output_file_size</em> threshold (in bytes) of <em>consumer.app</em> section of config .toml. Total size of the batch is tracked and updated upon each message’s append to the queue. The shorter the message is, the more messages would be in the batch. In case of failure a long batch writing, Kafka needs to resend a lot of messages, which might influence the general application efficiency.</p><p>I set <em>max_output_file_size </em>to 4Mb which seems to be a good file size for object storage. However, you may want to reconsider this threshold to force your Consumer service to commit offsets more frequently.</p><p><strong>Deployment in Docker</strong></p><p>In the first iteration I used only one kafka broker service, init-kafka service and a service for minIO, all deployed docker. <em>API service</em> and <em>Consumer service</em> were deployed locally. Everything worked good because each container was mapped to a local machine port and was easily callable by local services.</p><p>But in the second iteration I decided to increase the number of brokers to three, to have more realistic setup. This required a kafka-network to be created to enable inter-broker communication. This network uses internal DNS’s (kafka-broker-1, kafka-broker-2, etc) which, when exposed to local services were not recognized since localhost DNS’s were expected. So no communication between local services and Kafka broker cluster on docker was possible.</p><p>Basically, on Mac it is just impossible to create a common network for local machine and docker engine. On linux this is possible.</p><p>I overcame this by just deploying <em>API service</em> and <em>Consumer service</em> in docker.</p><p><strong>Docker and Volumes</strong></p><p>In the docker-compose.yml you will see that lines defining volumes are commented out. Volumes are used to cache information from previous runs on each of the docker containers. This may be useful to speed up the (re)deployment of the final version of the event-collector application, however during the development it prevents from properly testing new functionality or debugging. So I decided to comment them out to be able to deploy the application each time from scratch.</p><p><strong>Kafka Topic Configuration for Docker</strong></p><p>As it was already mentioned above even though kafka topic is defined in configs, apparently there is no easy way to automatically pass it to init-kafka.sh script called by <em>init-kafka service</em>, so it needs to be separately added to environment variables which can be queried in <em>init-kafka service </em>config of<em> </em>docker-compose.yml. As far as I understood, it is an absolutely common setup that variables used for the deployment are provided separately from the same variables used in the code itself. But due to the lack of experience I was surprised that there is no elegant solution to avoid such redundancy.</p><p><strong>Observability</strong></p><p>For the <em>event-collector</em> application to be complete, there should be a functionality to collect metrics. I am thinking of implementing <em>Prometheus server</em> + <em>Grafana dashboard </em>and deploy them on docker as well. Once this is done, I will update this post.</p><h3>Conclusion</h3><p>The <em>Event Collector</em> project represents my practical exploration into building a real-time, scalable event-processing system using Kafka. It covers core functionalities required for handling, queuing, and writing event data to storage. I tried to ensure efficient data handling, its integrity as well as idempotent processing, and overall application modularity.</p><p>Overall, this project serves as a foundation for understanding how real-time data pipelines work and provides a hands-on framework to further develop and optimize scalable, reliable event-driven systems. I will greatly appreciate any critics and recommendations.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=a1561b76d7ab" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Basic Structure of Corporate Glossaries]]></title>
            <link>https://medium.com/@CarexNigra/it-semiotics-basics-5dae0bebaf8?source=rss-fba2a9302565------2</link>
            <guid isPermaLink="false">https://medium.com/p/5dae0bebaf8</guid>
            <category><![CDATA[glossary]]></category>
            <category><![CDATA[semiotics]]></category>
            <category><![CDATA[knowledge-management]]></category>
            <category><![CDATA[information-architecture]]></category>
            <dc:creator><![CDATA[Lara Simonova]]></dc:creator>
            <pubDate>Sat, 04 Dec 2021 22:53:53 GMT</pubDate>
            <atom:updated>2021-12-05T14:48:54.411Z</atom:updated>
            <content:encoded><![CDATA[<p><em>This small note is not pretending to be revolutionary, it just describes a couple of simple approaches to deal with corporate terminology which might help people being far from linguistics to better design glossaries and understand each other.</em></p><p>Starting from a certain headcount and a certain complexity of a product or a domain, organizations are often struggling to align on terms they use in various contexts. For example, in IT companies contexts may be following:</p><ul><li>internal technical (frontend &amp; backend code, databases)</li><li>user-facing technical (REST API, SDK, etc)</li><li>internal conceptual (product and logical documentation)</li><li>user-facing conceptual (UI, help articles, etc)</li></ul><p>And there are two basic terminological problems that can appear when contexts are developed and controlled by different teams residing in their own information silos:</p><ul><li>One term denotes different concepts in different contexts</li><li>The same concept is denoted by different terms in different contexts</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/882/1*Wc2PF2PnjmVuLsEvjuYpHg.png" /><figcaption>homonyms and synonyms</figcaption></figure><p>In a best case scenario there is a possibility to clean up all corporate knowledge, i.e. to assign a unique term to each unique concept. But in real life it is not evident to win a battle against terminological legacy companies have been accumulating over years of their existence. And relatively decent and simple solution is to create a context cross-walk glossary.</p><p>Creating it doesn’t seem to be a rocket science in majority of cases, however, according to my experience, there is a tendency to mix up terms and concepts in such glossaries. Which often leads to remaining cross-teams misunderstanding. Things might go better if one of two approaches would be selected.</p><h4>1. Concept-centric approach</h4><p>Within this approach each glossary article represents a unique concept (signified) which has a clear universal definition within corporate domain, but may be denoted by different terms (signifiers) in different contexts.</p><p>If there is a room for some cleanup, for each term currently used you can add a preferable term to be used for the concept in a particular context in future. And a small comment, why there is a need to replace or keep current term.</p><p>This approach is good for situations, when everyone is already familiar with entities (concepts) they are operating, and having a need just to figure out how this concept is/should be called in an unfamiliar context. Another bright side here is that usually there are fewer concepts than terms used for their denotation, thus concept-centric glossary would be more compact.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/835/1*1oHtldN8gZIw2A_-FXYkjQ.png" /><figcaption>Concept-centric approach glossary example</figcaption></figure><h4>2. Term-centric approach</h4><p>Alternative approach is to dedicate an article to the term itself (signifier), and to describe all concepts (signified) the term might denote in different contexts. This is basically how classic dictionaries are structured: they provide description of all homonyms within one article.</p><p>In case there is a plan to change the term used in a particular context, some additional info on future term and the reason of change may be useful. Moreover, if the term is not yet used to denote a concept in a specific context, but supposed to be in future, it is always good to reference the term which is currently denoting this concept.</p><p>This approach is good to self-onboarding of people to a domain which is totally new to them. So they could read corporate documents (which give them context) and look up for terms they don’t understand.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/830/1*AnlEgjn-JsYsV870O6BOig.png" /><figcaption>Term-centric approach glossary example</figcaption></figure><p>Both approaches are legitimate and are just two ways to display the same relationships between concepts and a number of their signifiers. And there might be probably a way (some dedicated tools or a simple spreadsheet macros) to enter them into a unique base and just switch presentation modes I am not aware of yet (should do a research). But in case a glossary is created as a simple table or a list of articles, I would avoid to mix up these.</p><p>Hope that this short note will simplify someone’s knowledge management routines.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=5dae0bebaf8" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[IA Trends 2019: Measuring Information Quality]]></title>
            <link>https://medium.com/@CarexNigra/ia-trends-2019-measuring-information-quality-6e1f44bd5763?source=rss-fba2a9302565------2</link>
            <guid isPermaLink="false">https://medium.com/p/6e1f44bd5763</guid>
            <dc:creator><![CDATA[Lara Simonova]]></dc:creator>
            <pubDate>Thu, 16 Jan 2020 14:39:33 GMT</pubDate>
            <atom:updated>2020-01-16T14:48:42.328Z</atom:updated>
            <content:encoded><![CDATA[<p>This time of the year I usually re-examine all articles around information architecture I stumbled upon since last January. And sometimes find several that cluster around the same idea which seems to be new and interesting for me.</p><p>Such idea of 2019 is the attempt to create a model which gives a possibility to measure the quality of information perceived by a particular person.</p><p>For quite a long time everyone has been talking about information overload, issues around selection of relevant content and different approaches to overcome them. But only recently I started to run onto attempts to somehow quantify the quality of information within product-centred community (I bet academics did that already long time ago, at least there is a wiki page on <a href="https://en.wikipedia.org/wiki/Information_quality">information quality</a> which contains a good list of sources. I should find some time for a deeper research. <em>Any additional relevant references would be kindly appreciated</em>). In particular in these two articles:</p><p><a href="https://www.nngroup.com/articles/information-foraging/"><em>Information foraging</em></a>, by Doug Clinton<br><a href="https://loupventures.com/defining-the-future-of-human-information-consumption/"><em>Defining the Future of Human Information Consumption</em></a>, by Raluca Budiu</p><p>And I wanted to write down a quick recap and develop the idea a little bit further.</p><p>The main ideas are following:</p><ol><li>A notion of “rate of information gain” is introduced as “quantity of meaning” (or “information value”) in the message in terms of “information cost” – required effort to extract this information. In another source the information cost is replaced with “time” of extraction, which in my opinion makes sense, because cognitive effort seem to be also reducible to time. All those metrics are person-specific.</li></ol><figure><img alt="" src="https://cdn-images-1.medium.com/max/845/1*b6EVdVOoyqbNKcX6X7xtng.png" /></figure><p>2. The increase of the “rate of information gain” from the message could be achieved by:</p><ul><li>increasing the “information value” by making it relevant (= “relevance”)</li><li>decreasing the “information cost” by packaging it in a most appropriate form to reduce the consumption time without using accuracy (=”compression”)</li></ul><p>All this for a <em>particular person</em> in a <em>particular context</em></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/687/1*83mMELdwXQQG_so44PelPA.png" /></figure><p>So, it seems that on product side those tasks come down to following:</p><ol><li>Increase of InfoValue could be split into following subtasks:</li></ol><ul><li>Understanding of context: what is relevant right now for the particular person? To answer different metrics (social, physical, technical) should be collected and analyzed.</li><li>Taking into account those metrics from the totality of messages available only those which contain relevant information should be selected. Which is currently achieved by using different AI approaches. But the information even though relevant might be still in different forms, not necessarily easy to be consumed.</li></ul><p>2. And here comes the reduction of InfoCost which can be achieved by:</p><ul><li>Choosing once more from the pre-selected subset taking into account individual information consumption patterns</li><li>Or by “redesigning” the information in a way that its meaningfulness increase and consumption time decrease. Which is from my perspective comes down to parsing out units of meaning from a certain source, structuring them and putting into an appropriate visual frame.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1015/1*Ccgisk35HeO6CyQCum-6wg.png" /></figure><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=6e1f44bd5763" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Методы организации данных]]></title>
            <link>https://medium.com/@CarexNigra/%D0%BC%D0%B5%D1%82%D0%BE%D0%B4%D1%8B-%D0%BE%D1%80%D0%B3%D0%B0%D0%BD%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D0%B8-%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85-1f6bd90fc573?source=rss-fba2a9302565------2</link>
            <guid isPermaLink="false">https://medium.com/p/1f6bd90fc573</guid>
            <category><![CDATA[taxonomy]]></category>
            <category><![CDATA[ontology]]></category>
            <category><![CDATA[information-architecture]]></category>
            <dc:creator><![CDATA[Lara Simonova]]></dc:creator>
            <pubDate>Thu, 19 May 2016 23:58:10 GMT</pubDate>
            <atom:updated>2016-05-20T00:13:09.930Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*WLaDsb0lrVpDD3BmM9hDfg.png" /></figure><p>Каждый, кто берется решать задачи, связанные со структурированием информации, рано или поздно начинает сталкиваться с целым букетом красивых греческих слов: «таксономии», «онтологии», «тезаврусы», «категории». Я несколько лет занималась проектированием логики интерфейсов и оперировала этими терминами в основном под UI/UX-углом — в попытках придумать навигацию или решить, откуда бы подтянуть термины в саджесты. Читала статьи, прослушала <a href="https://www.class-central.com/mooc/732/coursera-metadata-organizing-and-discovering-information">курс</a> и думала, что более или менее понимаю, что каждое из них значит. Но в начале этого года погрузилась в новую для себя, более академичную информационно-архитектурную задачу — разработку новой единой модели данных для большой, гетерогенной и не очень хорошо структурированной базы. Нужно было создать оптимальную информационную систему, не особенно исходя из каких-либо интерфейсных предпосылок. И тут обнаружила, что на таком уровне абстракции не могу до конца понять, как эти методы работают, в каком случае их нужно применять, на каком основании делать выбор, как комбинировать, и вообще — плыву в матчасти.</p><p>Чтобы ответить на возникшие вопросы, пришлось пропустить через себя тонну статей. Вот эти две очень помогли разобраться с базовой терминологией.</p><ul><li><a href="http://www.ontopia.net/topicmaps/materials/tm-vs-thesauri.html">Metadata? Thesauri? Taxonomies? Topic Maps!</a></li><li><a href="http://www.me-teor.it/marr_opere/english/Classfqq.pdf">Classification, Typology, Taxonomy</a></li></ul><p>Для усвоения информации пришлось структурировать ее в понятном для себя формате, в итоге получилась таблица сравнения принципов организации информации. Она пока сырая, но, возможно, найдутся люди, которым даже в этом виде будет понятна и полезна, поэтому <a href="https://docs.google.com/spreadsheets/d/1DUjk8-Tpk0ekSbewuMWQemq-j8ANeT6nP9k1UJM4IdQ/edit?usp=sharing">делюсь</a>. А также надеюсь получше разобраться в теме, поэтому комментарии, критика, поправки, вопросы очень приветствуются.</p><p>Основная сложность для меня оказалась в том, что одни и те же термины (и, соответственно, подходы) применяются в контексте организации разных сущностей и на разных уровнях абстракции. Я постаралась выделить эти уровни и сущности, вынести их на отдельные вкладки и собрать на каждой релевантную им терминологию.</p><h4>1. Organization approaches</h4><p><a href="https://docs.google.com/spreadsheets/d/1DUjk8-Tpk0ekSbewuMWQemq-j8ANeT6nP9k1UJM4IdQ/edit#gid=680691816">Первая вкладка</a> — про два типа информационных систем и, соответственно, про два подхода, к структурированию информации.</p><ul><li>Закрытые системы, массив информации в которых не меняется со временем и может быть пронумерован и помещен в четко заданную группу.</li><li>В случае, если системы открыты, массив информации растет, появляются новые контексты ее использования, каждый элемент может группироваться с другими элементами множеством разных способов на основании его семантики. Такие группы называют фасетами. И они лежат в основе систем категоризации (о которых ниже).</li></ul><p>Ну и есть третий, смешанный подход, когда для некоторых информационных элементов применяется первый подход, а для некоторых — второй.</p><h4>2. Categorization systems</h4><p>Любой массив сущностей (объектов или терминов) может быть разбит на группы согласно определенным принципам. Эти группы в общем случае называются категориями. В зависимости от принципов разбиения, можно говорить о разных системах категоризации, которые описаны во <a href="https://docs.google.com/spreadsheets/d/1DUjk8-Tpk0ekSbewuMWQemq-j8ANeT6nP9k1UJM4IdQ/edit#gid=1156053061">второй вкладке</a>. Принципы бывают трех типов и могут быть скомбинированы:</p><ul><li>Количество признаков (фундаментов), общие значения которых берутся в расчет при объединении сущностей одного уровня в категорию. Если такой признак один, категория называется классом, а система — классификацией. Если признака 2 или больше, категория называется типом, а система — типологией.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/380/1*kwf6dg2KFDpADaVXO_zjYg.png" /></figure><ul><li>Наличие / отсутствие иерархичности. Если организуемые сущности разного уровня гранулярности (например, картина + акварель + гуашь + скульптура + барельеф +статуя) сгруппировать их в одномерную сиситему невозможно. Поэтому возникает необходимость во вложенности одних категорий в другие, причем на каждом уровне применяются разные принципы группировки. Такие иерархично организованные категории таксономией, а каждая категория — таксоном. В рамках таксономии каждый отдельный уровень иерархии может представлять из себя как классификацию, так и типологию.</li><li>Принадлежность сущности к одной или нескольким категориям. Если сущность может принадлежать сразу к нескольким категориям одного уровня (например, книга про семантику цвета может быть помещена в книжном магазине как в лингвистический раздел, так и в раздел, посвященный изобразительному искусству, а внутри разделов на полке с книгами данного автора), система называется полииерархичной.</li></ul><p>Хочу еще отметить несколько фактов:</p><ul><li>Как уже писала выше, в рамках одной иерархии каждый уровень может представлять из себя как набор классов, так и набор типов</li><li>Более того, подкатегории одного уровня, принадлежащие разным категориям в одном случае для одной категории могут быть классами, для другой — типами.</li><li>Подкатегории, находящиеся на одном иерархическом уровне в двух разных категориях, могут быть разной степени гранулярности</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/715/1*U7bwU-l-znmr6JXC2dLN1w.png" /></figure><h4>3. Classification (categorization) algorithms</h4><p><a href="http://www.me-teor.it/marr_opere/english/Classfqq.pdf">Третья вкладка</a> про три метода категоризации (в <a href="http://www.me-teor.it/marr_opere/english/Classfqq.pdf">источнике</a> в качестве общего термина применяется слово «классифицировать», но с формальной точки зрения, описанной в этом же источнике «классификация» — лишь один из способов «категоризации») информации, и применяемую в каждом из этих случаев терминологию для процесса, операций, получившихся групп и общего результата.</p><ul><li>Интенсивная классификация — подразделение определенной группы сущностей заданного уровня гранулярности на подгруппы меньшего уровня гранулярности на основании задаваемого набора признаков (фундаментов), общие значения которых берутся в расчет.</li><li>Экстенсивная классификация — группировка сущностей на основании общих значений признаков, выбранных из известного набора этих признаков.</li><li>Распределение сущностей по заранее заданным классам</li></ul><h4>4. Vocabulary types</h4><p><a href="https://docs.google.com/spreadsheets/d/1DUjk8-Tpk0ekSbewuMWQemq-j8ANeT6nP9k1UJM4IdQ/edit#gid=1238626918">Четвертая вкладка</a> про то, какие бывают словари. То есть, речь идет о том, как можно применять описанные выше принципы для структурирования определенного типа сущности — «термина», и какие в итоге получаются системы. Сами термины могут использоваться по-разному в рамках разных моделей данных: как субъекты, объекты, предикаты.</p><ul><li>Контролируемые словари — одноуровневые списки, никак не связанных между собой терминов. Термины из таких словарей встречаются, например, в качестве значений в саджестах, позволяя избежать ошибок или использования неточных синонимов.</li><li>Синонимичные группы—одноуровневые списки терминов, разбитые на группы, каждая из которых описывает одну смысловую концепцию. Позволяют при введении в поисковую строку одного из терминов группы находить все релевантные записи, в которых встречаются синонимы данного термина.</li><li>Нормативные файлы — синонимичные группы, в каждой из которых один из терминов отмечен, как предпочтительный. Удобны для унификации описаний — какой бы термин из группы ни вводился при описании сущности, он будет заменен на предпочтительный.</li><li>Таксономии — списки терминов, организованных в иерархию.</li><li>Тезаврусы — иерархично организованные списки групп синонимов с отмеченными предпочтительными терминами и определением смысловой концепции, которую они описывают. То есть тезаврус это гибрид таксономии и нормативного файла, где каждая группа терминов снабжена определением.</li><li>Словарь терминов мета-описаний — это простой контролируемый словарь терминов, снабженных определением. И эти термины используются в качестве ярлыков для обозначения свойств в схемах мета-данных.</li></ul><h4>5. Data models</h4><p>В <a href="https://docs.google.com/spreadsheets/d/1DUjk8-Tpk0ekSbewuMWQemq-j8ANeT6nP9k1UJM4IdQ/edit#gid=1619328277">пятой вкладке</a> перечислены основные модели данных, позволяющие описывать сложные сущности, обладающие целым набором свойств, и связи между ними. Здесь приведу не четкие определения, а скорее общий смысл каждой из моделей.</p><ul><li>Реляционные модели данных четко задают для каждого типа сущности (документа = объекта = информационного ресурса) набор свойств, рекомендуют форматы значений этих свойств и/или словари, из которых нужно подтягивать значения, а также описывают взаимосвязи свойств.</li><li>Онтологии позволяют гибко описывать связи между субъектами и объектами в определенной области через сеть триплетов [субъект][предикат][объект]</li><li>Тематические карты — немного более сложный и существенно более гибкий способ описания мира, где элементарной единицей является тема (= концепция), которая может иметь тип, а также набор синонимов (имен), сгруппированных по контекстам применения. Темы связаны семантическими ассоциациями (которые также могут быть типированы) и ссылаются на ресурсы, содержащие информацию о ней.</li></ul><h4>Заключение</h4><p>Вот, пожалуй, главные общие тезисы, которые для себя сформулировала:</p><ul><li>Есть системы описания сложных сущностей.</li><li>Есть термины, используемые в качестве значений свойств этих сущностей или в качестве ярлыков для эти свойств в рамках системы описания.</li><li>И системы описания и системы терминов могут быть организованы исходя из разных принципов.</li><li>Они взаимосвязаны, работают вместе и формируют модели данных.</li></ul><p>Несмотря на то, что туман в голове немного рассеялся, я пока очень далека от ощущения, что полностью разобралась в области, поэтому буду очень благодарна за любые корректировки и релевантные источники.</p><p><em>PS:</em></p><ol><li><em>Картинки не слишком привязаны к тексту, были сделаны когда-то по другому поводу</em></li><li><em>Грамматических ошибок на обоих языках, наверно, много, прошу прощения — концентрировалась на конспектировании смысла, не всегда держа в голове форму. Grammar nazi are welcome.</em></li></ol><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=1f6bd90fc573" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[«Половой вопрос» в IT]]></title>
            <link>https://medium.com/@CarexNigra/%D0%BF%D0%BE%D0%BB%D0%BE%D0%B2%D0%BE%D0%B9-%D0%B2%D0%BE%D0%BF%D1%80%D0%BE%D1%81-%D0%B2-it-a570d878a7dd?source=rss-fba2a9302565------2</link>
            <guid isPermaLink="false">https://medium.com/p/a570d878a7dd</guid>
            <category><![CDATA[it]]></category>
            <category><![CDATA[female]]></category>
            <category><![CDATA[startup]]></category>
            <dc:creator><![CDATA[Lara Simonova]]></dc:creator>
            <pubDate>Fri, 23 Oct 2015 14:25:10 GMT</pubDate>
            <atom:updated>2015-10-26T14:36:12.760Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ydDfoICDVfhXa-w2VzBOVg.jpeg" /></figure><p>Тут пару недель назад <a href="https://www.facebook.com/hashevatski?fref=ts">Аня Савина</a>​, писавшая статью про женщин в IT для <a href="http://secretmag.ru/">Секрета фирмы</a>​ попросила меня ответить на несколько вопросов на эту тему ввиду моего соосновательства в нашем «девочковом стартапе» (тм) <a href="http://www.channelkit.com/">Channelkit</a>.</p><p>Люди, хорошо меня знающие, поймут всю степень нетривиальности такой задачи. 98% моих друзей, знакомых, работодателей, соучеников, и вообще, людей, с которыми я на одной волне — мужчины. Так было всю жизнь. При этом, с учетом того, что сейчас в рунете происходит холодный ядерный феминистический синтез третьей волны, постепенно выходящий вырывающийся в более широкое масс-медиа пространство, полностью игнорировать тему не получалось. Но я формулировала свое отношение как-то так: «я вижу, что есть люди разной степени радикальности, которым это важно, понимаю, что это имеет влияние на формирование общественных институтов, но конкретно мне это все не очень близко».</p><p>Но вот появилась Аня и задала несколько простых вопросов. И, поскольку формально отписываться я не умею, пришлось провести целый день в попытках сформулировать, что я действительно думаю. Несмотря на то, что в <a href="http://secretmag.ru/longread/2015/10/23/itwomen/">итоговую заметку</a> вошли буквально две фразы без контекста, я очень рада, что потратила этот день. И хочу не потерять надуманное. Поэтому вот вопросы и ответы.</p><ol><li><strong>Как ты думаешь, почему мало женщин работает в IT?</strong></li></ol><p>Сложный вопрос, придется начать издалека.</p><p>IT — слишком общий термин, включающий в себя целый спектр областей: разработка, аналитика, продакт-менеджмент, QA, дизайн взаимодействия, все процессы, связанные с продвижением продукта и поиском денег. Для успешной работы в каждой из них людям нужны разные комбинации компетенций, подкрепленных определенным набором личных качеств. Грубо говоря, разработчику нужны системность и аккуратность; продкат-менеджеру — четкость, гибкость и визионерство; людям, отвечающим за BizDev — харизма, убедительность и дипломатичность. Из этого списка качеств многие могут быть очень хорошо развиты у женщин, могут позволить им успешно выучиться необходимым навыкам и сделать карьеру в IT. Но, на мой взгляд, одним качеством должны обладать все, вне зависимости от пола и области, — умением системно, последовательно думать.</p><p>И первая проблема — отсутствие этого навыка. С ней сталкиваются не только женщины, однако, им гораздо труднее его развить. Почему? Я вижу два аспекта. Физиологический и образовательный.</p><p>Физиологический аспект — спорный. На этом поле ломают копья, оперируя ссылками на релевантные научные источники, более компетентные люди, чем я. Читая иногда <a href="https://www.facebook.com/photo.php?fbid=10153553352899800&amp;set=a.394112129799.169103.581494799&amp;type=3">эти дискуссии</a>, а также на основе собственной выборки, на репрезентативность которой, впрочем, я не претендую, склоняюсь к мнению, что в среднем мужчины более системно думают, чем женщины.</p><p>Но, дальше вступают в силу воспитание и образование, которые могут сильно скорректировать физиологические предпосылки. А они очень сильно социально обусловлены. Строить логические связи и уметь доносить их до окружающих лучше начинать учить с раннего детства. Я не имею ввиду, что нужно впихивать в ребенка алгебру логики, но скорее помогать ему на бытовом уровне формулировать свою точку зрения и аргументировано ее доказывать, постепенно строить свою собственную (sic!) логичную систему координат, размещать в нее события, предметы, ощущения, уметь ее отстаивать, а если не получается отстоять — модифицировать систему. Кажется, далеко не все родители в принципе думают такими категориями, у тех немногих, что думают, часто не хватает времени и/или мотивации этим заниматься. А когда ребенок девочка, среднестатистическая семья вообще считает наличие собственного мнения лишним — гораздо ценнее послушание, красота и прочий «девочковый» набор качеств.</p><p>Редкие родители, которые все-таки хотят развивать системность, отдают детей учиться в хорошие школы, где учат думать. Таких, к сожалению, немного. Девочек туда попадает совсем мало — либо очень мотивированные, либо из специфических семей, у которых определенный уровень ценностей. В России ВУЗов, продолжающих учить качественно думать и дающих хорошие практические навыки работы с информацией, даже меньше, чем спецшкол (на Западе, скорее, наоборот). На этапе поступления в них тоже отсеивается много людей, в том числе девушек.</p><p>В итоге число людей, стоящих перед выбором карьеры и физически способных к системному мышлению, не такое уж большое. Женщин среди них незначительное количество. В этот момент их становится еще меньше, так как некоторые из них выбирают общепринятые семью-детей-дом.</p><p>Оставшиеся в итоге «на старте» не всегда имеют отношение к IT. И тут мы переходим ко второй проблеме, которая заключается в том, что даже те женщины, которые обладают мотивацией строить карьеру и всеми необходимыми данными для работы в той или иной IT области, могут просто не знать, что они там востребованы. Есть культивируемый ранее и до сих пор не отмерший образ, что IT — это странные бородатые мужики, командная строка и множество языков программирования. Если женщина с самого начала не получила специфического образования, которое показывает все многообразие деятельности в этой сфере, вряд ли ей придет в голову попробовать себя там.</p><p>По крайней мере, так было со мной. Я закончила физ-мат школу, затем кафедру вирусологии биологического факультета, приняла решение не заниматься наукой, поскольку из России уезжать не хотела, а в России не могла себе позволить — нужно было зарабатывать деньги, большие, чем это было возможно в науке. В итоге, четыре года после окончания факультета я занималась какими-то вещами, не имеющими отношения ни к моему образованию, ни к моим склонностям. Просто потому, они лежали на поверхности, а альтернатив я не видела. А потом моя подруга, информационный дизайнер <a href="https://www.facebook.com/nutson?fref=ts">Лиза Орешкина</a>, несколько месяцев понаблюдав за тем, как я с занудством, достойным лучшего применения, переструктурирую и описываю огромную библиотеку у себя дома, попросила меня помочь ей спроектировать логику сайта, в основе которой лежала некая комбинаторная задача. Оказалось, что вот это самое занудство и необходимость разрабатывать систему для решения любой задачи, которые я считала собственным времяёмким и неудобным в быту качеством, можно монетизировать в IT. Так я стала информационным архитектором. Точнее поняла, что была им примерно с рождения. А через некоторое время вместе с Лизой и <a href="https://www.facebook.com/zavrieva?fref=ts">Ниной Завриевой</a> мы придумали и начали делать <a href="http://channelkit.com/">Channelkit</a>, сервис для организации информации в сети.</p><p>Таким образом, получается своего рода воронка, на каждом этапе отсекающая часть женщин, которые потенциально могли бы попасть в IT: физиологические особенности &gt; особенности воспитания &gt; особенности образования &gt; выбор между карьерой и домом &gt; доступность информации о профессии.</p><p><strong>2. На каком этапе начинается дисбаланс?</strong></p><p>Как я описала выше, мне кажется, очень рано. И, как бы там ни обстояли дела с физиологией, главной проблемой является все-таки воспитание и образование.</p><p><strong>3. Сталкивалась ли ты с непониманием/неуважением со стороны мужчин-коллег? Если да, то в какой ситуации?</strong></p><p>Несмотря на то, что я не самый коммуникативно гладкий человек и мне иногда сложно устно доносить свои мысли, все взаимоотношения с коллегами-мужчинами всегда были очень корректными. Я не знаю, это везение, какой-то мой подсознательный подход к выбору людей, с которыми взаимодействую для решения рабочих задач, или такой способ думать, но я никогда не сталкивалась с каким-то особенным непониманием с их стороны (по крайней мере, не замечала этого). Даже наоборот, кажется, с мужчинами мне гораздо легче находить общий язык, чем со многими коллегами-женщинами. Бывали, конечно, какие-то рабочие нестыковки, но их всегда получалось прямолинейно обсудить и решить.</p><p><strong>4. Были ли какие-то проблемы у </strong><a href="http://channelkit.com/"><strong>Channelkit</strong></a><strong>, связанные с тем, что все его основательницы — женщины?</strong></p><p>Это тоже философский вопрос, который мы иногда обсуждаем в команде. С какими-то явными проблемами мы не сталкивались. А те внутренние проблемы, которые у нас бывают, не кажутся нам как-либо связанными с нашим полом. С другой стороны, кто знает, как бы сложилась судьба проекта, если бы все его основателями были мужчины. Возможно, он бы скорее получил следующий раунд инвестиций, или быстрее развивался бы, или был бы быстрее закрыт, потому что сложный, не моментально взрывающий рынок, требующий большого количества итераций и терпения. Мы же планомерно работаем над ним, к нам без какого-либо агрессивного пиара приходят новые, интересные и осознанные пользователи, мы с ними много общаемся, учитываем их мнение при проектировании следующих версий. Через некоторое время выпустим обновленный вариант, с оптимизированным интерфейсом, и начнем делать его «умным», учитывая статистику и пользовательские пожелания. Это не самый быстрый вариант развития, зато мы хорошо все продумываем и проговариваем. И еще один плюс — нас часто выделяют на событиях, в которых мы участвуем. У нас есть идея написать после запуска следующей версии подробную статью про наш опыт «девочкового IT-стартапа»</p><p><strong>5. Как ты думаешь, может ли гендерное равенство в компании сделать ее продукт лучше?</strong></p><p>На мой взгляд, продукт могут сделать лучше только умные, адекватные, готовые к диалогу друг с другом люди, обладающие комплиментарным набором компетенций для его создания и продвижения, мотивированные работать вместе для того, чтобы выпустить клевую штуку. И пол этих людей, при таких исходных данных, не играет роли.</p><p><strong>6. Какие меры, на твой взгляд, нужно предпринять, чтобы больше женщин работало в сфере IT? Что может сработать: организации, направленные на помощь женщинам, специальные программы внутри компаний, внимание СМИ, появления ярких ролевых моделей или что-то еще?</strong></p><p>Тут есть два аспекта. Первый — дать женщине с детства все исходные стартовые данные, базу. Для этого нужно:</p><p>— Проводить больше времени с ребенком и учить его системно думать,</p><p>— Стараться не навязывать поведенческих гендерных стереотипов,</p><p>— Давать возможность делать собственный выбор</p><p>— Мотивировать поступать в хорошие школы и ВУЗы, где продолжают учить логике</p><p>— Пораньше начинать рассказывать про разные области вообще и области IT в частности</p><p>— Давать себя пробовать в них</p><p>Эти меры, на мой взгляд, должны применяться к любому человеку, вне зависимости от пола. Просто к девочкам их, к сожалению, применяют реже. Если же применяют, к моменту выбора профессии с высокой вероятностью получается женщина, которая будет иметь возможность четко сформулировать свои интересы и осознать сильные и слабые стороны, а также будет достаточно информированной, чтобы мочь принять взвешенное решение. Это поможет ей правильно выбрать свою профессию. И этой профессией с высокой вероятностью может стать одна из областей IT.</p><p>Есть второй аспект, который, видимо, имелся ввиду в вопросе. Говорят, что существует проблема, когда при прочих равных условиях работодатель на определенные позиции предпочитает нанимать мужчину. Мне повезло, ни разу не сталкивалась, но верю, что такое случается. Насколько часто — взвешенной статистики не видела. И этот аспект, мне кажется, выходит за рамки обсуждения компетентности женщин и их влияния на качество продукта и переводит разговор в область социальных устоев и традиций.</p><p>Для решения такой проблемы кажется правильным как-то формализовать критерии отбора кандидатов — точно и подробно их описывать и, возможно, делать открытыми post factum. Мне кажется, что из всех тех женщин, которых «не взяли», была значимая доля тех, кого не взяли по объективными причинам, а они решили, что причиной была дискриминация по половому признаку.</p><p>Такие способы, как повышенное внимание к вопросу в СМИ, программы в рамках компаний и ролевые модели — это все способы привлечения внимания. К сожалению, они очень редко бывают взвешенными, не раздутыми, без передергиваний, лично меня они никак не мотивируют и скорее раздражают. Однако, кажется, что такие, часто экстремальные, иногда доведенные до абсурда, меры сдвигают нормы человеческого восприятия и выравнивают социальные проблемы. Эта норма под их воздействием, двигается на самом деле не так быстро и не так сильно — ровно настолько, насколько нужно, чтобы снять остроту проблемы. Так что в них определенно есть смысл.</p><p>Что касается организаций, они нужны в большом количестве других ситуаций, но я очень сомневаюсь, что есть очевидный способ построить хорошо работающую организацию «помогающую взрослой женщине найти себя в IT и выжить там». Слишком многопараметрическая задача.</p><h4>Если вам понравилась эта история, поделитесь ей с другими читателями, нажав кнопку “Recommend”</h4><h4>Спасибо! ☺</h4><pre><em>Ищете больше интересных историй? <br></em><strong><em>Подписывайтесь</em></strong><em> на </em><a href="http://medium.com/russian"><em>Medium</em></a><em> · </em><a href="http://twitter.com/mediumrussian"><em>Twitter</em></a><em> · </em><a href="https://www.facebook.com/mediumrussian"><em>Facebook</em></a><em> · </em><a href="http://vk.com/mediumrussian"><em>VK</em></a></pre><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=a570d878a7dd" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Классификация лайков]]></title>
            <link>https://medium.com/@CarexNigra/%D0%BA%D0%BB%D0%B0%D1%81%D1%81%D0%B8%D1%84%D0%B8%D0%BA%D0%B0%D1%86%D0%B8%D1%8F-%D0%BB%D0%B0%D0%B9%D0%BA%D0%BE%D0%B2-3a492ce996ef?source=rss-fba2a9302565------2</link>
            <guid isPermaLink="false">https://medium.com/p/3a492ce996ef</guid>
            <dc:creator><![CDATA[Lara Simonova]]></dc:creator>
            <pubDate>Mon, 05 Oct 2015 21:07:38 GMT</pubDate>
            <atom:updated>2015-10-05T21:20:55.013Z</atom:updated>
            <content:encoded><![CDATA[<h4>Для постов</h4><ol><li>Полезный/умный/интересный/важный текст/видео/изображение</li><li>Ты — молодец</li><li>Разделяю мнение</li><li>Рад за тебя / поздравляю</li><li>Держись</li><li>Рад видеть человека на фотографии</li><li>Какая-то хрень, но повеселился</li></ol><h4>Для комментариев</h4><ol><li>Резонный вопрос, щас объясню</li><li>Не знаю, что тебе ответить, но ты мне очень симпатичен</li></ol><p>Поняла, что для постов ставлю преимущественно первые 2 типа. Иногда 3-й. И оба для комментариев.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/620/1*oHJ_HYY87RIZs4xHcudakA.jpeg" /></figure><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=3a492ce996ef" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Социально-сетевые потоки и информационная гигиена]]></title>
            <link>https://medium.com/@CarexNigra/%D1%81%D0%BE%D1%86%D0%B8%D0%B0%D0%BB%D1%8C%D0%BD%D0%BE-%D1%81%D0%B5%D1%82%D0%B5%D0%B2%D1%8B%D0%B5-%D0%BF%D0%BE%D1%82%D0%BE%D0%BA%D0%B8-%D0%B8-%D0%B8%D0%BD%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%86%D0%B8%D0%BE%D0%BD%D0%BD%D0%B0%D1%8F-%D0%B3%D0%B8%D0%B3%D0%B8%D0%B5%D0%BD%D0%B0-6a7dfb56fc63?source=rss-fba2a9302565------2</link>
            <guid isPermaLink="false">https://medium.com/p/6a7dfb56fc63</guid>
            <dc:creator><![CDATA[Lara Simonova]]></dc:creator>
            <pubDate>Wed, 27 May 2015 17:32:28 GMT</pubDate>
            <atom:updated>2015-05-27T17:32:28.050Z</atom:updated>
            <content:encoded><![CDATA[<p>Настройки списков и приватности в фейсбуке — это, конечно, чудесно. Решают вопрос, кому человек хочет транслировать свои записи.</p><p>Но у человека на другом конце, подписчика или друга, только две опции. Если он тебя читает, ему придется видеть все, и про котиков, и про политику и про холодный ядерный синтез (ок,<em> все, </em>если бы фейсбук не вмешивался со своими алгоритмами). Ну или отписаться с концами и не читать ничего.</p><p>Я бы была очень рада более гибкой надстройке на фейсбук, позволяющей собственные посты и репосты разводить по отдельным, задаваемым мной самой, тематическим лентам. Чтобы друзья, могли следить только за теми областями, где у нас общие интересы.</p><p>Мои, очень разные по содержанию и стилистике, были бы, наверно, такие:</p><ol><li>Информационная архитектура, образование, айти и вся сопутствующая заумь</li><li>Дневниковые, про мир вокруг и ощущения от него, про воспоминания и странные связи всего со всем</li><li>Про книги, не имеющие отношения к профессии — худлит, мемуары</li><li>Игры со словами и короткие мысли, для которых я сейчас использую твиттер</li><li>Лампы, DIY, промдизайн</li><li>Политика, которую уж точно, чем дальше, тем больше хочется как-то изолировать, но убрать из жизни полностью не получается</li><li>Чужие и свои объявления, просьбы о помощи и разные кроссервисные уведомления, которые я пытаюсь не выводить сейчас, чтобы не размывать ленту вторичным контентом, но иногда они бывают уместными и «кармически правильными»</li></ol><p>Поскольку в ближайшее время такой опции у фейсбука, кажется, не предвидится, пришлось организовать свой лунапарк, под названием <a href="http://www.channelkit.com/">Channelkit</a>, в котором уже можно подписаться только на интересующие тебя каналы пользователя. Он еще сырой, но скоро выкатим более пропеченный вариант, в котором, помимо прочего, появится полноценная лента обновлений в каналах. Сервис, правда, пока только про контент (ссылки и файлы), а не про полноценное общение, но кто знает, куда заведет нелинейная продуктовая дорожка.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/788/1*ATtBxzzuizulBB1xfflBGw.png" /></figure><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=6a7dfb56fc63" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Структурирование каталогов в E-commerce]]></title>
            <link>https://medium.com/@CarexNigra/%D1%81%D1%82%D1%80%D1%83%D0%BA%D1%82%D1%83%D1%80%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5-%D0%BA%D0%B0%D1%82%D0%B0%D0%BB%D0%BE%D0%B3%D0%BE%D0%B2-%D0%B2-e-commerce-311c899fac6c?source=rss-fba2a9302565------2</link>
            <guid isPermaLink="false">https://medium.com/p/311c899fac6c</guid>
            <dc:creator><![CDATA[Lara Simonova]]></dc:creator>
            <pubDate>Mon, 11 May 2015 09:38:38 GMT</pubDate>
            <atom:updated>2015-05-11T15:21:14.328Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*cbPGloz09dD-7X6pXL_6Fw.jpeg" /><figcaption>Image source: <a href="http://www.superiorsolutions.in/ecommerce-catalog-management/">http://www.superiorsolutions.in/ecommerce-catalog-management/</a></figcaption></figure><p><em>Оригинал заметки размещен на сайте </em><a href="http://designthe.info/blog/articles/ecommerce.html"><em>designthe.info</em></a><em>. После ее публикации я получила много полезных комментариев. В следующий заход обязательно включу их и снабжу каждый пункт удачным и неудачным примерами. Буду благодарна за любые дополнения, мысли, ссылки на такие примеры. Заметка не претендует на революционность, просто собирает вместе мысли и приемы, которые неплохо иметь под рукой, когда стоит задача спроектировать каталог.</em></p><p>Я мало покупаю в интернете, а когда возникает такая необходимость, процесс оказывается всегда достаточно мучительным. Но до сегодняшнего дня никогда не пыталась формализовать причины. После недавнего вынужденного сеанса онлайн шопинга поняла, что одним из ключевых раздражителей (об остальных как-нибудь в другой раз) является структура рубрикаторов и подходы к описанию товаров в онлайн-магазинах. А поскольку до официального начала моей информационно-архитектурной карьеры я какое-то время занималась настройкой разных внутренних процессов в сети магазинов конно-спортивной амуниции <a href="http://prokoni-shop.ru/">Prokoni Shop</a>, в том числе, внедряла 1С и проектировала базу, которая должна была синхронизироваться с сайтом, мне захотелось закрыть гештальт и рассказать, как бы я подошла к этой задаче сейчас, немного поднаторев в методах систематизации и каталогизации.</p><p>Отдельно оговорю, что думала в первую очередь над каталогом физических объектов. Допускаю, что не все пункты будут работать для нематериальных продуктов (услуги, программное обеспечение).</p><p>Перед тем, как разрабатывать структуру каталога, нужно как следует изучить, что именно вы продаете и задать себе несколько вопросов:</p><ol><li>Какими свойствами обладает каждый товар? Размер, цвет, состав, мощность, скорость, цена и далее по списку. Естественно, в зависимости от типа объекта набор этих свойств будет разным (попробуйте описать книгу и машину), а среди товаров одного типа, значения каждого свойства могут отличаться (у машин могут быть разные объемы двигателей, количества дверей, тип коробки передач).</li><li>Какие из этих свойств являются значимыми для покупателя при поиске каждого конкретного товара? Если человек хочет купить свитер, наверно ему, помимо цены, будут важны размер, цвет и тип ткани. А при покупке пылесоса — мощность, количество функций, тип пылесборника. Цвет, скорее всего, будет вторичен (кому как, конечно), а точный диаметр колес — не важен совсем.</li><li>Как товары связаны между собой? Выполняют ли одну функцию (люстра и бра = светильник) или комплиментарны друг другу (ошейник + поводок = можно идти выгуливать собаку), подходят ли по цвету (ботинки к сумке), одно является расходником для другого (принтер + картридж)</li></ol><p>Помедитировав так над своим ассортиментом можно приступить к построению рубрикатора. Кажется, что для этого нужно решить пять основных подзадач. Для каждой из них перечислю набор правил, которые, на мой взгляд, должны выполняться.</p><h4>Описать товар</h4><p>Описание каждой позиции в каталоге должно быть максимально структурировано. Искать среди сполшного текста нужные для принятия решения о покупке данные— сложно. Всю информацию о предмете можно разделить на четыре функциональных блока: название, параметры, лирическая легенда, инструкции.</p><p><strong>Параметры</strong></p><ol><li>Изучив конкретный товар и задав в применении к нему вопросы 1 и 2, приведенные выше, можно сформировать список количественных (мощность, размер, цена) и качественных (цвет, форма, способ крепления) параметров, его описывающих. <em>Каждый из этих параметров должен быть вынесен в отдельное поле.</em></li><li><em>Параметры должны быть разделены на универсальные и дополнительные. </em>Универсальные, как правило, являются важными для покупателя, на основании значений этих параметров он делает первичный выбор в пользу или против позиции. Поэтому они должны выводиться в рамках минимальной информации о товаре в самом каталоге, а не быть спрятанными где-то в недрах страницы товара. Дополнительные параметры должны быть, наоборот, убраны, чтобы не засорять эфир.</li><li><em>Для товаров, принадлежащих к одной категории (о категориях — ниже), набор универсальных полей должен быть одинаковым и всегда заполненным. </em>Не должно быть ситуаций, когда у одной книги заполнен только автор и цвет обложки, а у другой — название и количество страниц.</li><li>Если же по какой-то причине у одного из объектов в категории нет данного параметра, это может означать две вещи. Первое: это второстепенный параметр. <em>Тогда, для всех позиций, у которых он есть, нужно располагать его в глубине страницы товара, для позиций, у которых его нет — не выводить вообще</em> (нет ничего хуже строки параметра, с не заполненной его значением). Второе: <em>у параметра есть аналог, который должен выводиться вместо него</em>. Например, если книга представляет из себя сборник из большого количества статей, вместо автора нужно выводить редактора. Правильно расположить параметры, скрывать второстепенные, выводить аналогичные вместо отсутствующих — важно для удобства покупателей. Решаются эти задачи дизайнерами и разработчиками. Однако, придумать логику и поставить их, при отсутствии информационного арихтектора в команде, приходится самостоятельно.</li><li><em>Список значений любого параметра не должен содержать синонимов (тканевый, матерчатый) или разных форм одного слова (стеклянный, стекло). </em>Это усложняет покупателю поиск. Чтобы облегчить себе и покупателю жизнь, для сервиса можно разработать и использовать <a href="http://en.wikipedia.org/wiki/Thesaurus">тезаурус</a> — контролируемый словарь, который при вводе любого синонима или формы слова, обеспечивает выдачу, основываясь на используемом в вашем каталоге аналоге этих слов. Этот тезаурус можно встроить и в пользовательский поиск и в админку сайта, чтобы при заполнении параметров нового товара сотруднику предлагалось правильное слово, какую бы его форму или синоним они ни пытались ввести.</li><li>Перед тем, как собирать и структурировать каталог, нужно понять, как каждый из товаров соотносится с позицией в каталоге. Если не вдаваться в подробности, позиция в каталоге это элементарная запись, у которой есть самостоятельная страница на сайте. Потенциально самостоятельную страницу может иметь каждый товар, обладающий уникальной комбинацией его параметров. То есть, страница может быть у сапоги фирмы X, модели Y, 38 размера, коричневого цвета. У таких же, но черных, будет вторая страница. Это значит, что в разделе «сапоги» на одном уровне будет находиться множество позиций одной модели, но с разными цвето-размерными параметрами, перемешанные со множеством других моделей и брендов, также разбитых по цветам и размерам. Это некорректный подход, ведущий к разрастанию каталога и мешающий пользователю найти нужный ему товар. Чтобы избежать такой ситуации, <em>нужно сделать так, чтобы страница была у модели, а ее второстепенные параметры (в данном примере — цвет и размер) размещались на на ней</em>. Добавлю, что взаимоотношения параметров товара и того, что называется моделью, не всегда очевидны. Модель — это совокупность некоторых ключевых параметров, которые отличают ее от другой модели. В некоторых случаях те параметры, которые являются опциями в рамках одной модели, для другой могут быть свойствами, ее определяющими. Например, одинаковые по покрою, но разные по цвету вещи могут быть названы производителем по-разному (то есть, быть разными моделями). В такой ситуации, на мой взгляд, лучше придерживаться номенклатуры производителя, так как всегда будут люди, пришедшие за определенным товаром и оперирующие названиями моделей, присвоенными производителем.</li><li>Для каждого параметра в рамках категории можно задать свой вес, который будет учитываться в поисковой выдаче. Например, при запросе «белый чугунный утюг» в выдаче по релевантности сначала будут идти товары имеющие в названии слово «утюг», значение параметра цвет «белый» и параметра материал «чугун», затем те, у которых в названии есть слово «утюг», материал — «чугун», а цвет какой-то другой, а после могут располагаться белые, но не чугунные утюги.</li></ol><p><strong>Названия</strong></p><ol><li>Особое внимание нужно уделить названиям товара.<em> Оно не должно включать в себя ни один из параметров</em>. «Люстра розовая стеклянная» — плохой вариант. Потому что розовый — значение параметра «цвет», стекло — параметра «материал». Они должны быть вынесены в отдельные поля. Если они содержатся в названии, это значит, что либо они будут дублировать поля параметров, а это информационный перегруз, либо поля параметров будут не заполнены, и по ним не будет полноценного поиска (о поиске — ниже).</li><li>Если в каталоге есть много предметов одного типа, <em>название должно включать только тип предмета и какую-нибудь литературщину</em>, чтобы быстро отличать их в соответствующем разделе или в поисковой выдаче. Икеа-стайл: Люстра Кноб. Здесь может возникнуть вопрос, зачем вообще включать в название тип предмета, если в рамках данной рубрики каталога находятся предметы только этого типа. Дело в том, что рубрика «раковины» скорее всего находится в надрубрике «сантехника» вместе с рубрикой «ванны». Если тип не будет вынесен в название, получится, что пользователь, находясь в надрубрике «сантехника» увидит раковины и ванны вперемешку, сортированными по ничего ему не говорящим художественным названиям.</li><li>Причем, порядок должен быть всегда именно такой: <em>литературщина после типа</em>. В таком случае в разделе «светильники» у вас сначала будут идти все бра, затем люстры, затем Настольные лампы, а не «Бра Людовик» — «Люстра Кноб» —« Фердинанд бра» — «Юрмала лампа настольная».</li><li><em>Все объекты одной категории должны быть тщательно (и очевидно для покупателя!) типированы по своему ключевому признаку</em>, который нужно выбрать и который войдет в название. Например, категорию «свет» можно разделить на люстры, бра, настольные лампы, напольные лампы и т.д.</li><li><em>Синонимы для типов использовать нельзя</em>: либо бра, либо настенный светильник.</li><li><em>Каждый объект категории должен входить только в один тип (в примере с лампами — по способу крепления) и этот тип должен быть вынесен в название</em>. Это правило касается только типов, используемых в названиях, по другим признакам объект может принадлежать разным рубрикам каталога и даже к нескольким рубрикаторам, если они есть (о рубрикаторах — ниже)</li></ol><p><strong>Лирическая легенда</strong></p><ol><li>Бывает так, что про товар хочется рассказать какую-то историю, которая немного смягчает и очеловечивает сухие параметры: откуда он взялся, как его можно использовать, как его производят. <em>Для этого можно заполнить текстовое описание.</em></li><li><em>Это не должен быть формальный текст </em>— их никто не читает. Чтобы читали, он должен быть в хорошим: интересным и лаконичным. Если ресурсов на стилистику нет — лучше не тратить свое время на написание и не засорять информационное пространство покупателя некачественными и ненужными данными.</li><li><em>Текст не должен содержать количественной и качественной информации</em>, которая может быть вынесена в параметры, или дублировать ее.</li><li><em>Описание должно быть убрано на страницу товара, не выводиться в каталоге</em>. На странице лучше расположить его ниже полей с параметрами, поскольку оно в последнюю очередь будет служить аргументом для принятия решения о покупке.</li></ol><p><strong>Инструкции</strong></p><ol><li><em>В случае, если товар сложный в использовании, важно предоставить необходимые инструкции.</em></li><li><em>Инструкции должны быть на странице товара в самом низу.</em> Так они не будут мешать новому человеку принять решение о покупке на основе более важной информации. При этом, человек, который уже принял решение о покупке или даже, купив, вернулся на сайт, чтобы узнать, как им пользоваться, будет более мотивированным искать подробности.</li></ol><h4>Категоризация</h4><p>Люди привыкли к иерархиям, которые позволяют окинуть взглядом все предложенные варианты разделов на нужном уровне и принять решение, в какой из них углубляться. Эта модель поиска обычно используется людьми, которые точно не знают, что именно им нужно, и не могут вбить это в поисковой строке. Им в помощь очень важно построить внятный рубрикатор с продуманными категориями.</p><p>Оговорюсь, что существуют, и другие, горизонтальные, системы структурирования множеств — теги, но они самостоятельно, без иерархий, обычно не используются в магазинах.</p><ol><li><em>Иерархический рубрикатор может быть один или их может быть несколько</em>. Это зависит от количества и разнообразия товаров. Например, зоомагазин может использовать два рубрикатора: основанный на функциях товаров и основанный на классификации животных</li><li><em>Рубрикатор не должен быть слишком глубоким</em>: не каждому человеку хватить терпения погрузиться на 20 уровней в поисках необходимого ему товара. Оптимальным, на мой взгляд, является трехступенчатый рубрикатор в сочетании с гибкими инструментами для фильтрации (о них — ниже), которые можно использовать, если выборка на самом нижнем уровне все еще слишком велика.</li><li><em>На каждом уровне рубрикатора не должно быть слишком много категорий</em> — человеку сложно удерживать в голове, чем они друг от друга отличаются. Если их больше десяти, имеет смысл задуматься над тем, чтобы разделить их на две категории более высокого уровня.</li><li><em>Названия категорий на каждом уровне должны четко различаться</em> (так же как и названия самих товаров) по понятному пользователю принципу. Если в разделе «Свет» встречаются подразделы «Лампы», «Светильники» и «Люстры», это плохой рубрикатор.</li><li><em>Подкатегории одной категории должны быть расположены в алфавитном порядке.</em></li><li><em>Конкретный товар вполне может одновременно входить в разные категории одного рубрикатора</em>, например, если обладает несколькими функциями.</li><li><em>Если на сайте используется несколько рубрикаторов, все товары должны быть представлены в каждом из них.</em></li></ol><h4>Инструменты поиска</h4><p>У людей есть несколько разных подходов к поиску. Кто-то готов бродить по иерархическим рубрикаторам, кто-то хочет вбить в поиск слово и получить выдачу по этому запросу, а кто-то из предложенного набора параметров предпочитает выбирать нужные ему значения. Все эти возможности должны быть предоставлены покупателю. Правила для рубрикаторов описаны выше, здесь же хочется разобрать фильтрацию и текстовый поиск.</p><p><strong>Текстовый поиск</strong></p><ol><li>Гугл настолько тщательно работает над своими алгоритмами, что приучил людей получать достаточно качественную информацию по любому их запросу. Поэтому, хорошим тоном на любом сайте магазина считается <em>наличие поиска по названиям товаров и всем значениям, вынесенным в поля параметров.</em> Правильно описанные товары будут хорошо индексироваться не только в рамках сайта, но и во внешних поисковых машинах. Таким поиском пользуется человек, точно знающий, какой товар ему нужен.</li><li><em>Чтобы поиск работал максимально эффективно и учитывал синонимы и грамматические формы, имеет смысл разработать тезаурус</em>, о котором уже говорилось выше.</li><li>Ну и последней опцией может быть <em>полнотекстовый поиск </em>— не только по значениям параметров, но и по тексту описания. Однако, если описание сделано так, что все значимые параметры вынесены из него, большой необходимости в нем нет.</li></ol><p><strong>Фильтрация</strong></p><ol><li>После того, как человек пришел в раздел с предметами одного типа, которые его интересуют, или получил поисковую выдачу, ему нужно выбрать конкретный товар. <em>Поэтому на основе набора параметров данной категории должна быть разработана система фильтров, позволяющих сузить выборку задав значения универсальных параметров</em>.</li><li><em>Если у всех товаров есть набор общих параметров, то фильтры по ним можно разместить рядом с рубрикатором.</em> Этот инструмент позволит, например, искать в каталоге только товары, принадлежащие одному бренду.</li><li><em>Если параметр описывается одним словом, то эти фильтры могут быть теговыми. Однако, облако тегов должно быть структурировано.</em> То есть, облако тегов, посвященных цвету, не должно смешиваться с облаком тегов, посвященных типу ткани или, скажем, бренду.</li><li>Когда в качестве системы фильтрации вводится облако тегов, нужно определить, что должно происходить, если человек выбрал одновременно два тега для одного параметра. Одновременно выбранные теги «синий» и «белый» должны выдавать только сине-белые предметы, или синие+белые+сине-белые?</li><li>Если значения параметра могут располагаться в определенном последовательном порядке (любые количественные показатели: мощность, размер, объем), должна быть система слайдеров для этих параметров, или двойных инпутов, позволяющих задать интервал.</li><li><em>Если в процессе фильтрации выбранные значения одних параметров исключают какие-то значения других параметров или другие параметры целиком, возникает вопрос, как на это должен реагировать интерфейс</em>. Варианта может быть три. Либо все фильтры параметров и все значения в них остаются активными, но выдача при определенных несочетаемых комбинациях будет пустая. Либо, в зависимости от выбранного для данного параметра значения, несовместимые с ним параметры или их значения исчезают, и в выдаче всегда будут объекты, удовлетворяющие условиям фильтрации. И последний вариант — <em>параметры и их значения не исчезают, но становятся неактивными</em>. Первый вариант — плохой тон, тк не подсказывает человеку тупиковые варианты и тратит его время. Оптимальным кажется третий вариант, потому что он легче и с точки зрения разработки (не нужно переверстывать блок фильтров под каждую новую комбинацию) и в восприятии человека — блок фильтров не скачет и не меняется, при этом четко видно, что при применении очередного фильтра у тебя происходит сужение возможностей. Однако второй тоже имеет право на существование при небольшом количестве фильтров и аккуратной верстке.</li></ol><h4>Выдача</h4><ol><li><em>После того, как человек ввел поисковый запрос или отфильтровал раздел по необходимым ему параметрам, он получает список, который должен тоже быть определенным образом структурирован.</em> Удобный способ структурирования в данном случае называется сортировкой.</li><li>Нужно дать выбор способа сортировать выдачу. Для этого могут быть использованы любые параметры, значения которых идут последовательно: цена, алфавит, мощность, популярность, время появления в базе. Отсортировать по форме — невозможно.</li></ol><h4>Горизонтальные связи</h4><p>Для любителей сетевых структур и стохастических горизонтальных перемещений в рамках страницы товара можно дать раздел see also. Тут как раз пригодится теговая <a href="http://en.wikipedia.org/wiki/Ontology_(information_science)">онтология</a>: все параметры, описываемые тегами могут иметь свою иерархию. В качестве примера приведу ситуацию, когда тегом служит название товара, но этот принцип можно расширить на любые другие параметры.</p><p>Допустим, я ищу что-то, чтобы водить собаку гулять и знаю, что одним из компонентов называется «ошейник». При таком поисковом запросе мне должны выдать все ошейники. Если я попадаю на страницу конкретного ошейника в разделе see also было бы неплохо, во-первых, предложить мне другие ошейники, во-вторых, аналоги (шлейки) и, в-третьих, комплиментарные товары (поводки). Получается, что теги «ошейник», «шлейка», «поводок» включаются в надтег «средства для выгуливания».</p><p>Правда, еще один способ использования see also: это подходящие по каким-то другим признакам товары, возможно, совершенно другой категории. Эти четыре типа see also должны быть внятно разделены.</p><p>Такая онтологичная структура, лежащая в основе рекомендательных разделов, позволяет человеку, который точно не знает, что он ищет, найти все, что может иметь отношение к предмету, на который он сейчас смотрит.</p><h3>Заключение</h3><p>Пожалуй, это все, что сейчас приходит в голову. Хочется, впрочем, добавить еще пару мыслей:</p><ol><li>Эти правила позволяют думать над структурированием информации в нужном русле, однако, нужно понимать, что они — не панацея. Все сильно зависит от конкретной области, объемов базы, особенностей клиентов и многих других параметров. Какие-то, возможно, придется выкинуть, какие-то пересмотреть, или придумать свои решения.</li><li>Структурирование и описание — процесс динамический. После того, как сайт запущен, нужно тестировать, собирать статистику и смотреть, понимает ли аудитория, как пользоваться теми или иными инструментами, находит ли то, что нужно, совершает ли покупки, и по этим данным постоянно оптимизировать систему организации. Изменение аудитории, вызванное, например, изменением линейки товаров, может также служить поводом для пересмотра структуры сайта.</li><li>В процессе оживленной дискусси на тему стркутурирования каталогов в фейсбуке всплыл вопрос: зачем вообще нужна система организации на сайте, если основная масса пользователей приходит через контекстную рекламу напрямую на страницу товара (Google AdWords, Яндекс Директ)? Я для себя на него ответила так:</li></ol><p>Есть два варианта покупательского поведения:</p><p><strong>Первый</strong></p><p>Человек ищет что-то конкретное, вбивает в поисковик и выбирает из выдачи на основе метаданных, которые в ней выводится.</p><p>Это конкретное может быть двух типов. — Пылесос 1700W с турбощеткой — Пылесос марки-такой-то-модели-такой-то</p><p>В первом случае пользователю нужно выбрать из брендов-моделей, а затем из торговых площадок. Во втором — только из торговых площадок.</p><p>Первый случай часто сводится к тому, что человек на какой-то площадке находит по параметрам ту модель, которая ему нужна, а затем гуглит, где она дешевле, где удобнее доставка и проч. То есть необходима внятная система организации аналогов на площадке.</p><p>Второй случай предполагает адекватное описание объекта. Метаданные в поисковой выдаче — это те самые продуманные параметры продукта, которые подтягиваются с сайта. Они служат фактором, непосредственно влияющим на выбор конкретного сайта из всех конкурентов, ничуть не менее важным, чем хорошая настройка контекстной рекламы.</p><p>А значит, тут не обойтись без системы организации и описания.</p><p><strong>Второй</strong></p><p>Покупатель ищет не конкретный товар везде (впрочем, конкретный тоже может быть), а что-то в рамках бренда торговой площадки. То есть, если я хочу купить «что-нибудь для моей лошадки» (или определенное седло для конкура), я из 10 магазинов, в которых могу это сделать, пойду именно в <a href="http://prokon-shop.ru/">Prokoni Shop</a> , потому что там седла, которые мне нравятся, хорошие продавцы и у меня скидка 20%. Для этих людей нужны нормальные рубрикаторы, описания и системы навигации на сайте. Это, во-первых, вежливость, во-вторых, потенциально гораздо большие деньги, поскольку лояльные покупатели возвращаются много раз и предпочитают тратить их у вас.</p><p>В сухом остатке: по контекстной рекламе приходят в первый раз, а из-за сервиса, в том числе хорошего сайта, остаются. И то и другое требует работы над структурой.</p><p>И последняя ремарка. К сожалению, я настолько редко делаю покупки в интернете, и каждый раз мой опыт настолько грустный, что не могу привести правильные примеры рубрикаторов. Но теперь постараюсь сконцентрироваться и собрать подборку решений, которые мне показались удачными в конкретных случаях.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=311c899fac6c" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Точность vs. понятность]]></title>
            <link>https://medium.com/@CarexNigra/vs-984fcc5a9804?source=rss-fba2a9302565------2</link>
            <guid isPermaLink="false">https://medium.com/p/984fcc5a9804</guid>
            <dc:creator><![CDATA[Lara Simonova]]></dc:creator>
            <pubDate>Sun, 20 Apr 2014 13:03:58 GMT</pubDate>
            <atom:updated>2014-04-20T13:22:48.508Z</atom:updated>
            <content:encoded><![CDATA[<h4>Философия, математика и литература и в рабочем коммуникативном процессе</h4><h4>Философия</h4><p>Одиннадцать лет назад мне пришлось подряд прочесть «Никомахову этику» Аристотеля и «Вечный мир» Канта и долго плеваться ядом. За, возможно, безукоризненными с точки зрения логики и полноты передачи смысла предложениями совершенно терялась идеи. К их концу не удавалось вспомнить начало, а подчинения настолько маскировали фундаментальный посыл фраз, что для его выявления приходилось совершать синтаксический разбор. Причем, без понимания первого предложения, следующее вызывало неразрешимые вопросы. Может быть для подкованных людей с философским образованием — это плёвое дело и сказка перед сном, но неподготовленной мне тогда пришлось как следует напрячься.</p><p>Недавно я столкнулась с похожими ощущениями в рамках одного из наших текущих проектов. Пришлось продумать и сформулировать свой подход к передаче письменной информации.</p><p><a href="http://textr.pro/ru/">Текстр</a> — текстовый конструктор, завязанный на определенной методологии написания текстов и работы с источниками. Соблюдение методологии в данном случае подразумевает достаточно навороченную структуру сервиса. Сложность эта, если с ней ничего не сделать, мешает как команде, участвующей в разработке, так и внешнему пользователю. Внешнего пользователя, UI и его удобство сейчас я трогать не буду, а вот сложность сервиса, как помеху для работы команды, пытаюсь осмыслить.</p><p>Сейчас часто проектируют так, что одно и то же действие можно совершить из разных мест сайта. Это укорачивает путь пользователя к достижению цели. Поэтому, у каждой сущности, с которой пользователь собирается совершить действие, есть своего рода «адрес» и он, как правило, не один.</p><p>А также, для упрощения его, пользовательской, жизни, любые действия на сайте обычно вызывают ограниченный (с визуальной точки зрения) набор сценариев. Например, нажал кнопку → всплыло окно для ввода данных → нажал следующую кнопку → всплыло окно подтверждения выполненного действия.</p><p>И Текстр не исключение. Учитывая сложность сервиса, для того, чтобы как следует, не потеряв смысла и важных деталей, поставить задачу программисту или обсудить какой-нибудь нюанс с остальными участниками команды, приходится быть очень многословным и перечислить «сущность» (п. 1), «адрес» (п. 2-4) и «сценарий» (п. 5 и 6):</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/531/1*xQ79nlr9CNIrkzhmO_yXDA.png" /></figure><ol><li>Сущность, с которой работаем (например, комментарий)</li><li>Страницу, на которой эта сущность расположена (страница материала, к которому комментарий оставлен)</li><li>Элемент страницы, ее содержащий (сайдбар)</li><li>Режим элемента страницы (простмотр)</li><li>Действие, которое необходимо сделать с сущностью, отвечающей пунктам 2-4 (удаление)</li><li>Сценарный каскад, который это действие подразумевает (нажал кнопку, комментарий удалился, появилось подтверждение удаления с возможностью отмены)</li></ol><p>В принципе, за последние годы сформированы устоявшиеся сочетания интерфейсных элементов, удобные для конкретных задач, и есть их <a href="http://uxmovement.com/resources/4-best-design-pattern-libraries/">библиотеки</a>, на решения которых можно было бы ссылаться. А также есть <a href="http://dl.acm.org/citation.cfm?id=2470710">попытки</a> описывать и унифицировать сценарии. Но под сложные специализированные сервисы обычно все равно приходится продумывать свои паттерны и, соответственно, о них как-то говорить.</p><p>По-хорошему, в таких случаях нужно бы спроектировать большую матрицу — базу данных всех сущностей, элементов, положений, действий и связей между ними. И задавать контекст, в котором ставится задача, с помощью координаты в этой матрице (обязательно это попробую в каком-нибудь из небольших проектов). Однако, придётся признать, что, с одной стороны, люди — не машины и мыслить в координатно-матричных терминах не всегда готовы. А с другой, читать толстовские предложения с подробным техническим описанием всех исходных данных — тоже сомнительное удовольствие.</p><h4>Математика</h4><p>И тут вспомнилась алгебра класса восьмого и метод замены переменной, с помощью которого из объемного выражения жанра ( <em>x </em>2 + <em>x </em>+ 1)( <em>x </em>2 + <em>x </em>+ 2) = 12 получается вполне лаконичное <em>t(t</em>+1)=12 потому что мы (<em>x </em>2 + <em>x </em>+ 1) обозначаем за t.</p><p>Этот метод, на мой взгляд, вполне подходит для общения в рамках проекта. Цепочки действий с сущностью («сценарии»), для которой ставится задача, а также самые частые сочетания элементов экрана («адреса») можно удобно лаконично назвать (поленилась искать красивые слова, обозначила варианты ярлыками A, B и X, Y соответсвенно). Это уменьшит количество печатных букв в задачах писателям и разгрузит мозг читателей.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/912/1*pt2dQYrQHBNQqtw21HU4cA.png" /></figure><p>Тут, правда, есть пара оговорок, которые пытаюсь держать в голове. Во-первых, основная задача — добиться однозначного и быстрого извлечения из памяти всей необходимой информации. Поэтому набор элементов, который сложен под один такой ярлык должен быть не слишком большим. Если мы говорим об «адресе» сущности, мне кажется правильным включать три верхних уровня иерархии (в нашем проекте их три, но иногда добавляется еще уровень): страница / элемент / режим.</p><p>Во-вторых, вводить такие обозначения нужно постепенно в рамках органичного обсуждения проекта, а не «я тут вам сейчас все придумаю и назову, а вы потом пользуйтесь» и в ограниченном количестве, иначе смысла в них не будет. Если назвать каждую комбинацию страница / элемент / режим своим термином, участникам команды придется лезть в «словарь» и выяснять, что под ним зашифровано. Не говоря уж о том, что разработка «словаря» заберет много времени, которое клиент вряд ли захочет оплатить.</p><h4>Литература</h4><p>Ну и хорошо бы в рамках упрощения общения не забывать системно избавляться от фраз с более чем одним придаточным предложением — очень полезна хемингуэевская телеграфность. Пытаюсь тоже вспоминать об этом хоть иногда.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=984fcc5a9804" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Бардак не враг]]></title>
            <link>https://medium.com/@CarexNigra/-9ca60a142666?source=rss-fba2a9302565------2</link>
            <guid isPermaLink="false">https://medium.com/p/9ca60a142666</guid>
            <dc:creator><![CDATA[Lara Simonova]]></dc:creator>
            <pubDate>Sun, 06 Apr 2014 15:38:28 GMT</pubDate>
            <atom:updated>2014-04-07T10:06:44.847Z</atom:updated>
            <content:encoded><![CDATA[<h4>Состояние максимального беспорядка, как точка зарождения системы</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*13sWKc5Ecify6T7oFok1-w.jpeg" /></figure><p>Последние три года все свободное от работы время я занималась разбором дома, в котором три поколения моих родственников на протяжении полувека складировали предметы культа, быта и результаты интеллектуальной деятельности.</p><p>Этот процесс — классическая информационно-архитектурная задача. В отличие от моих рабочих задач, здесь пришлось иметь дело с материальными объектами. Заметку со сравнением базовых принципов организации материальных и виртуальных сущностей напишу как-нибудь отдельно, а тут скажу: тот очевидный факт, что вещи занимают место в пространстве, приводил меня в замешательство.</p><p>Вот комната, доверху забитая коробками с разным. Мне нужно перебрать все эти коробки и сначала сгруппировать объекты «по типу носителя»: посуду отделить от фотографий, фотографии от книг, книги вытащить из наволочек и пододеяльников (don’t ask!). Затем, в рамках группы объектов одного типа, систематизировать их согласно какому-либо принципу. Этот принцип может быть каким угодно и зависит как от упомянутого выше типа, так и от того, кто и каким образом планирует эти объекты использовать. Например, одной из моих многочисленных задач было вытащить мягкообложечные детективы из книг про внешнюю политику Монголии начала двадцатого века. Детективы спалить, монгольскую политику поставить на полку рядом с китайской.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*OARxu1PY_iHBp9GaRqStbw.jpeg" /></figure><p>Если не знать объемов и степени неоднородности множества разбираемых объектов, звучит не слишком страшно. Однако, когда дошло до дела, стало ясно, что процесс разбора требует места. Много места. Очень много места. На одной чаше весов — компактный, локализованный в одной комнате бардак и чистый в остальных местах дом. На другой — все доступные поверхности ровным слоем покрытые тем, что содержалось 27 кубаметрах. Понятно замешательство? Тем не менее, пришлось взять себя в руки и приступить.</p><h3>Процесс оказался трехчастным:</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/440/1*0z2B_lFiGREttU-XtjewKg.png" /></figure><ol><li><strong>Медленный взрыв.</strong> Вынув вещь из коробки, можно положить ее либо в уже существующую для вещей такого типа кучу, либо создать новую. Во втором случае, часто понимаешь, что новая куча более точно подходит для вещей, которые ты до этого положил в другие. Идешь, перебираешь эти кучи, находишь нужные вещи, перекладываешь. Достаешь из коробки следующий объект. Повторяешь. Процесс группировки и перегруппировки длится до последнего объекта последней коробки. До тех пор, пока вся разбираемая вселенная не пройдет перед твоими глазами, построить адекватную и точную систему не получится.</li><li><strong>Замороженный апогей.</strong> После того, как коробок, а также свободного места в доме не осталось, наступает период максимального бардака. Тут я обычно пытаюсь уговорить себя сделать паузу в несколько часов, а то и в день. Время это — визуальное мучение. Но мозг использует его, чтобы переварить весь массив данных о разбираемых вещах и вписать их в оптимальную систему.</li><li><strong>Быстрое схлопывание.</strong> На момент возврата к разбору вопросов «куда это положить?», «к чему это относится?» обычно почти не возникает. Еще немного поперекладывав из стопки в стопку, достаточно быстро выделяешь минимальные смысловые группы, подписываешь их при необходимости, и кластеризуешь в надгруппы. Теперь можно снова паковать материальные ценности в коробки или <em>организованными</em> надгруппами расставлять по <em>специально отведенным </em>местам дома.</li></ol><h3>Но я это все к чему:</h3><p>Второй этап — ад перфекциониста, неизбежность которого каждый раз заставляла меня задуматься, хочу ли я сегодня начать разбор очередных закромов родных пенатов. Придумать альтернативный алгоритм мне пока не удалось (и не думаю, что удастся). Однако после трех лет мучений я, наконец, познала дзен и научилась смотреть на этот процесс, как на зарождение и развитие <em>системы организации</em>. И завораживает это ничуть не меньше, чем таймлэпс прорастающего зерна.</p><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fplayer.vimeo.com%2Fvideo%2F69225705&amp;url=http%3A%2F%2Fvimeo.com%2F69225705&amp;image=http%3A%2F%2Fi.vimeocdn.com%2Fvideo%2F441898931_1280.jpg&amp;key=d04bfffea46d4aeda930ec88cc64b87c&amp;type=text%2Fhtml&amp;schema=vimeo" width="1280" height="720" frameborder="0" scrolling="no"><a href="https://medium.com/media/5bbc113694eba0641891743c53746c80/href">https://medium.com/media/5bbc113694eba0641891743c53746c80/href</a></iframe><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=9ca60a142666" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>